Internship (+PhD funding) at IMT Mines Alès: Adaptive AI and reinforcement learning for resource allocation in dynamic contexts

English version below 
 
Offre de Stage M2/PFE en Apprentissage machine dans le cadre d’une collaboration entre IMT Mines Alès (Alès) et la société ESII.
Poursuite en thèse en Informatique possible. 
 
Sujet : IA adaptative et apprentissage par renforcement pour l’allocation de ressources dans des contextes dynamiques.  
 
Objectif : Développement d’algorithmes d’apprentissage profond et par renforcement pour la gestion de files d’attente. 
Lieu : Alès à IMT Mines Alès ou Lavérune (34880, proche de Montpellier) à ESII 
Durée : 6 mois ; poursuite en thèse en Informatique possible.
Candidature au fil de l’eau : envoyer un CV et si possible vos notes à sebastien.harispe@mines-ales.fr
 et jacky.montmain@mines-ales.fr 
Salaire : environ 1200 euros/mois
 
Contexte :
L’étude porte sur la proposition d’approches algorithmiques flexibles d’optimisation pour traiter la problématique de décision séquentielle d’allocation de ressources hétérogènes en réponse à des sollicitations elles aussi hétérogènes – e.g. des demandes de services variés sont exprimées de manière séquentielle par des clients et méritent d’être traitées par des agents qui, individuellement, ne peuvent traiter que des demandes de types spécifiques (en fonction de leurs compétences, poste de travail…). Nous traitons par ailleurs cette problématique dans des contextes stochastiques dynamiques, non-stationnaires et multicanaux, i.e., les flux de clients, les types de demandes, et leurs temps de traitement sont variables, et les sollicitations peuvent être effectuées au travers de différents canaux (en personne, par téléphone, chat…). L’objectif est dans notre cas de minimiser les temps d’attente des clients pour une configuration d’agents donnée.  
 
Ces travaux seront réalisés dans le cadre d’une collaboration entre la société ESII et IMT Mines Alès. La problématique d’allocation de ressources est centrale pour ESII qui propose des solutions avancées pour la gestion de sollicitations multicanales. Elle utilise à ce jour des approches traditionnelles d’optimisation combinatoire intégrant des spécificités propres aux métiers pour lesquels leurs solutions sont proposées. Cela permet la définition de solutions optimisées et flexibles, bien que cela induise des difficultés importantes pour leur adaptation à d’autres métiers.  
 
L’objectif premier de ce stage est d’évaluer l’apport des techniques de l’Intelligence Artificielle et en particulier de l’apprentissage machine et de l’apprentissage profond pour la résolution de cette problématique de décision séquentielle d’allocation de ressources. Nous capitaliserons sur l’expérience et les données d’ESII, et sur l’expertise d’IMT Mines Alès en apprentissage profond et par renforcement. Nous étudierons des modélisations du problème à base de processus décisionnels markoviens (MDP) pour lesquels la résolution sera abordée à l’aide de techniques d’apprentissage profond et par renforcement. Des modélisations multi-agents seront étudiées de manière à intégrer l’aspect collaboratif des agents et leurs spécificités.
 
——————————————-
English version
 
M2 internship in Machine Learning as part of a collaboration between IMT Mines Alès (Alès) and ESII.
A funding for preparing a PhD in Applied Research in Computer Science on this topic after the internship is also available.
 
Subject: Adaptive AI and reinforcement learning for resource allocation in dynamic contexts.  
 
Objective: Development of deep learning and reinforcement learning algorithms for queue management. 
Location: Alès at IMT Mines Alès or Lavérune (34880, near Montpellier) at ESII 
Duration: 6 months ; possibility of pursuing a PhD in Computer Science.
Application: send CV and, if possible, your grades to sebastien.harispe@mines-ales.fr
 and jacky.montmain@mines-ales.fr
Salary (internship period): approx. 1,200 euros/month
 
Context:
The study concerns the proposal of flexible algorithmic optimization approaches to deal with the sequential decision problem of allocating heterogeneous resources in response to requests that are also heterogeneous – e.g. requests for various services are expressed sequentially by customers and deserve to be handled by agents who, individually, can only handle requests of specific types (according to their skills, workstation…). We are also dealing with this problem in dynamic, non-stationary, multi-channel stochastic contexts, i.e. customer flows, request types and processing times are variable, and requests can be made via different channels (in person, by telephone, chat…). In our case, the aim is to minimize customer waiting times for a given agent configuration.  
 
This work will be carried out as part of a collaboration between ESII and IMT Mines Alès. Resource allocation is a key issue for ESII, which offers advanced solutions for managing multi-channel requests. To date, the company has used traditional combinatorial optimization approaches, integrating the specific features of the businesses for which their solutions are proposed. This allows the definition of optimized and flexible solutions, although it also leads to significant difficulties in adapting them to other businesses.  
 
The primary objective of this internship is to evaluate the contribution of Artificial Intelligence techniques, and in particular machine learning and deep learning, to solving the problem of sequential resource allocation decisions. We will capitalize on ESII’s experience and data, and on IMT Mines Alès’ expertise in deep and reinforcement learning. We will study models of the problem based on Markov decision processes (MDP), for which the solution will be approached using deep learning and reinforcement techniques. Multi-agent models will be studied in order to integrate the collaborative aspect of agents and their specificities.