OFFRE DE STAGE

Apprentissage par renforcement pour la régulation ferroviaire

Dates du stage : Printemps 2020 – 6 mois

Contact : M. Mathieu GAGNON mathieu.gagnon@sncf.fr

Contexte :

L'exploitation ferroviaire repose en grande partie sur un processus de planification très en amont des différentes ressources nécessaire à la production d'un train : réservation d'un sillon, affectation d'une rame, d'un agent de conduite, éventuellement d'agents à bord… Ce processus de planification ne protège toutefois pas d'éventuels écarts, même minimes, entre le réalisé et le planifié. Au-delà d'un certain seuil, des actions doivent être prises très régulièrement en gestion opérationnelle pour maintenir la qualité du service. C'est l'objet de la régulation, qui repose aujourd'hui essentiellement sur l'expérience et sur les informations dont disposent les agents dans les centres opérationnels.

Pour optimiser la gestion des situations dans de tels contextes de gestion opérationnelle, SNCF a développé ces dernières années des approches algorithmiques de modélisation et d'optimisation des décisions. Traditionnellement, ces approches se sont basées sur les techniques issues de la recherche opérationnelle, avec une modélisation du problème à résoudre, une description a priori des leviers d'action à disposition, des critères à optimiser, des contraintes à respecter par les solutions générées, et un travail algorithmique focalisé sur la recherche explicite des meilleures solutions. Si ces techniques ont fait leurs preuves sur des problèmes et des contextes spécifiques, elles sont malgré tout longues à développer puis à adapter sur des configurations différentes. Leur généralisation à large échelle est de ce fait limitée.

A contrario, les succès récents obtenus à l'aide de techniques d'apprentissage par renforcement sur des jeux de stratégie (échecs, go) et sur des jeux vidéo ouvrent la voie à de nouvelles approches moins descriptives, exploitant un grand volume de données sur de multiples configurations générées automatiquement et donc potentiellement plus facilement généralisables.

Mission :

Le travail consistera à examiner le potentiel des techniques dérivées de l'apprentissage par renforcement à générer des fonctions de régulation ferroviaire, optimisant la qualité de service pour apporter une aide aux opérateurs en situation de gestion opérationnelle. Une première approche a été développée en 2019 à l’occasion d’un stage, en s’inspirant d’un challenge détaillé à l’adresse https://www.aicrowd.com/challenges/flatland-challenge - et en utilisant un simulateur à évènements discrets développé en interne, servant comme générateur de scénarios.

Activités prévues pour le stage :

  • Le point de départ pourrait consister à repartir de l’agent développé en 2019 (choix d’ordonnancement en zone de convergences)  et à complexifier les travaux progressivement :
    • Modification du critère de performance, exemple : ponctualité trains ou voyageurs, écart avec le plan de transport théorique, etc.
    • Augmenter le nombre d’agents
  • En parallèle de ce premier point : poursuivre l’état de l’art et en tirer différentes méthodes à implémenter et tester
  • Puis, tester différents agents (ex : desserte ou non des gares du parcours, modification de l’origine et/ou destination des trains, etc.) et les qualifier
  • Enfin, selon le temps restant, tester un modèle avec des agents de natures différentes (par ex : ordonnancement convergences + maintien des correspondances) et les qualifier

Profil / Compétences :

  • Master 2 ou ingénieur avec spécialisation en mathématiques appliquées / informatique
  • Simulation, Mathématiques, Apprentissage
  • Développement logiciel, programmation
  • Rédaction scientifique, capacité à restituer clairement des résultats de recherche
  • Java et Python

Gratification / avantages :

  • Gratification fixée en fonction du diplôme préparé
  • Carte de circulation 2nde classe valable sur l’ensemble du réseau national
  • Accès subventionné aux restaurations d’entreprise

 


Mots-clés
apprentissage par renforcement
Établissement
Direction Innovation et Recherche SNCF
75012 Paris  
Site Web
https://tech.sncf.com/
Date de début souhaitée
06/04/2020
Langues obligatoires
Français
Niveau
Bac +5
Durée
6 mois
Informations de contact

Mathieu Gagnon, mathieu.gagnon@sncf.fr