Stage Master 2
Analyse et Modélisation du Mouvement Humain dans les Métiers de l’Artisanat
Laboratoire : Centre de Robotique
Institution: Ecole des Mines, 60 Bvd Saint Michel, Paris
Durée et dates : 6 mois, dès que possible
Financé par : ReSource Projet PIA4
Encadrants : Alina Glushkova, Sotiris Manitsaris
Mots clés: données de mouvement, traitement de signal, modélisation, analyse
Contexte : Dans le cadre du projet ReSource, le Centre de Robotique mène un programme de recherche visant à modéliser, analyser et transmettre les gestes experts issus de métiers d’art d’excellence (ganterie, sellerie nautique, maroquinerie, etc.).
Ces gestes, transmis depuis des générations et associés aux grandes maisons françaises du luxe, constituent un patrimoine immatériel précieux, caractérisé par une grande finesse motrice et une expertise manuelle exceptionnelle.
Pour les étudier, des artisans expérimentés et des apprenants ont été enregistrés dans plusieurs pilotes de l’industrie manufacturière avec un set up incluant des technologies multisensorielles permettant de récupérer des données multimodales : Vidéo (multi-vues), audio, biomécanique via des capteurs inertiels (accélérations, rotations etc.). Des annotations métier ont été également produites avec les formateurs.
Ces données brutes, riches mais complexes, sont destinées à alimenter un jeu de données public hébergé par Mines Paris :
https://www.caor.minesparis.psl.eu/human-motion-capture-benchmark/
Le/la stagiaire jouera un rôle central dans la préparation, la transformation, la modélisation et l’analyse avancée de ces données.
Objectives: Ce stage présente un triple objectif :
1) Prise en main, traitement et structuration des données multimodales
Le/la stagiaire :
Explorera les données vidéo / audio / IMUs provenant de gestes experts et novices.
Appliquera des techniques de traitement du signal : filtrage (low-pass, Butterworth…), synchronisation, réduction de bruit.
Réalisera de la segmentation temporelle et de l’annotation semi-automatique des gestes.
Utilisera des outils comme Motion Builder pour la visualisation précise des trajectoires, et Adobe Premiere Pro pour l’analyse vidéo détaillée.
Préparera les fichiers pour publication dans le benchmark open data du CAOR, conformément aux standards du laboratoire.
2) Benchmarking de modèles de prédiction du mouvement
En s’appuyant sur des travaux réalisés au laboratoire et de la littérature fournie, le/la stagiaire :
Mettra en place un benchmark de modèles de prévision de mouvement humain (forecasting).
Comparera différents modèles de l’état de l’art avec un focus particulier sur le modèle interne GOM – Gesture Operational Model (développé au laboratoire).
3) Analyse avancée via la plateforme PosePilot
Le/la stagiaire réalisera également une analyse complémentaire avec la plateforme PosePilot, un outil web développé au laboratoire permettant :
la visualisation 3D interactive de l’animation des squelettes ;
le calcul de métriques quantitatives interprétables (quantité de mouvement, variation posturale, diffusion posturale, vitesse, accélération…)
la comparaison inter/sujets, inter/tâches, novices vs experts ;
la génération de graphiques, synchronisés avec la 3D, facilitant l’interprétation du mouvement.
PosePilot offre une approche analytique, explicable, complémentaire à la modélisation IA.
Livrables attendus
L‘implémentation de la pipeline complète pour la préparation et la segmentation des données multimodales.
La mise en ligne des données au format standardisé du benchmark du laboratoire.
Un rapport de benchmarking comparant plusieurs modèles de prédiction du mouvement.
Une analyse approfondie des gestes artisanaux basée sur PosePilot : visualisations, métriques, comparaison novice/expert.
Compétences requises
Bases solides en traitement du signal (filtres, interpolation, segmentation).
Connaissances en machine learning et manipulation de modèles temporels
Intérêt pour le mouvement humain, la biomécanique, la robotique ou l’IA interactive.
Compétences analytiques et rigueur scientifique.
Faculté à manipuler des données complexes.
Connaissance en programmation (Python)
Compétences qui seront développées
Expertise rare en analyse du mouvement dans le contexte des métiers d’art et de l’artisanat d’excellence.
Maîtrise de pipelines avancés de traitement de données multimodales.
Compréhension approfondie des méthodes de prédiction du mouvement humain.
Utilisation d’outils professionnels : Motion Builder, Adobe Premiere Pro, outils d’annotation multimodal.
Utilisation avancée de l’interface PosePilot
Expérience directe d’un projet interdisciplinaire mêlant IA, biomécanique, apprentissage du geste, HCI et visualisation de données.
Contribution à un jeu de données ouvert national, valorisable académiquement.
Profil recherché
Étudiant·e en Master 2 :
Informatique, mathématiques appliquées, traitement du signal, robotique, bio-ingénierie ou domaines proches.
Curieux·se, motivé·e, avec des qualités organisationnelles, appréciant les environnements interdisciplinaires.
Un intérêt pour l’artisanat, la transmission du geste et/ou les données humaines est un plus.
Références:
Le benchmark actuel :
https://www.caor.minesparis.psl.eu/human-motion-capture-benchmark/
PosePilot:
https://dimimakr.github.io/index5.html
Olivas-Padilla, B. E., Glushkova, A., & Manitsaris, S. (2023). Motion capture benchmark of real industrial tasks and traditional crafts for human movement analysis. IEEE Access, 11, 40075-40092.
Olivas-Padilla, B. E., Manitsaris, S., & Glushkova, A. (2024). Explainable AI in human motion: A comprehensive approach to analysis, modeling, and generation. Pattern Recognition, 151, 110418.
Makrygiannis, D., Glushkova, A., Manitsaris, S., & Senteri, G. (2025, May). PosePilot—A Web-Based Application for Human Motion Data Analysis and Visualization. In 2025 IEEE 19th International Conference on Automatic Face and Gesture Recognition (FG) (pp. 1-1). IEEE.
Pour postuler, envoyez votre CV et votre lettre de motivation par e-mail à alina.glushkova@minesparis.psl.eu