Encadrants : Bernard Girau et Adrien Fois
Laboratoire et équipe : LORIA, équipe Biscuit
Contacts : bernard.girau@loria.fr ou adrien.fois@loria.fr
Date limite commencement : 1er Mars 2022
Durée : 5-6 mois
Sujet : Apprentissage non-supervisé de flux optique avec des réseaux de neurones impulsionnels
MOTIVATIONS
Les neurones impulsionnels sont considérés comme la troisième génération de modèles de neurones artificiels. Ces modèles de neurones poussent le bio-mimétisme plus loin que leurs prédécesseurs en communiquant - à la manière des neurones biologiques -avec des impulsions produites dans le temps. Une nouvelle dimension - la dimension temporelle - permet ainsi de transmettre l'information et de la traiter à la volée, de façon asynchrone.
Pour tirer pleinement profit de la puissance de calcul et de la très faible consommation énergétique induite, ces modèles de neurones impulsionnels peuvent être directement émulés in silico. C'est ce qu'ont notamment réalisé Intel ou IBM avec leurs processeurs neuromorphiques Loihi et TrueNorth, respectivement. Loihi2 intègre un million de neurones impulsionnels et 120 millions de synapses programmables.
Dans la même veine bio-inspirée, les caméras événementielles gagnent en popularité. Les caméras événementielles comme DVS (Dynamic Vision Sensor) fonctionnent de manière analogue à la rétine en transmettant l'information sous forme d'impulsion uniquement lorsqu'un changement local de luminosité - au niveau du pixel - est détecté. Ce traitement asynchrone de l'information visuelle apporte de grands avantages : 1) une vitesse d'échantillonage près d'un million de fois supérieure à celle des caméras standard, 2) une latence d'une microseconde et 3) une plage dynamique de 130 décibels (les caméras standards n'ont que 60 dB). Le tout pour une consommation énergétique significativement inférieure à celle des caméras standards.
Lorsqu'un organisme équipé d'un système visuel est en mouvement dans son environnement, ou observe un objet en mouvement en restant statique, il perçoit un mouvement relatif entre lui-même et son environnement. Ce mouvement lui apparaît sous la forme de motifs spatio-temporels, appelé flux optique. Estimer le flux optique est une tâche essentielle pour l'organisme. Cette information lui permet de mieux estimer son propre déplacement et ainsi de mieux naviguer dans son environnement. Ces problématiques sont aussi transposables dans le domaine de la robotique autonome et des drones.
Ce stage d'une durée minimale de 5 mois, se situe à la croisée de ces différents domaines.
SUJET
Le but est d'utiliser une caméra événementielle et de traiter ses données avec un réseau de neurones impulsionnels équipé de règles d'apprentissage non supervisée. L'application visée est l'estimation de flux optique.
Il s'agira notamment de :
- mener une étude bibliographique sur les méthodes d'estimation de flux optique non-supervisée avec des réseaux de neurones impulsionnels
- adapter une règle d'apprentissage de type STDP, développée au sein de l'équipe, à l'application visée
- intégrer cette règle dans des réseaux de neurones impulsionnels
- proposer des adaptations compatibles avec une implémentation matérielle sur processeur neuromorphique
- implémenter et tester l'architecture avec Tensorflow
CADRE DU TRAVAIL
Une formation en informatique (avec des bases en intelligence artificielle) ou en neurosciences computationnelles est attendue, ainsi que de solides bases en programmation.
Le stage se déroulera au sein du laboratoire Loria, dans l'équipe Biscuit.
