Menu principal

Apprentissage non-supervisé de flux optique avec des réseaux de neurones impulsionnels

Encadrants : Bernard Girau et Adrien Fois

Laboratoire et équipe : LORIA, équipe Biscuit

Contacts : bernard.girau@loria.fr ou adrien.fois@loria.fr

Date limite commencement : 1er Mars 2022

Durée : 5-6 mois

Sujet : Apprentissage non-supervisé de flux optique avec des réseaux de neurones impulsionnels

 

MOTIVATIONS

Les neurones impulsionnels sont considérés comme la troisième génération de modèles de neurones artificiels. Ces modèles de neurones poussent le bio-mimétisme plus loin que leurs prédécesseurs en communiquant - à la manière des neurones biologiques -avec des impulsions produites dans le temps. Une nouvelle dimension - la dimension temporelle - permet ainsi de transmettre l'information et de la traiter à la volée, de façon asynchrone.

 

Pour tirer pleinement profit de la puissance de calcul et de la très faible consommation énergétique induite, ces modèles de neurones impulsionnels peuvent être directement émulés in silico. C'est ce qu'ont notamment réalisé Intel ou IBM avec leurs processeurs neuromorphiques Loihi et TrueNorth, respectivement. Loihi2 intègre un million de neurones impulsionnels et 120 millions de synapses programmables.

Dans la même veine bio-inspirée, les caméras événementielles gagnent en popularité. Les caméras événementielles comme DVS (Dynamic Vision Sensor) fonctionnent de manière analogue à la rétine en transmettant l'information sous forme d'impulsion uniquement lorsqu'un changement local de luminosité - au niveau du pixel - est détecté. Ce traitement asynchrone de l'information visuelle apporte de grands avantages : 1) une vitesse d'échantillonage près d'un million de fois supérieure à celle des caméras standard, 2) une latence d'une microseconde et 3) une plage dynamique de 130 décibels (les caméras standards n'ont que 60 dB). Le tout pour une consommation énergétique significativement inférieure à celle des caméras standards.

Lorsqu'un organisme équipé d'un système visuel est en mouvement dans son environnement, ou observe un objet en mouvement en restant statique, il perçoit un mouvement relatif entre lui-même et son environnement. Ce mouvement lui apparaît sous la forme de motifs spatio-temporels, appelé flux optique. Estimer le flux optique est une tâche essentielle pour l'organisme. Cette information lui permet de mieux estimer son propre déplacement et ainsi de mieux naviguer dans son environnement. Ces problématiques sont aussi transposables dans le domaine de la robotique autonome et des drones.

Ce stage d'une durée minimale de 5 mois, se situe à la croisée de ces différents domaines.

 

SUJET

Le but est d'utiliser une caméra événementielle et de traiter ses données avec un réseau de neurones impulsionnels équipé de règles d'apprentissage non supervisée. L'application visée est l'estimation de flux optique.

Il s'agira notamment de :

- mener une étude bibliographique sur les méthodes d'estimation de flux optique non-supervisée avec des réseaux de neurones impulsionnels

- adapter une règle d'apprentissage de type STDP, développée au sein de l'équipe, à l'application visée

- intégrer cette règle dans des réseaux de neurones impulsionnels

- proposer des adaptations compatibles avec une implémentation matérielle sur processeur neuromorphique

- implémenter et tester l'architecture avec Tensorflow

 

CADRE DU TRAVAIL

Une formation en informatique (avec des bases en intelligence artificielle) ou en neurosciences computationnelles est attendue, ainsi que de solides bases en programmation.

Le stage se déroulera au sein du laboratoire Loria, dans l'équipe Biscuit.


Mots-clés
Auto-Organisation; biomimetisme; données de capteurs; modèles visuels; Spike; STDP
Établissement
LABORATOIRE LORRAIN DE RECHERCHE EN INFORMATIQUE ET SES APPLICATIONS (LORIA)
54506 VANDOEUVRE-LES-NANCY  
Date de début souhaitée
01/02/2022
Langues obligatoires
Français
Niveau
Bac +4; Bac +5
Prérequis

Une formation en informatique (avec des bases en intelligence artificielle) ou en neurosciences computationnelles est attendue, ainsi que de solides bases en programmation.

Durée
5-6 mois
Date limite
31/01/2022
Informations de contact

Encadrants : Bernard Girau et Adrien Fois
Laboratoire et équipe : LORIA, équipe Biscuit
Contacts : bernard.girau@loria.fr ou adrien.fois@loria.fr