Stage de fin d'études : Réseaux de neurones légers pour la vision basée événements
Master Internship: Lightweight neural networks for event-based vision
Description en français
Notre laboratoire est spécialisé dans le contrôle de robots mobiles, tels que des voitures et des drones intelligents. Nous nous focalisons sur les problèmes de commande, de localisation, de communication, de perception, et de réalité virtuelle. Le laboratoire dispose de véhicules robotisés équipés de nombreux capteurs, d’une piste d’essais, de simulateurs, et d’une volière. Notre équipe est également impliquée dans le laboratoire commun SIVALab entre UTC, CNRS et Renault (Ampere).
Notre équipe a développé des compétences fortes en vision événementielle depuis 2020, avec des résultats sur des applications de calibrage, de flot optique, d'estimation des profondeurs, et de segmentation des objets mobiles.
Le but du stage est de contribuer aux BNN (Binarized Neural Networks) appliqués aux données issues de la caméra à événements. Pour cela, nous chercherons d'une part à construire des architectures BNN légères, avec capacités de focalisation et d'inférence partielle. Et d'autre part, à valider différentes manières de représenter les événements sous forme de tenseur en entrée du réseau, avec et sans capacité de mémoire. Les architectures proposées seront validées et évaluées sur différents jeux de données afin de les comparer à l'état de l'art. Des expérimentations réelles avec les véhicules du laboratoire pourront pêtre envisagées. Le stagiaire pourra d'ailleurs éventuellement profiter de déplacements scientifiques (séminaire ou visite).
English description
Our laboratory is specialized in mobile robots control, such as intelligent cars and drones. We focus on problems that cover command, localization, communication, perception, as well as virtual reality. The laboratory has robotized vehicles equipped with various sensors, a track, simulators, and an aviary. Our team is involved in the SIVALab common laboratory between UTC, CNRS and Renault (Ampere).
Our team develops strong knowledge in event-based vision since 2000, with results on applications such as calibration, optical flow, depth estimation, and mobile objects segmentation.
The goal of this internship is to contribute to BNN (Binarized Neural Networks) applied to data from event camera. To this end, we are looking first to build light BNN architectures, with abilities such as focalisation and partial inference. Second, to validate various manners to represent the events as an input tensor for the network, with and without memory abilities. Proposed architectures will be validated and evaluated on several dataset in order to compare them with the state-of-the-art. Real experiments with lab's vehicles can be done. The intern can also benefits of scientific trips (seminar or visit).
Informations complètes et comment postuler / Full information and how to apply
(c) GdR IASIS - CNRS - 2024.