L’équipe VAI du laboratoire ICB à Dijon est partenaire du projet ANR PRCI EVELOC à propos de localisation visuelle de robot embarquant une caméra à événements. Ces caméras sont des capteurs récents dont les pixels s’activent en asynchrone selon la variation d’intensité lumineuse perçue avec très faible latence et grande gamme dynamique avec lesquels l’équipe VAI du laboratoire ICB a développé la détection d’objet pour les véhicules autonomes [1].

Il s’associe au Joint Robotics Laboratory (JRL) à l’AIST de Tsukuba au Japon qui travaille aussi avec ces nouvelles caméras pour le suivi basé nuage de points 3D d’objet en conditions dynamiques par recalage dense direct sur des images de variations d’intensités calculées à partir des événements [2] en vue de la manipulation par robot humanoïde [3].

Cette thèse s’appuiera sur des nuages de points 3D d’environnement à large échelle [4] pour proposer de nouveaux algorithmes efficaces et robustes pour recaler directement les événements capturés par une caméra en mouvement sur ces nuages de points 3D. Elle se déroulera 18 mois au Japon, financée par l’AIST, et 18 mois en France, financée par l’ANR.

L’étudiant mettra en œuvre et évaluera son travail de recherche d’abord sur caméras événementielles (Prophesee Gen 3 et 4) montées sur robot quadrupède (Unitree Alien Go) et bipède (HRP-5P) mis à sa disposition par l’équipe d’encadrement afin d’obtenir des résultats convaincants à publier dans les meilleurs supports (T-RO, IJCV, ICRA, IROS, ICCV, etc).

[1] Z. Zhou, Z. Wu, R. Boutteau, F. Yang, C. Demonceaux and D. Ginhac. RGB-Event Fusion for Moving Object Detection in Autonomous Driving. IEEE International Conference on Robotics and Automation, 2023, London, United Kingdom, pp. 7808-7815.

[2] Y. Kang, G. Caron, et al.. Direct 3D model-based object tracking with event camera by motion interpolation. IEEE International Conference on Robotics and Automation, May 2024, Yokohama, Japan.

[3] K. Chappellet, M. Murooka, G. Caron, F. Kanehiro, A. Kheddar. Humanoid Loco-Manipulations using Combined Fast Dense 3D Tracking and SLAM with Wide-Angle Depth-Images. IEEE Transactions on Automation Science and Engineering, 2023.

[4] I. Ben Salah, S. Kramm, C. Demonceaux, P. Vasseur. Summarizing large scale 3D mesh for urban navigation. Robotics and Autonomous Systems, vol. 152, art. num. 104037, 2022.