Titre de la thèse : Apprentissage Naïf de Modèles Causaux du Monde
La thèse proposée vise à explorer l’apprentissage autonome de modèles adaptatifs du monde grâce à l’interaction sensori-motrice avec l’environnement. Le terme modèle du monde [6] englobe à la fois l’identification de variables latentes interprétables pour décrire l’environnement (c’est-à-dire trouver une représentation d’état désenchevêtrée qui sépare les facteurs individuels de variation de l’environnement) et la prédiction de l’évolution de ces variables dans le temps en réponse à l’action de l’agent (c’est-à-dire apprendre la fonction de transition d’un processus de décision markovien). De tels modèles reflètent la compréhension de l’environnement par l’agent et peuvent être utilisés dans des algorithmes d’apprentissage par renforcement model-based pour guider son comportement. Des recherches ont indiqué que les modèles incorporant efficacement la structure causale de l’environnement démontrent une adaptabilité accrue aux changements de distribution, améliorant ainsi l’adaptabilité des robots et des systèmes intelligents [7]. Ainsi, cette thèse s’intéresse à l’apprentissage de modèles du monde sous l’angle de la causalité. L’objectif est de contribuer aux domaines de la découverte causale et de l’apprentissage de représentation causale dans le contexte de la robotique développementale.
Titre de la thèse : Apprentissage Naïf de Modèles Causaux du Monde
Contexte :
La thèse de doctorat proposée sera menée au sein de l’équipe ASIMOV au laboratoire ISIR. Cette équipe étudie la perception et le contrôle des robots, ou plus généralement des systèmes intelligents, dans des environnements ouverts. En robotique traditionnelle, l’approche consiste à programmer les robots avec des modèles prédéfinis de leurs capteurs, de leurs actionneurs et de leur environnement. En revanche, en apprentissage automatique et en intelligence artificielle, le domaine de la robotique développementale cherche à doter les robots de la capacité d’apprendre de leur environnement de manière autonome, en reproduisant les mécanismes de développement observés chez les humains et autres organismes vivants.
Dans la théorie du développement cognitif de Piaget, la première étape permet aux enfants (dans notre contexte, les robots et systèmes intelligents) de se construire progressivement une compréhension du monde en coordonnant leurs expériences sensorielles avec l’interaction physique avec leur environnement. Les travaux menés au sein de l’équipe ASIMOV sur ces sujets ont d’abord consisté à formaliser, mathématiquement et de manière algorithmique, les processus qui permettent à un agent totalement naïf –c’est à dire sans connaissances a priori sur sa structure cinématique ni sur son environnement– d’extraire la structure de l’espace physique dans lequel il est immergé. Ceci est rendu possible par la corrélation entre ses actions motrices et l’information obtenue par ses capteurs. Dans le contexte de la théorie sensorimotrice de la perception telle que décrite par Kevin O’Regan [1], une telle structure extraite de sensations brutes non interprétées peut découler naturellement sur la notion de perception de l’espace. Depuis, cette approche développementale et sensorimotrice a permis de construire des agents naïfs capables de découvrir d’autres propriétés de leur environnement telles que l’espace physique [2], le schéma corporel [3], la structure des actions [4] ou la notion d’objet [5].
Description du projet :
La thèse proposée vise à explorer l’apprentissage autonome de modèles adaptatifs du monde grâce à l’interaction sensori-motrice avec l’environnement. Le terme modèle du monde [6] englobe à la fois l’identification de variables latentes interprétables pour décrire l’environnement (c’est-à-dire trouver une représentation d’état désenchevêtrée qui sépare les facteurs individuels de variation de l’environnement) et la prédiction de l’évolution de ces variables dans le temps en réponse à l’action de l’agent (c’est-à-dire apprendre la fonction de transition d’un processus de décision markovien). De tels modèles reflètent la compréhension de l’environnement par l’agent et peuvent être utilisés dans des algorithmes d’apprentissage par renforcement model-based pour guider son comportement. Des recherches ont indiqué que les modèles incorporant efficacement la structure causale de l’environnement démontrent une adaptabilité accrue aux changements de distribution, améliorant ainsi l’adaptabilité des robots et des systèmes intelligents [7]. Ainsi, cette thèse s’intéresse à l’apprentissage de modèles du monde sous l’angle de la causalité. L’objectif est de contribuer aux domaines de la découverte causale et de l’apprentissage de représentation causale dans le contexte de la robotique développementale.
Les premières orientations de recherche consisteront à étudier les liens entre l’apprentissage de représentations causales [8] et d’autres approches pour l’apprentissage de représentations désenchevêtrées [9], et à explorer comment l’agentivité des systèmes intelligents peut être exploitée pour améliorer l’apprentissage de modèles du monde, par exemple en définissant des motivations intrinsèques pertinentes [10, 11]. Les algorithmes proposés seront basés sur des réseaux de neurones artificiels et seront validés d’abord dans des environnements simulés et, si les résultats obtenus le permettent, sur des plateformes robotiques simples.
Profil recherché :
– Un goût pour la recherche fondamentale
– Formation (M2 ou diplôme d’ingénieur) en informatique ou robotique
Compétences requises :
– Connaissances en apprentissage / intelligence artificielle
– Bon niveau de programmation en Python
– Bon niveau d’anglais
Informations générales :
– Directeur de thèse : Sylvain Argentieri
– Collaboration dans le cadre de la thèse : Louis Annabi
– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.
Personne contacter :
– Sylvain Argentieri
– Tel:+33144276355
– Email : sylvain.argentieri@sorbonne-universite.fr
– Envoyer votre candidature par mail, avec [sujet de la thèse] en objet, un CV, une lettre de motivation, et vos relevés de notes.
– Date limite de dépôt de la candidature : 21/05/2024
https://www.isir.upmc.fr/nous-rejoindre/oppotunites/
Référence:
[1] O’Regan, J.K. and Noë, A. (2001). A sensorimotor account of vision and visual consciousness. Behavioral and Brain Sciences, 24:939-1031.
[2] Laflaquière, A., O’Regan, J. K., Gas, B., & Terekhov, A. (2018). Discovering space—Grounding spatial topology and metric regularity in a naive agent’s sensorimotor experience. Neural Networks, 105, 371-392.
[3] Marcel, V., Argentieri, S., & Gas, B. (2019). Where do I move my sensors? Emergence of a topological representation of sensors poses from the sensorimotor flow. IEEE Transactions on Cognitive and Developmental Systems, 13(2), 312-325.
[4] Godon, J. M., Argentieri, S., & Gas, B. (2020). A formal account of structuring motor actions with sensory prediction for a naive agent. Frontiers in Robotics and AI, 7, 561660.
[5] Le Hir, N., Sigaud, O., & Laflaquière, A. (2018). Identification of invariant sensorimotor structures as a prerequisite for the discovery of objects. Frontiers in Robotics and AI, 5, 70.
[6] Ha, D., & Schmidhuber, J. (2018). World models. arXiv preprint arXiv:1803.10122.
[7] Richens, J., & Everitt, T. (2024). Robust agents learn causal world models. arXiv preprint arXiv:2402.10877.
[8] Lachapelle, S., Rodriguez, P., Sharma, Y., Everett, K. E., Le Priol, R., Lacoste, A., & Lacoste- Julien, S. (2022, June). Disentanglement via mechanism sparsity regularization: A new principle for nonlinear ICA. In Conference on Causal Learning and Reasoning (pp. 428-484). PMLR.
[9] Caselles-Dupré, H., Garcia Ortiz, M., & Filliat, D. (2019). Symmetry-based disentangled representation learning requires interaction with environments. Advances in Neural Information Processing Systems, 32.
[10] Oudeyer, P. Y., & Kaplan, F. (2007). What is intrinsic motivation? A typology of computational approaches. Frontiers in neurorobotics, 1, 108.
[11] Annabi, L. (2022). Intrinsically Motivated Learning of Causal World Models. Fifth International Workshop on Intrinsically-Motivated Open-ended Learning (IMOL2022).
https://www.isir.upmc.fr/nous-rejoindre/oppotunites/
(c) GdR IASIS - CNRS - 2024.