Résumé :

Dans la plupart des applications graphiques, les utilisateurs interagissent avec divers éléments, comme des boutons, des menus et des barres de titre, appelés widgets. Les informations sur ces widgets (telles que leur taille, leur emplacement et leurs étiquettes) ne sont généralement accessibles qu’au sein de l’application elle-même. L’objectif de ce stage est de développer des méthodes permettant d’accéder à ces informations depuis l’extérieur de l’application, pour permettre des nouvelles utilisations, comme l’analyse de l’interface utilisateur et l’amélioration de l’accessibilité.

Objectifs du stage :

Ce projet s’inscrit dans le cadre d’une collaboration entre Sorbonne Université et l’Université de Lille. Au cours de ce stage, l’étudiant travaillera à la conception d’un système capable de recueillir des informations sur les widgets d’interfaces utilisateurs graphiques (GUI). L’étudiant s’appuiera sur un démonstrateur existant qui permet d’identifier l’emplacement et la taille d’une cible unique. Le démonstrateur s’appuie sur un réseau de détection d’objets pré-entraîné YOLOv8. Le premier objectif de ce projet est d’améliorer le démonstrateur pour qu’il puisse identifier plusieurs emplacements et tailles de cibles en même temps, ainsi que de déterminer leurs label. Pour ce faire, le stagiaire appliquera des techniques existantes de traitement d’images pour pré- étiqueter un ensemble de données existant qui, après vérification, sera utilisé pour ré-entraîner le réseau existant. Le deuxième objectif de ce projet est de mettre en œuvre une technique d’interaction existante qui exploite les informations sur la cible, par exemple le pointage sémantique ou le bubble cursor, afin de montrer les possibilités offertes par ce projet.

Profil recherché :

Nous recherchons une personne ayant une formation en informatique, avec des compétences en apprentissage automatique / vision par ordinateur / traitement d’images. La connaissance de Python est requise, la connaissance de C++ n’est pas nécessaire mais est appréciée.

Informations complémentaires :

– Encadrant·e·s : Julien Gori

– Date de début du stage : Janvier – Mars 2025

– Durée du stage : 5-6 mois

– Niveau d’études souhaité : Master 2

– Laboratoire d’accueil : ISIR (Institut des Systèmes Intelligents et de Robotique), Campus Pierre et Marie Curie, 4 place Jussieu, 75005 Paris.

Personne à contacter :

– Julien Gori

– Email : gori@isir.upmc.fr

– Envoyer votre candidature par mail, avec [sujet du stage] en objet, un CV et une lettre de motivation.