Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
15 personnes membres du GdR ISIS, et 46 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 100 personnes.
Cette journée dédiée à la Réalité Augmentée (RA) vise à rassembler les chercheurs de cette discipline en forte expansion en envisageant l'ensemble des technologies nécessaires à la mise en oeuvre d'applications de RA. Cette journée sera l'occasion de présenter les dernières avancées en réalité augmentée aussi bien dans des environnements classiques que dans des environnements déformables (applications médicales).
Les contributions attendues couvriront aussi bien des aspects théoriques qu'applicatifs du domaine.
La journée s'organisera autour d'exposés invités et d'exposés issus de l'appel à communications.
Trois exposés invités seront donnés par :
Les propositions de communications pourront en particulier porter sur les thèmes suivants (liste non restrictive) :
Les chercheurs sont invités à soumettre leurs propositions de présentation incluant titre, auteur et résumé avant le 1er juin 2017 aux organisateurs de la réunion.
14h-14h40 : Vincent Lepetit (Université de Bordeaux)
Using deep learning for localization tasks in augmented reality
Steve Bourgeois (CEA LIST )
Pour l'industrie manufacturière, la Réalité Augmentée apparait avant tout comme un outil permettant de réduire les temps de cycle et/ou d'accroitre la qualité. Cependant, le succès d'un système de RA ne dépend pas uniquement de la qualité de la localisation et du dispositif d'affichage. Ce succès dépend aussi en grande partie de sa facilité de déploiement et donc de son intégration dans le process industriel.
Cet exposé s'intéressera avant tout à l'étape de localisation par vision d'un dispositif de RA, et plus particulièrement à la difficulté à répondre au besoin de localisation fine d'objets complexes tout en maintenant un déploiement aisé de la solution. Pour tenter de répondre à cette problématique, le CEA List a développé une solution consistant à exploiter un modèle CAO comme contrainte supplémentaire dans un algorithme de SLAM. Cet exposé présentera donc cette approche ainsi que les avancées récentes la concernant, issues de travaux de thèses et des projets FUI Seemake et Nasima, et permettant de gérer des objets de toutes formes et de réduire la consommation mémoire tout en simplifiant le déploiement et en maintenant une exécution temps réelle.
Alia Rukubayihunga, Jean-Yves Didier, Samir Otmane (Laboratoire IBISC)
Les systèmes de réalité augmentée ont pour objectif d'apporter une assistance à leurs opérateurs. Des données statiques concernant le contexte sont fournies à l'utilisateur afin de l'informer ou des données dynamiques concernant une procédure ou une tâche sont affichées afin de permettre à ce dernier de développer des compétences techniques. C'est cette particularité qui est souvent recherchée dans le domaine industriel. En effet, en affichant des données adéquates au bon moment au bon endroit, celle-ci permettrait de gagner non seulement en terme de productivité mais également en terme d'efficacité.
Cependant, l'enjeu n'est plus uniquement d'afficher ces informations. Il s'agit maintenant de réaliser une analyse des actions de l'utilisateur afin que le système de RA ne constitue plus qu'un simple outil d'affichage mais véritablement un guide en supervisant les tâches de l'utilisateur, donc en lui indiquant quand il commet une erreur dans ses actions et comment y remédier.
Dans cet objectif, nous présenterons comment nous pouvons apporter cette information sémantique dans un contexte de maintenance en tenant compte des informations qui sont souvent calculées lors de la procédure de calcul de la pose en réalité augmentée.
Sabine Langlois, Renault / IRT SystemX
Le projet Localisation et Réalité Augmentée, mené à l'IRT SystemX, en partenariat avec notamment le CEA, Oktal, Renault et Valeo, a étudié pendant trois ans l'usage de la réalité augmentée pour la conduite autonome de niveau 3 selon la NHTSA. Ce niveau d'automatisation libère le conducteur de la tâche de conduite dans certaines situations. L'activité de conduite s'en trouve profondément modifiée. Plusieurs besoins nouveaux sont à remplir par les interfaces homme-machine. Le premier est de rassurer l'utilisateur, lors que le mode est activé, quant au fait que le système a bien vu et compris les éléments de la scène et a pris les bonnes décisions ; ce besoin est à remplir tout spécialement dans la phase de découverte du système. Le second est d'aider le conducteur à reprendre conscience de la situation lorsque le système lui redonne la main. L'étude de plusieurs cas d'usage sur simulateur de conduite relatifs non seulement au mode autonome (reprise en main, changement de voie automatisé) mais aussi à la conduite classique, pour le maintien d'une bonne distance de sécurité, permet de montrer le potentiel d'un afficheur tête haute dédié à la réalité augmentée pour la conduite automobile. La présentation pourra s'appuyer sur des films, notamment ceux d'ores et déjà disponibles sur le site du projet : http://www.irt-systemx.fr/project/lra/
Toby Collins ( ALCoV, Université d'Auvergne).
An important and challenging problem in Computer Vision and Augmented Reality (AR) is to register 3D deforming objects with live 2D videos. A recent and important application for such methods is computer-assisted intervention in Minimal Invasive Surgery (MIS), and in particular laparosurgery. The general aim is to visually guide a surgeon to locate hidden tumors and major vessels, by registering and augmenting 3D organ models (built from CT or MRI) with the MIS video.
Over the past 7 years I have worked significantly on this exciting topic, both at the CNRS Endoscopic and Computer Vision (EnCoV) lab, Clermont-Ferrand with Prof. Adrien Bartoli, and now at IRCAD, Strasbourg. In the first part of this talk I will present various applications of AR in MIS, the main technical challenges, and the general registration pipeline. In the second part I will take you on a deeper tour of a state-of-the-art system for AR-guided gynaecological
MIS. Time permitting, I will also discuss some recent approaches for registering non-medical deformable objects in real-time.
Gautier Claisse, Marc Chevaldonné, Michel Dhome (Université d'Auvergne)
Abstract à venir
Vincent Lepetit (Université de Bordeaux)
Abstract à venir
Jean-Marie Normand et Guillaume Moreau (Ecole centrale Nante)
En réalité augmentée, la principale difficulté consiste à déterminer la pose de la caméra qui filme la scène réelle afin d'intégrer géométriquement les mondes réel et virtuel. Pour cela, l'état de l'art s'appuie sur l'appariement entre une ou plusieurs images du monde réel et un modèle modulo une transformation géométrique. Pour déterminer si un point d'une image correspond à un autre, l'état de l'art utilise des descripteurs locaux liés au voisinage du point (information de texture). Il arrive que ces éléments ne soient pas exploitables, notamment en l'absence de textures ou quand celles-ci sont inexploitables en raison de conditions d'éclairage ou météorologiques différentes en environnement extérieur. Nous proposons une technique basée sur la seule répartition géométrique et qui s'affranchit donc des textures. Celle-ci présente en outre l'avantage de s'appliquer également au cas où des descripteurs locaux sont disponibles, enrichissant ainsi le domaine d'application. Nous présenterons quelques applications en cours ou envisagées (architecture/urbanisme, plans et cartes augmentés, etc.).
Pierre Rolin, Marie-Odile Berger, Frédéric Sur (LORIA, INRIA Nancy Grand Est)
Dans cet exposé nous nous intéresserons au calcul initial de la pose dans le cas où un modèle de scène a été acquis par des techniques de type structure from motion. Ces modèles sont très largement utilisés pour la localisation et un point 3D est représenté par l'ensemble des patchs de la séquence d'apprentissage ayant servi à le reconstruire. Cependant, lorsque la vue pour laquelle on souhaite calculer la pose est très différente de celles disponibles dans la séquence, le nombre de points qu'on parvient à mettre en correspondance entre image et modèle est très petit en raison de la faible invariance des descripteurs aux changements de point de vue. Le calcul du point de vue est alors la plupart du temps erroné.
Nous proposons dans cet exposé une approche permettant la mise en correspondance dans ces cas complexes. Elle consiste à synthétiser localement l'apparence de la scène sous des points de vues permettant de compléter la séquence de reconstruction originale. Les descripteurs extraits des vues synthétisées sont ensuite ajoutés à la représentation du point 3D. Nous montrons que cette méthode permet de calculer le point de vue dans des cas où les approches standard échouent.
Dans cet exposé nous répondrons aux questions suivantes en nous appuyant sur la géométrie de la scène : comment faire des vues de synthèse réalistes ? Comment placer les points de vue à simuler ? Quelles parties de la scène synthétiser ? Comment rendre le procédé de simulation efficace ? Des résultats expérimentaux viendront compléter cette présentation.
Mehdi Ayadi, Serge Miguet, Mihaela Scuturici, Chokri Ben Amar (Laboratoire : LIRIS)
Cette présentation s'inscrit dans la suite du projet ANR Skyline, (2012-2016), ayant pour objectif l'étude du Skyline en milieu urbain, dans un contexte interdisciplinaire. Notre objectif est d'utiliser le Skyline pour permettre d'incruster en réalité augmentée, un projet de construction à l'emplacement précis qu'il occupera une fois le projet réalisé. En effet, les applications traditionnelles de réalité augmentée basent le positionnement de l'utilisateur sur le GPS, et sa direction d'observation sur l'accéléromètre et le compas magnétique. L'imprécision de ces instruments induit une impression de « flottement » de l'objet incrusté dans la scène.
Nous montrons comment la ligne d'horizon créée par les bâtiments, peut être utilisée comme un marqueur de réalité augmentée, permettant d'améliorer la précision de l'incrustation de l'objet de synthèse dans la vidéo. Notre approche est basée sur une extraction en temps réel de la ligne d'horizon dans le flux vidéo par une méthode adaptative, puis sur une mise en correspondance entre cette ligne d'horizon et la silhouette extraite de la visualisation d'un modèle 3D de la ville. Des résultats préliminaires montrent qu'une version simplifiée de cette mise en correspondance, n'utilisant que des translations et des rotations dans le plan image, permet une incrustation très stable et en temps réel de l'objet de synthèse, quand les déplacements de l'utilisateur sont limités. Des perspectives d'intégration des transformations plus complexes, prenant en compte les six degrés de liberté de l'utilisateur, sont également évoquées.
Salma Jiddi (Technicolor), Eric Marchand (IRISA)
L'estimation des propriétés photométriques consiste à évaluer la réflectance des surfaces ainsi que la répartition des sources de lumière dans une scène réelle. Dans le cadre de nos travaux, nous nous intéressons aux scènes d'intérieurs où la position 3D de l'éclairage a son importance. De plus, les surfaces peuvent être diffuses et\ou spéculaires. Aussi, nous proposons un nouvel algorithme basé sur l'analyse des réflexions spéculaires et permettant d'estimer les propriétés photométriques d'une scène réelle statique (réflectance spéculaire, réflectance diffuse, position 3D des sources de lumière) à partir d'une séquence RGB-D fournie par un capteur actif. Notre analyse de scène permet des augmentations photoréalistes (ombres virtuelles, occlusions spéculaires) ainsi que la synthèse de réflexions spéculaires sur des surfaces réelles.
Alexandre Morgand, Mohamed Tamaazousti et Adrien Bartoli (CEA List et Université d'Auvergne)
La spécularité est un phénomène clé en vision par ordinateur. Elle peut directement fournir des informations pertinentes pour la compréhension de scène (géométrie, réflectance, sources de lumières). Cependant, elle peut également être considérée comme un élément indésirable influençant l'intensité de l'image ce qui impacte négativement les applications de vision par ordinateur (localisation de caméra, segmentation, suivi d'objets). Pour maîtriser ce phénomène, il est important de trouver une modélisation adéquate afin de mieux prédire ou supprimer cette interaction de lumière pour un point de vue donné. Pour améliorer la qualité de rendu de nombreuses applications de réalité augmentée ou diminuée, la prédiction de spécularité est essentielle. Néanmoins, dans un contexte où la pose de caméra et de la géométrie de la scène sont connues, le problème de prédiction est encore considéré comme complexe et ouvert. Dans ce contexte, nous présentons un modèle appelé JOLIMAS (JOint LIght-MAterial Specularity) qui répond partiellement à ce problème de prédiction. Sous l'hypothèse que les spécularités sont de forme elliptique sur des surfaces planaires ou convexes, nous modélisons la spécularité comme étant l'image d'une quadrique 3d fixe dans l'espace. Contrairement à l'état de l'art proposant des approches utilisant de l'illumination globale ou des modèles d'illumination locaux, notre modèle réalise la prédiction de façon purement géométrique. L'efficacité de ce modèle a été évaluée sur de nombreuses séquences de synthèse et réelles en présence d'une ou plusieurs lumières (néon, ampoule) d'intensités et de couleurs différentes. Nous proposons également une application de retexturing utilisant notre prédiction afin de reproduire la spécularité sur un objet dont la texture a été modifiée et pour de nouveaux points de vue.
Date : 2017-06-26
Lieu : TelecomParisTech, 46 Rue Barrault, 75013 Paris. Amphi Estaunié
Thèmes scientifiques :
B - Image et Vision
Inscriptions closes à cette réunion.
(c) GdR IASIS - CNRS - 2024.