Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
98 personnes membres du GdR ISIS, et 120 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 300 personnes.
L'apprentissage profond, un des outils-phares de l'Intelligence Artificielle, a remporté un grand succès dans de nombreux domaines en traitement et analyse des images, des vidéos, de l'information multimodale. Cependant, l'aspect boîte noire des réseaux de neurones profonds est devenue l'un des principaux obstacles à leur large acceptation dans des applications critiques telles que le diagnostic médical et la thérapie, voire la conduite autonome. Au lieu de développer et d'utiliser les réseaux de neurones profonds comme des boîtes noires et d'adapter des architectures connues à une variété de problèmes, le but de l'apprentissage profond explicable est de proposer des méthodes pour "comprendre" et "expliquer" comment ces systèmes produisent leurs décisions. En raison de l'énorme potentiel de l'apprentissage profond, l'interprétation des réseaux de neurones devient une direction de recherche suscitant un intérêt croissant. L'objectif de la journée GDR-ISIS est de rassembler la communauté des chercheurs qui travaillent sur la question de l'amélioration de l'explicabilité des algorithmes et systèmes d'IA dans le domaine image-signal.
Les principaux sujets que nous proposons de traiter sont les suivants mais peuvent être étendus :
Cette journée est organisée conjointement par le thème B Image et vision et le thème T. Le programme comporte 2 conférences invitées :
et 3-4 présentations courtes.
Programme : le 7/04 à 14h sur ZOOM
14h-15h Visualisation pour l'explication des réseaux profonds
Romain Bourqui, Romain Giot, LaBRI, Université de Bordeaux
15h - 15h20 Méthodes de White Boxes et FEM pour l'explication de la classification des images par des réseaux à convolution
M. P. Ayar, J. Benois-Pineau, A. Zemmari, LaBRI, Université de Bordeaux
15h20 -15h40 Classification et localisation des tumeurs en imagerie médicale via la carte d'activation de classe
A Amyar, R Modzelewski, S Ruan, LITIS-Quantif, Université de Rouen Normandie
15h40 - 16h40 Explanability in Multimedia Information Indexing and Retrieval
Georges Quenot, Laboratoire d'informatique de Grenoble
16h40 -17h00 Driving behavior explanation with multi-level fusion
Hédi Ben-Younes, Éloi Zablocki, Patrick Pérez, Matthieu Cord, LIP6, Sorbonne Université
17h00 - 17h20 Attention spectrale et explicabilité pour la classification de séries temporelles satellitaires par réseaux de neurones profonds
Hermann Courteille, Alexandre Benoit, Meger Nicolas, Atto Abdourrahmane, LISTIC, Université Savoie Mont Blanc
Ienco Dino, INRAE, UMR TETIS
17h20 -17h40 Roses Are Red, Violets Are Blue... but Should VQA Expect Them To?
Corentin Kervadec, Théo Jaunet, Grigory Antipov, Moez Baccouche, Romain Vuillemot, Christian Wolf, Orange, Cesson-Sévigné, LIRIS, INSA - Ecole Centrale, Lyon
Visualisation pour l'explication des réseaux profonds
Romain Bourqui, Romain Giot : LaBRI, Université de Bordeaux
En raison de leur haute performance, les réseaux de neurones profonds sont devenus les éléments clés de tout système d'apprentissage moderne. Cependant, cette performance est due à une augmentation de la complexité des modèles entre autre par la délégation de l'extraction des caractéristiques. Cette absence de maîtrise sur les caractéristiques extraites rend les modèles difficiles à comprendre et à croire.
Pour favoriser leur adoption, un effort important a été fourni ces dernière années pour permettre l'explication et/ou l'interprétation de ces réseaux profonds ainsi que leurs prédictions.
Alors que la communauté d'apprentissage automatique a principalement proposé des pour identifier les caractéristiques support d'une prédiction (sample level), la communauté visualisation s'est principalement intéressé à la compréhension du fonctionnement global d'un réseau ou aux particularités d'un couple jeu de données/réseau (dataset level).
Après une courte introduction sur les problématiques, nous présenterons l'intérêt de la visualisation d'information dans ce contexte ainsi qu'un panorama des techniques/outils existants.
Méthodes de White Boxes et FEM pour l'explication de la classification des images par des réseaux à convolution
M. P. Ayar, J. Benois-Pineau, A. Zemmari, LaBRI, Université de Bordeaux
L?explication des décisions des réseaux profonds à convolution dans des problèmes de classification d?images fait l?objet d?une recherche intense. Les méthodes basées-échantillon permettent pour un réseau pré-entrainé et une image donnée « d?expliquer » quels sont les régions/pixels dans l?image sur lesquels le classifier profond se base davantage pour prendre sa décision de classification.
Dans l'ensemble de méthodes d?explication pour ce problème nous distinguons les méthodes de « black-box » qui procèdent par des perturbations et masquage des régions dans les images pour ainsi identifier les régions importantes qui ont contribué à la décision.
Les méthodes « white-box » au contraire procèdent par l?analyse des caractéristiques dans des couches de convolution ou des gradients de la fonction objective par rapport aux images.
Nous présentons une analyse courte des méthodes « white-box » et exposons les principes et les résultats de la méthode FEM - Feature Explanation Method récemment développée au sein du LABRI.
Classification et localisation des tumeurs en imagerie médicale via la carte d'activation de classe
A Amyar, R Modzelewski, S Ruan, LITIS-Quantif, Université de Rouen Normandie
Malgré leur succès, les modèles d'apprentissage profond fonctionnent souvent comme des boîtes noires et permettent de comprendre très peu le fonctionnement interne. Toutefois, des efforts récents dans le domaine de l'intelligence artificielle ont produit diverses méthodes pour expliquer et interpréter les résultats de la classification par réseaux de neurones. Dans ce travail, nous étudions une méthode d'interprétabilité basée sur la carte d'activation de classe pour localiser les tumeurs. Nous proposons une architecture multitâche qui est composée d'un réseau de neurones convolutifs pour effectuer conjointement la classification des images de manière supervisée et la localisation des tumeurs de manière non supervisée. Cette approche évite de contourner les tumeurs sur des images 3D pour obtenir une vérité terrain, une tâche fastidieuse pour les médecins.
Driving behavior explanation with multi-level fusion
Hédi Ben-Younes, Éloi Zablocki, Patrick Pérez, Matthieu Cord, LIP6, Sorbonne Université
In this era of active development of autonomous vehicles, it becomes crucial to provide driving systems with the capacity to explain their decisions. In this work, we focus on generating high-level driving explanations as the vehicle drives. We present BEEF, for BEhavior Explanation with Fusion, a deep architecture which explains the behavior of a trajectory prediction model. Supervised by annotations of human driving decisions justifications, BEEF learns to fuse features from multiple levels. Leveraging recent advances in the multi-modal fusion literature, BEEF is carefully designed to model the correlations between high-level decisions features and mid-level perceptual features. The flexibility and efficiency of our approach are validated with extensive experiments on the HDD and BDD-X datasets.
Attention spectrale et explicabilité pour la classification de séries temporelles satellitaires par réseaux de neurones profonds
Hermann Courteille, Alexandre Benoit, Meger Nicolas, Atto Abdourrahmane, LISTIC, Université Savoie Mont Blanc
Ienco Dino, INRAE, UMR TETIS
Les réseaux profonds de neurones sont de plus en plus plébiscités, à fortiori, en classification d'occupation des sols, à partir de séries temporelles d'images satellites. Malgré leurs performances, ces réseaux souffrent de manque d'explicabilité. Dans ce cadre, nous étudions différentes architectures de réseaux profonds convolutionnels qui extraient les caractéristiques spectro-temporelles des séries pour ensuite classifier chaque pixel. Afin d'expliquer ses décisions, nous y intégrons, de deux manières différentes, un module d'attention donnant la contribution de chaque caractéristique spectrale. Des expériences ont été menées sur des données Sentinel-2 de la Réunion. Les corrélations spectrale, inhérente à ce type de séries, sont prises en compte en factorisant les convolutions sur des bandes fortement corrélées afin d'obtenir le meilleur compromis complexité/performance du modèle. Les résultats semblant prometteurs en termes d'explicabilité et de performances, des développements sont à l'étude pour étendre les attentions au niveau spectral et temporel (cartes de chaleur) et pour comprendre plus finement le fonctionnement des réseaux "multi-sorties" qui permettent d'entraîner le module d'attention.
Roses Are Red, Violets Are Blue... but Should VQA Expect Them To?
Corentin Kervadec, Théo Jaunet, Grigory Antipov, Moez Baccouche, Romain Vuillemot, Christian Wolf, Orange, Cesson-Sévigné, LIRIS, INSA - Ecole Centrale, Lyon
In Visual Question Answering (VQA) -- a visual reasoning task, where a model is asked to answer questions posed over images -- models are notorious for their tendency to rely on dataset biases.
The large and unbalanced diversity of questions and concepts involved in VQA and the lack of high standard annotated data tend to prevent deep learning models from learning to `reason'. Instead, it leads them to perform `educated guesses', relying on specific training set statistics, which is not helpful for generalizing to real world scenarios. In this presentation, we propose to study two aspects of the problem in order to improve our understanding of visual reasoning oriented deep learning models: (a) How to evaluate models' bias-dependency while using biased corpuses?; and (b) Is it possible to find evidences of reasoning patterns in VQA model?
Date : 2021-04-07
Lieu : Visioconférence (avec ZOOM) à 14h
Thèmes scientifiques :
B - Image et Vision
T - Apprentissage pour l'analyse du signal et des images
Inscriptions closes à cette réunion.
Accéder au compte-rendu de cette réunion.
(c) GdR IASIS - CNRS - 2024.