Vous êtes ici : Réunions » Réunion

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Extraction d'attributs et apprentissage pour l'analyse des images de télédétection

Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.

Inscriptions closes à cette réunion.

Inscriptions

39 personnes membres du GdR ISIS, et 30 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 90 personnes.

Annonce

Mise à jour : Les supports des présentations sont disponibles dans la section "compte-rendu".

---------------------------------------

Les capteurs modernes d'imagerie en télédétection délivrent beaucoup de données de très grandes dimensions spatiales, temporelles, associées à plusieurs modalités d'acquisitions et impliquant des schémas d'acquisition par constellation d'imageurs. L'analyse des images issues de ces nouvelles générations de capteurs soulève des défis majeurs en matière d'analyse et recherche d'informations spatiales, spectrales, polarimétriques, étalées ou localisées dans le temps, etc.

L'objectif de cette réunion est de faire un point sur les derniers travaux de recherche associés à des techniques avancées d'extraction d'attributs et d'apprentissage dans des contextes tels que l'observation de la terre (satellites, systèmes aéroportés ou drones, etc.) et l'imagerie astrophysique. La réunion abordera plusieurs problèmes sous le thème de l'apprentissage, notamment profond, par exemple les problèmes de :

Cette journée organisée conjointement par le GdR ISIS (Thèmes B et T) et la CCT TSI du CNES : les inscriptions seront gérées par les 2 structures (voir les sites web de ces structures concernant les procédures d'inscription).

Organisateurs :

Nous rappelons que les inscriptions aux réunions sont gratuites, mais obligatoires. Si vous prévoyez d'assister à plusieurs sessions associées à des journées GDR-ISIS différentes et prévues le même jour, il est nécessaire de vous inscrire à chacune des réunions correspondantes, ainsi que d'émarger (formats demies-journées) sur les feuilles de présence prévues à cet effet.

Programme

09h45-10h00/ Présentation introductive à la journée

10h00-10h30/ Deep Learning and Neural Networks for segmention, detection and recognition of images

Christian WOLF (LIRIS - Lyon) / Invité

10h30-10h50/ Apprentissage profond (DeepLearning) pour la classification d'image radar (SAR) sur l'océan

Nicolas LONGEPE (1), Romain HUSSON (1), Guillaume ERHARD (1), Alexis MOUCHE (2), Chen WANG (2), Pierre TANDEO (3)
Institutions : (1) Collecte Localisation Satellites, (2) IFREMER, (3) IMT Atlantique

10h50-11h10/ Convolutional Neural Networks for the segmentation of oceanic eddies from altimetric maps

Redouane Lguensat (1,2), Saifeddine Rjiba (3), Ronan Fablet (3), Evan Mason (4)
Institutions : (1) CNES, (2) Institut des Géosciences de l'Environnement, UGA (3) IMT Atlantique, UBL (4) IMEDEA Espagne

11h10-11h30/ Radar data cleansing with deep learning

Pierre Lepetit (1,2), Laurent Barthès (1), Cécile Mallet (1)
Institutions : (1) LATMOS, Université de Versailles Saint-Quentin-en-Yvelines, CNRS, (2) Météo France

11h30-11h50/ Encodage de matrices de covariance par les vecteurs de Fisher log-Euclidien : application à la classification supervisée d'images satellitaires

Sara Akodad, Lionel Bombrun, Yannick Berthoumieu, Christian Germain
Institution : Université de Bordeaux, IMS

11h50-12h10/ Images multi-sources incomplètes et Deep Learning

Lionel Pibre (1,5), Marc Chaumont (1,2), Gérard Subsol (1,3), Dino Ienco (4), Mustapha
Derras (5)
Institutions : (1) Université de Montpellier, LIRMM, (2) Université de Nîmes, (3) CNRS, (4) IRSTEA, (5) Berger-Levrault

12h10:12h30/ Deep learning for hyperspectral images: best practices and challenges

Nicolas Audebert (1,2), Bertrand Le Saux (1), Sébastien Lefèvre (2)
Institutions : (1) ONERA, (2) IRISA

12h30-14h00 // Pause //

14h00-14h30/ Deep Learning for Satellite Imagery: Semantic Segmentation and Cadaster Map Non-Rigid Alignment

Guillaume CHARPIAT (INRIA, Saclay) / Invité

14h30-14h50/ Classification de Supernovae par CNN

Anthony Brunel (1), Johanna Pasquet (2), Jérôme Pasquet (1), Nancy Rodriguez (1), Frédéric Comby (1), Dominique Fouchez (2), Marc Chaumont (1)

Institutions : (1) Université de Montpellier, LIRMM, (2) Centre de physique des particules de Marseille

14h50-15h10/ Intégration itérative de contraintes dans un clustering collaboratif

Baptiste Lafabregue (1), Pierre Gançarski (1), Thomas Lampert (1), Germain Forestier (2), Jonathan Weber (2)
Institutions : (1) Université de Strasbourg, ICube, (2) Université de Haute-Alsace, IRIMAS

15h10-15h30/ GammaLearn: Deep learning applied to the Cherenkov Telescope Array data analysis

Mikael Jacquemont, Patrick Lambert, Gilles Maurin, Thomas Vuillaume, Alexandre Benoit
Institution : Université Savoie Mont Blanc

15h30-15h50 // Pause (café offert par CCT-TSI-CNES) //

15h50-16h10/ Detection Methods Based on Structured Covariance Matrices for Multivariate SAR Images Processing

Rayen Ben Abdallah (1), Ammar Mian (2,3), Arnaud Breloy (1), Abigael Taylor (4), Nabil El Korso (1), David Lautru (1)
Institutions : (1) Université Paris Nanterre, (2) CentraleSupelec, (3) SONDRA, (4) ONERA

16h10-16h30/ Qualification sémantique de modèles 3D de bâtiments

Oussama Ennafii (1), Arnaud Le Bris (1), Florent Lafarge (2), Clément Mallet (1)
Institutions : (1) Université Paris-Est, LaSTIG MATIS, IGN, ENSG, (2) INRIA, Titane, Sophia Antipolis

16h30-17h00/ Mathworks / L'apprentissage automatique et profond pour l'analyse d'images : de la conception de l'algorithme jusqu'au déploiement

Martin Brochet, Valerie Leung
Institution : MathWorks

Résumés des contributions

1/ Deep Learning and Neural Networks for segmention, detection and recognition of images

Christian WOLF (LIRIS - Lyon)

Deep Learning consists in automatically learning layered and hierarchical representations with various layers abstraction from large amounts of data. This presentation presents a brief introduction into the foundation of the field, some common deep models like convolutional neural networks and recurrent networks, before going more into detail of some selected applications in image processing: image segmentation, object detection and object recognition.


2/ Apprentissage profond (DeepLearning) pour la classification d'image radar (SAR) sur l'océan

Nicolas LONGEPE (1), Romain HUSSON (1), Guillaume ERHARD (1), Alexis MOUCHE (2), Chen WANG (2), Pierre TANDEO (3)

Institutions : (1) Collecte Localisation Satellites, (2) IFREMER, (3) IMT Atlantique

Dans le cadre du programme européen Copernicus, des milliers d'images radar haute résolution (SAR) sont produites chaque jour représentant une moyenne quotidienne de 3,45 To de Sentinel-1 A/B publiées (ESA Sentinel Data Access Annual report 2016). Une quantité importante couvre la surface de l'océan, utilisée pour un large éventail d'applications (pollution, sécurité maritime, glace de mer...).

Divers phénomènes océaniques sont observés quotidiennement par Sentinel-1. Pour n'en nommer que quelques-uns, les fronts atmosphériques, les fronts océaniques, les cellules de pluie, les microcellules convectives, les ondes internes, les ondes de gravité, les nappes biologiques, les remontées d'eau ou les traînées de vent sont des phénomènes qui peuvent intéresser de nombreux utilisateurs. Pourtant, ces phénomènes sont absolument négligés (et au mieux masqués) dans les produits L-2 (OCN) générées par le segment sol ESA.

Cette étude vise à fournir une méthodologie pour labéliser et segmenter les images SAR acquises sur l'océan. Une base de données comprenant 36000 imagettes labellisées manuellement avec 10 classes est utilisée (une imagette de 20x20 km avec un seul label attribué). Elle sert d'entrée à des méthodes d'apprentissage profond type réseaux de neurones convolutifs (CNN). Ne disposant pas de segmentation sémantique pour les données d'apprentissage, un prototype utilisant des fenêtres glissantes et un modèle Inception-v3 est implémenté et testé sur des images larges fauchées (de 300 à 400 km de côté). Les résultats de segmentation sémantique sont prometteurs. Ce prototype est complété par des réseaux spécialisés permettant de détecter plus précisément les phénomènes localisés (iceberg/navires avec un modèle type RetinaNet, front océanique/atmosphérique avec DeepLab-v3, Unet...).


3/ Convolutional Neural Networks for the segmentation of oceanic eddies from altimetric maps

Redouane Lguensat (1,2), Saifeddine Rjiba (3), Ronan Fablet (3), Evan Mason (4)

Institutions : (1) CNES, (2) Institut des Géosciences de l'Environnement, UGA (3) IMT Atlantique, UBL (4) IMEDEA Espagne

We present EddyNet, a deep learning based architecture for automated eddy detection and classification from Sea Surface Height (SSH) maps provided by the Copernicus Marine and Environment Monitoring Service (CMEMS). EddyNet is a U-Net like network that consists of a convolutional encoder-decoder followed by a pixel-wise classification layer. The output is a map with the same size of the input where pixels have the following labels {'0': Non eddy, '1': anticyclonic eddy, '2': cyclonic eddy}. We enumerate the challenges faced using this particular type of data and also discuss possible improvements (e.g. benefiting form the recent advancements in CNN based segmentation, considering the temporal dimension, etc..). Last but not least, we show that combining CNN-based architectures with other classical segmentation methods is worthy of investigation.


4/ Radar data cleansing with deep learning

Pierre Lepetit (1,2), Laurent Barthès (1), Cécile Mallet (1)

Institutions : (1) LATMOS, Université de Versailles Saint-Quentin-en-Yvelines, CNRS, (2) Météo France

Quality of radar data is critical for climatology, analysis and forecast. Actual algorithms present some drawbacks. For example, outer edges of rainy areas are often mistaken. Typing and cleansing of radar echoes is an ongoing challenge for over seventy years. It consists in telling which physical obstacles have been detected and how to remove irrelevant echoes. Typing refers to a pixel wise classification, and corresponds to a segmentation task. In the field of meteorological radar data processing, former algorithms were based on thresholding and decision trees. More objective approaches, based on fuzzy logic have been also developed. In the SERVAL operational algorithm of Meteo France, the pixel typing begins with a first basic decision tree followed by a fuzzy logic classification step and a contextual correction to avoid isolated pixels with a different type.

Deep convolutional neural networks (DCNN) have been chosen as a basis for several reasons. First for their high scoring in the domain of image processing, in particular, segmentation tasks has been successfully approached in biomedicine and satellite imagery. This success lies on DCNNs ability to exploit long range information and abstract representations on picture contents. Hence, long range patterns, associated with a meteorological context or specific non precipitating echoes could be handled by DCNN for typing or separation tasks.

In these study data have been recovered thanks to CMR (centre de météorologie radar, Météo France) and count 100k radar pictures. But these pictures lack human typing or cleaning by an expert. Pixels can belong to one of the following classes: pure precipitating echoes, non-precipitating echoes or mixed echoes. A database with pictures which contain only non-precipitating echoes collected during non-rainy periods (thanks to a collocated network of pluviometers) was set up. A second database corresponding to rainy periods was also built. However this database contains pictures with pure precipitating echoes mixed with some non-precipitating echoes. Training databases were built by merging these two databases. However, due to the presence of non-precipitating echoes in the second database some labeling errors exist and could be interpreted as label noise. Hence, part of this work is devoted to improvement of robustness w.r.t. label noise.

First networks were trained on cleansing and segmentation tasks. Once segmented, non-recipitating echoes could be removed and concerned pixels are inpainted with a network trained on inpainting task. It allows to develop an indirect cleansing method. Direct and indirect cleansing methods are evaluated and compared with Météo-France operational algorithm.


5/ Encodage de matrices de covariance par les vecteurs de Fisher log-Euclidien : application à la classification supervisée d'images satellitaires

Sara Akodad, Lionel Bombrun, Yannick Berthoumieu, Christian Germain

Institution : Université de Bordeaux, IMS

Dans cette présentation, nous nous intéressons à la classification supervisée d'images de télédétection basée sur les méthodes de codage tels que les sacs de mots, les descripteurs VLAD ou les vecteurs de Fisher (VF). Ces approches reposent sur un principe très similaire qui consiste à générer dans un premier temps un dictionnaire composé par un ensemble fini de mots, suivi d'une étape de codage qui associe à chaque image une carte d'activation.

Récemment, de nombreux travaux ont proposé d'étendre ce formalisme au cas de descripteurs structurés que sont les matrices de covariance. La structure tient aux propriétés de symétrie et de définie positivité (SDP) des matrices de covariance extraite localement des images. Considérant les propriétés intrinsèques à la géométrie Riemannienne propre à l'espace des matrices SDP, nous proposons d'utiliser la métrique log-Euclidienne afin d'étendre le concept des VF pour l'encodage des matrices de covariance : les vecteurs de Fisher log-Euclidiens (LE VF).

Enfin, devant le succès grandissant des réseaux de neurones convolutifs pour des tâches de classification, nous proposons une architecture hybride consistant à encoder les sorties des couches convolutives à l'aide des descripteurs LE VF. Les performances de ces descripteurs seront évaluées sur différentes bases de données de télédétection telles que la base UC Merced Land Use Land Cover ainsi que sur deux jeux de données sur des forêts de pins maritimes et de parcs ostréicoles.


6/ Images multi-sources incomplètes et Deep Learning

Lionel Pibre (1,5), Marc Chaumont (1,2), Gérard Subsol (1,3), Dino Ienco (4), Mustapha Derras (5)

Institutions : (1) Université de Montpellier, LIRMM, (2) Université de Nîmes, (3) CNRS, (4) IRSTEA, (5) Berger-Levrault

De nombreux travaux ont été réalisés afin de trouver la meilleure façon de combiner des informations issues de capteurs d'images optiques, multispectrales ou de profondeur pour améliorer les performances sur différentes tâches et problématiques. La combinaison des informations améliore les performances sur les tâches de détection d'objets, de classification et de segmentation sémantique. Mais que se passe-t-il si des sources sont manquantes lorsque l'on utilise des méthodes basées sur le Deep Learning ? Nous proposons ici une solution dans le cadre d'images multi-sources incomplètes dans un réseau Deep Learning de type réseau de neurones convolutionnels. La tâche de segmentation sémantique est très étudiée dans le domaine de la télédétection, notamment pour réaliser des analyses sur l'occupation du sol ou bien de la détection d'objets. L'utilisation d'un CNN est devenue courante pour ce type d'analyses. Cependant seul le cas où toutes les sources sont disponibles est considéré.
Nous proposons de traiter la problématique des données incomplètes sur la tâche de segmentation sémantique dans deux scénarios différents fondés sur des images optiques à 2 canaux R et V et un canal proche infrarouge Pir.

Dans le premier scénario nous ciblons les images avec les canaux rouge et vert (RV), c'est-à-dire que lors de la phase de test, nous réalisons nos tests sur des images RV. Dans la base d'apprentissage, toutes les images ont les canaux RV et mous supposons que seulement quelques-unes ont aussi accès à la source proche infrarouge (Pir). Nous voulons que lorsqu'une donnée intègre la source Pir, cette dernière soit utilisée, et nous appelons ce scénario l'enrichissement. L'idée est d'enrichir notre base de connaissances en ajoutant une source lorsqu'elle est disponible.

Dans le deuxième scénario, nous réaliserons nos tests sur des images PirRV. Dans ce scénario que nous appelons le manque, nous considérons lors de l'apprentissage comme dans le premier scénario que nous avons tout le temps accès à la source RV mais nous supposons que quelquefois il manque des données avec la source Pir. Lorsqu'une donnée n'a pas accès à la source Pir, nous donnons quand même l'image avec les sources RV seule au réseau durant l'apprentissage. En fait, nous voulons quand même utiliser les données en l'absence d'une source. Nous proposons une architecture de réseau de neurones convolutionnels permettant de traiter la problématique des données incomplètes lors de la phase d'apprentissage et de test sans avoir à supprimer ou à générer des données artificielles.


7/ Deep learning for hyperspectral images: best practices and challenges

Nicolas Audebert (1,2), Bertrand Le Saux (1), Sébastien Lefèvre (2)

Institutions : (1) ONERA, (2) IRISA

The rise of hyperspectral imaging for Earth Observation has unlocked new possibilities in land cover and land use classification, as the high spectral resolution makes it possible to discriminate classes inside a fine-grained taxonomy. Moreover, the popularity of deep learning in remote sensing has decupled the number of deep neural architectures for multispectral and hyperspectral image processing. Nonetheless, the public hyperspectral benchmarks still have not reached the critical mass to allow practitioners to train large-scale models or even to robustly assess the performances from state-of-the-art models. In this talk, we will present a new deep learning toolbox designed for hyperspectral image classification. Built on a modular architecture, the toolbox allow hyperspectral experts to evaluate state-of-the-art neural nets on both public and custom datasets, and machine learning designers to create and validate new models on existing data. We will also discuss how to design, apply and tune such models for real-world applications, and review some novel research ideas to alleviate the lack of available data using generative models for spectrum synthesis.


8/ Deep Learning for Satellite Imagery: Semantic Segmentation and Cadaster Map Non-Rigid Alignment

Guillaume CHARPIAT (INRIA, Saclay)

Neural networks have been producing impressive results in computer vision these last years, in image classification or segmentation in particular. To be transferred to remote sensing, this tool needs adaptation to its specifics: large images, many small objects per image, keeping high-resolution output, non-reliable ground truth (usually mis-registered). We will review the work done in our group for remote sensing semantic segmentation, explaining the evolution of our neural net architecture design to face these challenges, and finally training a network to register the cadaster maps to the RGB images while detecting new buildings if any. We will also, if time permits, present our work on hurricane track forecast from reanalysis data (2-3D coverage of the Earth's surface with temperature/pressure/etc. fields) using deep learning.


9/ Classification de Supernovae par CNN

Anthony Brunel (1), Johanna Pasquet (2), Jérôme Pasquet (1), Nancy Rodriguez (1), Frédéric Comby (1), Dominique Fouchez (2), Marc Chaumont (1)

Institutions : (1) Université de Montpellier, LIRMM, (2) Centre de physique des particules de Marseille

Les cosmologistes sont confrontés au problème de l'analyse d'une quantité énorme de données lors de l'observation du ciel. Dans cette présentation, nous étudions spécifiquement le phénomène des supernovae et en particulier la classification binaire "supernovae de type Ia versus supernovae de type non-Ia". Les méthodes utilisées en cosmologie s'appuient, pour la plupart, sur des modèles astrophysiques et, par conséquent, pour la classification, elles utilisent généralement une approche d'apprentissage automatique en deux étapes, qui consiste d'abord à extraire les caractéristiques puis à les classer. Nous présentons deux réseaux de neurones convolutionnels (CNN), qui surpassent l'état-de-l'art actuel. Le premier CNN est adapté aux séries temporelles et donc au traitement des courbes de lumière des supernovae. Le second CNN est basé sur un CNN siamois et est adapté à la nature des données qui sont clairsemées et dont le nombre d'exemples d'apprentissage est faible. Ce travail est issu d'une collaboration entre le Centre de Physique des Particules de Marseille (CPPM) et le Laboratoire d'Informatique de Robotique et de Microélectronique de Montpellier (LIRMM).


10/ Intégration itérative de contraintes dans un clustering collaboratif

Baptiste Lafabregue (1), Pierre Gançarski (1), Thomas Lampert (1), Germain Forestier (2), Jonathan Weber (2)

Institutions : (1) Université de Strasbourg, ICube, (2) Université de Haute-Alsace, IRIMAS

L'étude et la modélisation des phénomènes complexes de notre environnement tels que les processus d'urbanisation et leurs impacts, les pratiques agricoles et leurs dynamiques, la déforestation ou l'influence des actions anthropiques sur la biodiversité ou plus généralement sur l'environnement sont au coeur de notre actualité scientifique de ces dernières décennies. Appréhender, observer, comprendre ces processus requiert des volumes considérables de données d'observation. Avec le lancement et la mise en production des satellites européens de la constellation Sentinel, des données images arrivent maintenant de façon massive en flux quasi continus.

Néanmoins la volonté de détecter, analyser et classifier tous les changements lents, rapides, abruptes et/ou cycliques qui affectent les territoires nécessite le développement de méthodes innovantes d'analyse et d'interprétation en rupture avec les méthodes du domaine. En effet, les méthodes d'apprentissage supervisé classiques ou même récentes tel que l'apprentissage profond (« Deep Learning ») qui obtient des résultats stupéfiants dans de nombreux domaines (vision, classification d'images, ...), font l'hypothèse que les données d'apprentissage décrivent de manière suffisante et complète les classes auxquelles elles sont rattachées. En d'autres termes, ces méthodes nécessitent que les classes recherchées soient parfaitement connues et définies et que l'expert soit capable de fournir un jeu de données d'apprentissage suffisant aussi bien en nombre et qu'en qualité.

Dans le cas de l'analyse temporelle en télédétection, cette hypothèse n'est plus réaliste. En effet, la révolution technologique de la haute fréquence d'acquisition d'images (de l'ordre d'une image tous les 5 jours contre une dizaine, voire moins, par an auparavant) est encore trop récente pour que les connaissances thématiques se soient adaptées. Ainsi, il n'existe pas à l'heure actuelle de typologies (ou nomenclatures) des changements réellement utilisables pour ce type d'analyse supervisée et donc de données d'apprentissage de qualité associées. De fait, il est indispensable de mener des recherches sur la définition de telles typologies et de jeux de données de référence associés. Cependant, avec l'augmentation du volume des données et du nombre de classes d'évolution potentielles, la mise en évidence et la formalisation de celles-ci dans le cadre de l'analyse temporelle n'apparaît pas comme réalisable sans l'aide de méthodes d'extraction automatique de ces classes.

Nous présenterons une méthode innovante de clustering collaboratif sous contraintes itératif répondant à ce questionnement.


11/ GammaLearn: Deep learning applied to the Cherenkov Telescope Array data analysis

Mikael Jacquemont, Patrick Lambert, Gilles Maurin, Thomas Vuillaume, Alexandre Benoit

Institution : Université Savoie Mont Blanc

The Cherenkov Telescope Array (CTA) is the next generation of ground-based gamma-ray telescopes. Two arrays will be deployed composed of 19 telescopes in the Northern hemisphere and 99 telescopes in the Southern hemisphere. Observatory operations are planned to start in 2021 but CTA is currently in pre-production phase, prototypes already producing data, and first data from on site prototypes should be available already in 2019. Due to its very high sensitivity, CTA will record a tremendous amount of data that represent a computing challenge to the reconstruction software. Moreover, the vast majority of triggered events come from protons whereas only photons are of interest for the study of astrophysical sources.

Since the 2012 Imagenet breakthrough, deep learning advances have shown dramatic improvements in data analysis across a variety of experiments. These deep learning algorithms look particularly suited to the task of analysing CTA's simulated and real data. Moreover, the trained neural networks show very good computing performances during execution.
Here we present a first study of deep learning architectures applied to CTA simulated data to perform the energy and direction reconstruction of the particles as well as the discrimination of gamma photons among cosmic rays. We also present indexed operations allowing to process specific CTA camera images without preprocessing.


12/ Detection Methods Based on Structured Covariance Matrices for Multivariate SAR Images Processing

Rayen Ben Abdallah (1), Ammar Mian (2,3), Arnaud Breloy (1), Abigael Taylor (4), Nabil El Korso (1), David Lautru (1)

Institutions : (1) Université Paris Nanterre, (2) CentraleSupelec, (3) SONDRA, (4) ONERA

Testing the similarity of covariance matrices from groups of observations has been shown to be a relevant approach for change and/or anomaly detection in synthetic aperture radar images. While the term 'similarity' usually refers to equality or proportionality, we explore the testing of shared properties in the structure of low rank plus identity covariance matrices, which are appropriate for radar processing. Specifically, we derive generalized likelihood ratio tests to infer i) on the equality of the low rank signal component of covariance matrices, and ii) on the proportionality of the low rank signal component of covariance matrices. The formulation of the second test involves non-trivial optimization problems for which we tailor efficient Majorization-Minimization algorithms. Eventually, the proposed detection methods enjoy interesting properties, that are illustrated on simulations and on an application to real data for change detection.


13/ Qualification sémantique de modèles 3D de bâtiments

Oussama Ennafii (1), Arnaud Le Bris (1), Florent Lafarge (2), Clément Mallet (1)

Institutions : (1) Université Paris-Est, LaSTIG MATIS, IGN, ENSG, (2) INRIA, Titane, Sophia Antipolis

Bien que la reconstruction automatique de modèles 3D urbains à partir de données géospatiales (Lidar, imagerie optique multi-vues aéroportée ou satellite) soit communément abordée dans la littérature et opérationnelle dans de nombreux logiciels, les modèles produits sont très souvent affectés par des erreurs. Aucune méthode n'est capable d'appréhender la grande diversité au sein des villes et entre milieux urbains aujourd'hui. Aussi, dans un cadre de production, des opérateurs doivent évaluer visuellement, à l'échelle de la ville, la validité des modèles et détecter des erreurs de modélisation qui sont inévitables. Un tel processus repose sur une forte expertise. Elle prend beaucoup de temps (2 h/km2 /expert).

Dans ce travail, nous proposons une approche d'évaluation automatique de la qualité des modèles 3D de bâtiments, indépendante de la méthode de reconstruction en entrée, à l'échelle du bâtiment. Cela permet à la fois d'effectuer des corrections a posteriori sur les modèles reconstruits, de la détection de changements et de la sélection des méthodes de reconstruction les plus adaptées selon les environnements urbains et les types de bâtiments.

Notre approche se fonde sur un mécanisme standard de classification supervisée. Les erreurs potentielles sont tout d'abord compilées selon une taxonomie hiérarchique, polyvalente et paramétrable (trois niveaux de finesse sémantique pour un total de dix erreurs pour la taxonomie pleinement développée au LoD-2). Celle-ci permet pour la première fois de démêler les erreurs de fidélité et de modélisation, quel que soit le niveau de détail (LoD) des bâtiments modélisés.

La qualité des modèles est prédite à partir des propriétés géométriques des bâtiments et, le cas échéant, d'images géospatiales à Très Haute Résolution Spatiale et de cartes de profondeur (Modèles Numériques de Surface - MNS). Concernant les attributs géométriques, des statistiques sont calculées, pour chaque bâtiment, sur des caractéristiques géométriques de facettes. Les attributs altimétriques résultent de l'analyse de l'histogramme des résidus altimétriques entre le MNS et le modèle. Dernièrement, les arêtes du modèle 3D sont comparées aux images THR en calculant des scores de corrélation entre le gradient local et la normale de l'arête. Ce jeu d'attributs génériques et manuellement construit (20 attributs par modalité) alimente un classifieur supervisé de type Forêt Aléatoire. Des cas Multi-classes (pour chaque instance, on prédit une seule étiquette qui prend plusieurs valeurs) et Multi-labels (pour chaque instance, on prédit plusieurs étiquettes binaires) sont pris en compte selon le niveau de détail et le niveau de sémantisation souhaité. En raison de l'indépendance entre les classes d'erreurs, nous avons la possibilité de retrouver toutes ces classes simultanément.

En comparant les résultats du processus proposé sur plusieurs zones urbaines de typologie variée (Paris : urbain dense, Elancourt : résidentiel, Nantes : urbain épars), nous pouvons détecter de manière satisfaisante, en moyenne, 96% des erreurs les plus fréquentes (sur plus de 3000 bâtiments étiquetés manuellement). Devant la complexité d'obtenir des données de vérité terrain et donc des échantillons d'apprentissage pour les classifieurs, une analyse supplémentaire est menée sur la capacité de transfert des modèles de classification entre zones urbaines.


14/ Mathworks / L'apprentissage automatique et profond pour l'analyse d'images : de la conception de l'algorithme jusqu'au déploiement

Martin Brochet, Valerie Leung

Institution : MathWorks

Aujourd'hui, nous générons énormément de données depuis des capteurs multiples. De ces données nous pensons être capables d'en générer des valeurs pour prendre des décisions. Le processus de la prise de décision consiste d'abord à traiter ces données pour en extraire des informations, et ensuite d'agglomérer ces informations pour créer des bases de connaissances. Basés sur ces connaissances, nous serons en mesure de prendre des décisions. Pour que les décisions soient disponibles en temps opportun, il faut que la chaîne de traitement soit à la fois puissante et efficace.

Ce workflow s'applique à plusieurs applications. Dans le contexte de la télédétection, les exemples sont la caractérisation de l'usage du terrain, la détection d'objets et d'anomalies pour en citer quelques-unes.

Lors de cette présentation, nous aborderons l'utilisation de l'apprentissage automatique et profond pour ces problématiques. Les challenges sont multiples : la gestion de gros jeux de données, la définition et l'apprentissage des modèles et des réseaux profonds, l'évaluation de leurs précisions, et enfin le déploiement sur cibles embarquées. Des exemples développés sous MATLAB seront utilisés pour illustrer les solutions mises en oeuvre pour résoudre ces challenges.

Date : 2018-10-18

Lieu : CNES PARIS DAUMESNIL


Thèmes scientifiques :
B - Image et Vision
T - Apprentissage pour l'analyse du signal et des images

Inscriptions closes à cette réunion.

Accéder au compte-rendu de cette réunion.

(c) GdR IASIS - CNRS - 2024.