Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
62 personnes membres du GdR ISIS, et 32 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 100 personnes.
Informations: La salle que nous avons réservé a une capacité de 50 places. Nous metterons en place une retransmission en visio avec une capacité de 300 places.
Le lien Zoom: https://zoom.us/j/93615882199?pwd=MjFrR2VDT1dCTUVWZ2JuR1paZm8zQT09
Alors que certains scénarios d'apprentissage en observation de la Terre disposent de données labellisées en grand nombre, d'autres en revanche ne disposent que d'un faible nombre de données annotées, voire d'aucune annotation.
De nombreuses recherches ont été menées ces dernières années pour s'adapter à ces contextes plus réalistes. On peut citer par exemple les techniques d'apprentissage semi-supervisé, qui utilisent une étape de labellisation semi-automatique en même temps que l'entraînement. D'autres approches, connues sous le nom d'adaptation de domaine ou d'apprentissage par transfert, proposent d'adapter des modèles appris préalablement sur d'autres jeux de données. Enfin, on peut citer également les approches purement non supervisées, apprises sur des données mais sans label, et pouvant être utilisées pour une représentation latente efficace, un désentrelacement ou une détection d'anomalie ou de changement.
Le but de cette journée est de présenter certains principes importants de l'apprentissage faiblement supervisé, ainsi que quelques mises en oeuvre récentes en télédétection. Des présentations méthodologiques et d'autres plus applicatives permettront d'élargir le spectre des applications, mais aussi, nous l'espérons, de motiver de nouveaux travaux qui prennent en compte les contraintes de l'observation de la Terre par la télédétection.
Les personnes souhaitant présenter leurs travaux sont invitées à faire part de leur intention aux organisateurs avant le 24 janvier 2023.
Programme prévisionnel:
9h - 9h30: Accueil
9h30 - 10h20: SAR image despeckling: from modeling to self-supervised deep learning, Florence Tupin, Télécom Paris
10h20 - 10h45: Agricultural Satellite Time Series Classification with Deformable Prototypical Sequences, Elliot Vincent, École des ponts - INRIA
10h45 - 11h10: Self-Supervised SAR Anomaly Detection Guided with RX Detector, Max Muzeau, SONDRA
11h10 - 11h30: pause
11h30 - 11h55: Few-shot detection of animal sounds at the planetary scale, Vincent Lostanlen, LS2N
11h55 - 12h20: Estimation des épaisseurs de glace dans les Alpes Suisse par apprentissage profond, Lorenzo Lopez-Uroz, LISTIC
Pause midi
14h - 14h50: Enjeux et promesses de l'apprentissage auto-supervisé de représentations pour l'exploitation des séries temporelles d'images satellitaires, Silvia Valero-Valbuena, Université Paul Sabatier - IUT'A
14h50 - 15h15: Nonnegative Block-Term Decomposition with the Beta-divergence: Joint Data Fusion and Blind Spectral Unmixing , Clémence Prevost, CRISTAL
15h15 - 15h40: Application du principe de DeepCluster pour la détection de changement dans des nuages de points 3D faiblement supervisée, Iris de Gélis, IRISA
15h40 - 16h00: pause
16h - 16h25: Evaluating the label efficiency of self-supervised representation learning for classification and object detection in satellite imagery, Jules Bourcier, GIPSA-lab
16h25 - 16h50: A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data, Florian Mouret, TerraNIS
Titre : Enjeux et promesses de l'apprentissage auto-supervisé de représentations pour l'exploitation des séries temporelles d'images satellitaires
Résumé : L'apprentissage auto-supervisé de représentations offre de nouvelles opportunités pour l'exploitation des séries temporelles d'images satellitaires. Cependant, ces methodologies doivent encore relever des défis importants dans l'observation de la Terre. Les méthodologies doivent faire face aux singularités de ces données acquises par des capteurs multimodaux, qui sont non stationnaires, non denses, multi-variées et échantillonnées irrégulièrement dans le temps. En outre, les méthodes actuelles apprennent des représentations qui sont généralement non structurées et qui n'ont pas de signification sémantique compréhensible par les humains.
Dans cet exposé, nous présenterons des développements récents autour des méthodes d'apprentissage auto-supervisé de représentations. Les défis majeurs à soulever liés à l'apprentissage de représentations pour l'exploitation des séries temporelles d'images satellitaires seront exposés. Ainsi, la présentation montrera comment coupler les modèles physiques et les méthodes d'apprentissage profond est une solution prometteuse afin d'apprendre des représentations des données interprétables à dimension réduite.
Titre: SAR image despeckling: from modeling to self-supervised deep learning
Résumé: SAR data are acquired thanks to coherent imaging and thus present strong fluctuations due to the speckle phenomenon. This phenomenon is a major hurdle for the analysis and understanding of SAR images and is present whatever the data: amplitude, interferometric or polarimetric images. The objective of this talk is to give an overview of despeckling methods from those based on signal modeling through variational models or patches, to more recent ones based on deep learning. We will present deep learning strategies introducing the model of speckle physics and allowing self-supervised training. This work is a joint work with Loïc Denis, Emanuele Dalsasso, and Inès Meraoumia.
Titre : Agricultural Satellite Time Series Classification with Deformable Prototypical Sequences
Résumé : Improvements in Earth observation with satellite images allow for sensed data of always higher temporal and spatial resolutions. Leveraging this data for agricultural monitoring will help address future environmental and economic challenges. Pixel-precise segmentation of crops using temporal data is currently explored with methods that either heavily rely on annotated data or that are engineered step by step to compensate the lack of supervision. In this work, we present a new unsupervised method for segmentation of Satellite Image Time Series (SITS). We introduce a prototype-based model for visual time series and show its ability to reconstruct a SITS using meaningful cluster centers that are invariant to spectral deformations and temporal shifts. We show results on par with supervised methods and set up the new state-of-the-art for unsupervised classification of agricultural time series on four recent SITS datasets.
Titre : Self-Supervised SAR Anomaly Detection Guided with RX Detector
Résumé : La détection des anomalies dans les images SAR (Synthetic Aperture Radar) est un sujet important. Cependant, cette tâche est difficile en raison de la rareté des échantillons anormaux et du manque de données annotées, ce qui a conduit la plupart des algorithmes dans ce domaine à être non supervisés. Un autre problème du SAR est la corruption par un fort bruit appelé speckle, qui dégrade la qualité des résultats de détection. La méthode proposée vise à résoudre ces problèmes grâce à un algorithme d'apprentissage auto-supervisé. Tout d'abord, nous proposons d'atténuer le chatoiement du RSO grâce à l'algorithme d'apprentissage profond SAR2SAR. Nous développons ensuite un autoencodeur adversarial (AAE) pour reconstruire des images SAR exemptes d'anomalies à partir de données débruitées en tenant compte des structures de corrélation spatiale potentielles. Enfin, une étape de traitement de détection de changement est appliquée entre l'entrée et la sortie pour détecter les anomalies. En plus de ce réseau, une nouvelle fonction de coût ajoutée à l'AAE pour lui donner des informations a priori sur les anomalies. Elle le guide à l'aide du détecteur de Reed-Xiaoli (RX) et remplace tout pixel des données d'entrée jugé trop anormal par des valeurs normales environnantes.
Titre : Few-shot detection of animal sounds at the planetary scale
Résumé : Few-shot sound event detection is the task of detecting sound events, despite having only a few labelled examples of the class of interest. This framework is particularly useful in bioacoustics, where often there is a need to annotate very long recordings but the expert annotator time is limited. This paper presents an overview of the second edition of the few-shot bioacoustic sound event detection task included in the DCASE 2022 challenge. A detailed description of the task objectives, dataset, and baselines is presented, together with the main results obtained and characteristics of the submitted systems. This task received submissions from 15 different teams from which 13 scored higher than the baselines. The highest F-score was of 60% on the evaluation set, which leads to a huge improvement over last year's edition. Highly-performing methods made use of prototypical networks, transductive learning, and addressed the variable length of events from all target classes. Furthermore, by analysing results on each of the subsets we can identify the main difficulties that the systems face, and conclude that few-show bioacoustic sound event detection remains an open challenge.
Titre : Estimation des épaisseurs de glace dans les Alpes Suisse par apprentissage profond
Résumé : Accurate estimation of ice thickness is essential for understanding and predicting the behaviors of glaciers. Current methods for estimating ice thickness face issues: field measurements such as the Ground Penetrating Range method can be costly and may not provide dense, continuous, renewable coverage. On the other hand, methods based on physical modeling can be computationally intensive and are dependent on assumptions about model parameters that may be unreliable in a poorly understood context. Results may thus be sensitive to the choice of prior information and prone to bias when working with limited or noisy data.
Deep learning methods provide a promising solution for ice thickness prediction. One key advantage is their ability to handle large, multi-dimensional datasets and to learn directly from raw data without prior knowledge. Additionally, deep learning models are able to exploit non-linear relationships between datasets. Using such models also allows simultaneous training of other tasks, such as terrain classification to identify the presence of glaciers when it is not provided or outdated. In this study, we propose the use of such an approach relying on convolutional models based on VGGNet, ResNet and U-Net. We conduct our study on Alpine glaciers in Switzerland. The input data for our neural network models includes: 1) average ice velocity fields calculated from correlation of Sentinel-2 images with a resolution of 50 metres, and 2) altitudes and slopes derived from the Swiss digital elevation model with a resolution of 10 metres. To verify the accuracy of the predicted ice thickness values, we use ground truth data obtained from GPR surveys conducted in profile form, from 2012 to 2021. In addition to estimating the ice thickness, we also perform direct classification of glaciers vs. non-glacier areas. Results demonstrate the feasibility of quickly training a neural network model with limited training data and producing stable, high-quality ice thickness estimates for different glaciers in the study region.
Titre : Nonnegative Block-Term Decomposition with the Beta-divergence: Joint Data Fusion and Blind Spectral Unmixing
Résumé : We present a new method for solving simultaneously hyperspectral super-resolution and spectral unmixing of the unknown super-resolution image. Our method relies on three key elements: (1) the nonnegative decomposition in rank-(Lr,Lr,1) block-terms, (2) joint tensor factorization with multiplicative updates, and (3) the formulation of a family of optimization problems with beta-divergences objective functions. We come up with a family of simple, robust and efficient algorithms, adaptable to various noise statistics. Experiments show that our approach competes favorably with state-of-the-art methods for solving both problems at hand for various noise statistics.
Titre : Application du principe de DeepCluster pour la détection de changement dans des nuages de points 3D faiblement supervisée
Résumé : Pour la mise à jour cartographique ou bien en cas de catastrophes naturelles, il est important de pouvoir détecter et caractériser les changements automatiquement. En milieu urbain, la plupart des changements se produisent le long de l'axe vertical (constructions ou démolitions de bâtiments par exemple) et l'utilisation de données 3D comme des nuages de points est donc un avantage. Cependant les nuages de point 3D sont des données très particulières (éparses et non ordonnées). Ces données sont aussi particulièrement difficiles à annoter, d'où l'intérêt de développer des méthodes faiblement supervisées. Dans ce cadre, nous avons développé une méthode basée sur le principe de DeepCluster (Caron et al. 2018) pour la détection de changement dans des nuages de points 3D sans passer par une discrétisation. L'apprentissage se fait via un clustering (grâce à un K-means) des attributs extrait par le réseau à chaque époque, les pseudo-labels issus de cette classification servent alors pour l'entraînement de la prochaine époque. Nous avons étudié le comportement de la méthode en fonction du choix de l'architecture de base, des différentes données en entrée (nuage seul ou accompagné d'attributs extraits manuellement afin de guider le réseau) mais aussi en introduisant une fonction de perte par contraste. Nous avons pu remarquer qu'avec une configuration faiblement supervisée, chaque choix peut avoir une importance très significative sur les résultats finaux. Les résultats obtenus égalent un réseau supervisé appliqué à des discrétisations 2D de nuages de points (MNS).
Titre : A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data
Résumé : Many remote sensing applications suffer from a lack of labeled data, which are costly and time consuming to acquire. In that context, unsupervised approaches can be valuable, in tasks such as anomaly detection or clustering. Nevertheless, the presence of missing data (in particular when using multispectral imagery) and outliers justify the use of specific methods. In that context, we propose a flexible Expectation-Maximization (FEM) algorithm, which aims at estimating a mixture of elliptical distributions in the presence of missing data and can be used in various unsupervised scenarios such as clustering, missing data reconstruction or outlier detection. The main advantage of the FEM algorithm when compared to the classical Gaussian mixture model estimation algorithm is that it is robust to outlier and can be used with non-Gaussian data. Experimental results conducted on rapeseed and wheat crops using Sentinel-1 and Sentinel-2 data show the interest of such algorithms for the detection of anomalous crop development in the presence of missing data. Indeed, in a single framework, one can input missing values and detect crop anomalies.
Titre : Evaluating the label efficiency of contrastive self-supervised learning for multi-resolution satellite imagery
Résumé : Inspired by its recent success in computer vision, self-supervised learning has been applied to remote sensing imagery in pursuit of exploiting the copious unlabeled data for learning deep representations. Recent works have shown that it can reduce or even close the gap with supervised learning on downstream Earth observation tasks.
This talk will present our applied work where we evaluate contrastive self-supervised methods on optical satellite imagery, for learning multi-scale representations that generalize from few labels. We benchmark the contrastive method MoCo on the task of classifying land use / land cover at variable resolutions and scales. We compare representations coming from different pretext tasks and initializations, under variable regimes of annotations. Our results show that specialized self-supervised models are more label-efficient than the generalist ImageNet-pretrained models.
Date : 2023-01-31
Lieu : Jussieu salle SCAI, Paris (50 places) + visioconférence (300 places)
Thèmes scientifiques :
B - Image et Vision
Inscriptions closes à cette réunion.
Accéder au compte-rendu de cette réunion.
(c) GdR IASIS - CNRS - 2024.