Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
56 personnes membres du GdR ISIS, et 25 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 90 personnes.
Dans le contexte actuel, la réunion aura lieu en visioconférence. Cependant pour des raisons techniques liées au nombre de connexions simultanées, l'inscription à la réunion est gratuite mais obligatoire. Les identifiants de connexion seront communiqués par mail aux inscrits la veille ou le matin de la réunion.
L'inférence et l'optimisation de systèmes complexes soumis à de nombreuses sollicitations aléatoires ont été appliquées dans un grand nombre de domaines en statistiques appliquées, traitement du signal, traitement du langage, etc. Résoudre les problèmes d'inférence bayésienne est crucial dans ce cadre pour permettre de fournir différentes quantités d'intérêt liées à la loi a posteriori des paramètres ou processus latent, permettant ainsi la prise en compte de l'incertitude des données. Des estimateurs de ces lois a posteriori peuvent être obtenus par exemple grâce aux méthodes de Monte Carlo (séquentielles ou par chaînes de Markov). Cependant, pour les jeux de données complexes ou très massifs (en quantité et en dimension) la loi a priori des paramètres, statiques ou dynamiques, nécessaire à la mise en oeuvre de ces approches est souvent inconnue ou repose sur des routines de simulation de type « boîtes noires ». Dans un tel contexte, les méthodes d'apprentissage profond, réseaux récurrents, réseaux Transformers, etc. ont permis l'obtention de prédictions extrêmement performantes en l'absence de modèles probabilistes. L'utilisation de méthodes bayésiennes remplaçant les états de ces réseaux par des estimations de leurs lois a posteriori permet la prise en compte de l'incertitude dans l'estimation des états latents en lieu et place d'un calcul déterministe.
Cette demi-journée propose l'exploration de combinaisons de méthodes bayésiennes avec ces approches afin de répondre au besoin croissant de quantification de l'incertitude et de fiabilité des méthodes numériques récentes.
A 14h par visio-conférence, nous débuterons par un exposé invité d'une heure donné par Julyan ARBEL (INRIA Grenoble) puis nous aurons 2 présentations de 30 minutes ouvertes à travers un appel à contribution.
Les personnes souhaitant présenter leurs travaux sont invitées à faire part de leur intention aux deux organisateurs avant le 30 avril.
14h-15h: Julyan ARBEL (INRIA Grenoble)
Understanding Priors in Bayesian Neural Networks at the Unit Level
15h00-15h30: Gianni FRANCHI (ENSTA Paris)
TRADI: Tracking deep neural network weight distributions
15h30-16h00: Nicolas BROSSE (Thalès Group)
Uncertainties for classification tasks in Deep Neural Networks: a last layer approach
Julyan ARBEL (INRIA Grenoble)
Abstract
We investigate deep Bayesian neural networks with Gaussian weight priors and a class of ReLU-like nonlinearities. Bayesian neural networks with Gaussian priors are well known to induce an L2, ``weight decay'', regularization. Our results characterize a more intricate regularization effect at the level of the unit activations. Our main result establishes that the induced prior distribution on the units before and after activation becomes increasingly heavy-tailed with the depth of the layer. We show that first layer units are Gaussian, second layer units are sub-exponential, and units in deeper layers are characterized by sub-Weibull distributions. Our results provide new theoretical insight on deep Bayesian neural networks, which we corroborate with simulation experiments.
Gianni FRANCHI (ENSTA Paris)
Abstract
During training, the weights of a Deep Neural Network (DNN) are optimized from a random initialization towards a nearly optimum value minimizing a loss function. Only this final state of the weights is typically kept for testing, while the wealth of information on the geometry of the weight space, accumulated over the descent towards the minimum is discarded. In this presentation we propose to make use of this knowledge and leverage it for computing the distributions of the weights of the DNN. This can be further used for estimating the epistemic uncertainty of the DNN by sampling an ensemble of networks from these distributions. To this end we introduce a method for tracking the trajectory of the weights during optimization, that does not require any changes in the architecture nor on the training procedure. We evaluate our method on standard classification and regression benchmarks, and on out-of-distribution detection for classification and semantic segmentation. We achieve competitive results, while preserving computational efficiency in comparison to other popular approaches.
Nicolas BROSSE (Thalès Group)
Abstract
Uncertainty quantification for deep learning is a challenging open problem. Bayesian statistics offer a mathematically grounded framework to reason about uncertainties; however, approximate posteriors for modern neural networks still require prohibitive computational costs. We propose a family of algorithms which split the classification task into two stages: representation learning and uncertainty estimation. We compare four specific instances, where uncertainty estimation is performed via either an ensemble of Stochastic Gradient Descent or Stochastic Gradient Langevin Dynamics snapshots, an ensemble of bootstrapped logistic regressions, or via a number of Monte Carlo Dropout passes. We evaluate their performance in terms of selective classification (risk-coverage), and their ability to detect out-of-distribution samples. Our experiments suggest there is limited value in adding multiple uncertainty layers to deep classifiers, and we observe that these simple methods outperform a vanilla point-estimate Stochastic Gradient Descent in some complex benchmarks like ImageNet.
Date : 2020-05-11
Lieu : Visio-conférence
Thèmes scientifiques :
A - Méthodes et modèles en traitement de signal
T - Apprentissage pour l'analyse du signal et des images
Inscriptions closes à cette réunion.
Accéder au compte-rendu de cette réunion.
(c) GdR IASIS - CNRS - 2024.