Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
40 personnes membres du GdR ISIS, et 22 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 50 personnes.
La réunion est prévue le 6 septembre 2012 à Telecom ParisTech (Paris), Amphi Grenat.
Les méthodes bayésiennes paramétriques font partie intégrante de la boîte à outil du chercheur en traitement statistique du signal. Les méthodes paramétriques font l'hypothèse que le modèle peut être caractérisé par un vecteur de paramètres de dimension finie. Par exemple, dans le cas de la classification non supervisée de données, on suppose que les données sont des réalisations indépendantes d'une distribution inconnue définie par un mélange fini de densités de probabilités de vecteurs paramètres (de dimension finie) inconnus à estimer. Chaque mode du mélange correspond alors à un nuage de points.
Le choix d'un modèle paramétrique peut être assez restrictif car il contraint le modèle à une forme donnée, qui peut être difficile à spécifier. Afin de gagner en robustesse, il peut être souhaitable de considérer que la distribution inconnue a un support plus large que celui fourni par un modèle paramétrique donné. Au lieu de définir une distribution a priori sur un espace de dimension finie, les modèles bayésiens non paramétriques définissent de ce fait une distribution de probabilité sur des espaces fonctionnels (de dimension infinie). Un modèle non paramétrique peut ainsi être simplement considéré comme un modèle statistique avec un nombre infini de paramètres. Une définition alternative est un modèle dont la complexité augmente avec le nombre de données. Ceci évite ainsi de fixer la complexité ou l'ordre du modèle, le nombre de paramètres pouvant augmenter dynamiquement avec le nombre de données.
Les modèles bayésiens non paramétriques les plus populaires sont actuellement les processus gaussiens et les processus de Dirichlet. En particulier, le processus de Dirichlet à mélange (Dirichlet Process Mixture, DPM) est une distribution sur les distributions de probabilité. Le DPM dépend de deux paramètres et ses réalisations sont des mélanges infinis, par exemple de densités gaussiennes. Le nombre de clusters ne doit pas être défini a priori, mais est estimé à partir des données. Bien que les processus de Dirichlet soient des objets statistiques connus depuis le début des années 1970, ces modèles ne sont vraiment devenus populaires que récemment grâce au développement des méthodes de Monte Carlo par chaînes de Markov (MCMC) permettant d'estimer les paramètres de tels modèles. Ils ont depuis connu une grande popularité pour l'estimation de densités et la classification non supervisée dans des domaines d'application variés.
Ces méthodes sont cependant encore mal connues en traitement du signal et des images, et l'objectif de cette réunion est de faire découvrir à la communauté leur potentiel en traitement du signal et des images.
Cette journée débutera par une introduction de ces méthodes par Michael I. Jordan (Berkeley) qui est une des références du domaine. Par la suite, elle alternera des présentations couvrant les aspects théoriques, de modélisation, computationnels et applicatifs. Autres orateurs invités : Eric Barat (CEA) et Ismaël Castillo (LPMA).
Organisateurs :
10h - 11h30 : Michael Jordan
University of California Berkeley & Fondation Sciences Mathématiques de Paris
Méthodes bayésiennes non Paramétriques : Tutorial
11h30 - 12h15 : Eric Barat
CEA
Une approche bayésienne Non Paramétrique pour les problèmes inverses.
13h45 - 14h30 : Ismaël Castillo
Laboratoire de Probabilités et Modèles Aléatoires, Universities Paris VI & VII.
Convergence de lois a posteriori, quelques résultats fréquentistes / Convergence of posterior distributions, some frequentist results
14h30 - 14h50 : Julyan Arbel
CREST, Paris Dauphine
Dependent Dirichlet processes and application to ecological data
14h50 - 15h30 : Emmanuel Duflos
LAGIS - Ecole Centrale de Lille
Méthodes bayésiennes non Paramétriques appliquées à la réduction des effets des multitrajets dans les systèmes GNSS
15h30 - 16h00 : Break
16h00 - 16h20 : Mame Diarra Fall
MAP5, Paris V
Échantillonnage des mélanges par processus de Dirichlet
16h20 - 16h40 : Bertrand Rivet
Gipsa-lab
Extraction de l'ECG du foetus
16h40 - 17h00 : Asma Rabaoui
IMS (Laboratoire de l'Intégration du Matériau au Système), Bordeaux 1
Functional Data Analysis via Bayesian nonparametrics with application to audio signal classification
Michael Jordan, University of California Berkeley & Fondation Sciences Mathématiques de Paris
L'inférence bayésienne est souvent vue comme une approche pour l'inférence statistique nécessitant l'adoption d'hypothèses fortes. Ces deux dernières décennies ont vu le développement de plus en plus dynamique des méthodes bayésiennes non paramétriques, qui d'une part apportent un cadre flexible pour la spécification de lois a priori et d'autre part permettent l'adoption d'hypothèses plus faibles. Mathématiquement, les méthodes bayésiennes non paramétriques reviennent à utiliser des processus stochastiques généraux comme distributions a priori. Je discuterai une classe de processus stochastiques connue sous le nom de "mesures complètement aléatoires" qui fournit un point de départ utile pour une variété d'applications des méthodes bayésiennes non paramétriques en sciences et ingénierie. En particulier, je présenterai des modèles basés sur le processus bêta, le processus de Bernoulli, le processus gamma et le processus de Dirichlet, ainsi que des constructions hiérarchiques et gigognes utilisant ces processus comme briques de base. Je discuterai ensuite des applications dans une variété de domaines scientifiques, incluant la modélisation de la structure des protéines, la vision, la parole et la génétique statistique.
Eric Barat, CEA
Les contextes où un paramètre d'intérêt inconnu µ n'est observable qu'indirectement, via sa transformation par un opérateur connu K, et en présence de bruit, sont nombreux en traitement du signal et des images. On peut citer, parmi d'autres, les problèmes de déconvolution ou de tomographie. Ce problème inverse est dit mal posé quand l'opérateur de mapping K n'est pas inversible ou que son inverse est suffisamment irrégulier pour que de petits changements dans les observations provoquent de grandes différences dans les solutions. Une approche déterministe pour la régularisation de ce type de problèmes inverses repose fréquemment sur :
- la discrétisation de µ ou sa décomposition sur une base finie,
- la minimisation d'un critère combinant un terme d'adéquation aux données (log vraisemblance) et un terme de pénalité de type L2 (Tikhonov) ou L1 (compressive sensing) sur µ.
Une approche alternative consiste à appréhender la résolution du problème inverse comme un problème d'inférence statistique pour lequel µ est traité en tant que mesure aléatoire (positive ou signée). Le cadre bayésien non paramétrique offre alors la capacité de spécifier un a priori pour µ permettant l'obtention d'un ensemble de solutions dense dans l'espace des mesures considéré (de dimension infinie). La régularisation du problème dépend alors entièrement du paramétrage du processus stochastique définissant le modèle a priori.
Pour illustrer cette approche, nous distinguons deux cas. Le premier, dit de régression indirecte (déconvolution de signaux ou d'images, tomographie de transmission, etc), consiste en l'observation de valeurs bruitées de Kµ en différents points. Le second correspond à la situation où µ est une mesure de probabilité (K positif et normé à l'unité), on observe alors des échantillons iid de la distribution Kµ (tomographie d'émission, imagerie Compton, etc).
L'élicitation d'a priori adaptés aux deux situations sera envisagée ainsi que les schémas inférentiels MCMC correspondants. Notamment, dans le cas de la régression indirecte et lorsque µ suit un modèle hiérarchique basé sur un processus de Dirichlet, nous proposons un algorithme MCMC reposant sur une approximation particulaire.
À notre connaissance, peu de résultats de consistance asymptotique des estimateurs BNP pour les problèmes inverses sont disponibles dans la littérature. Nous évoquons cependant succinctement une étude récente sur la contraction de l'estimateur vers la « vraie » valeur du paramètre et la couverture des intervalles crédibles dans le cas de la régression indirecte où µ est généré par un processus gaussien.
Ismaël Castillo, Laboratoire de Probabilités et Modèles Aléatoires, Universities Paris VI & VII.
Dans cet exposé nous présentons quelques résultats de convergence pour les lois a posteriori dans des cadres non-paramétriques. Etant donné un modèle statistique, nous supposons que les données suivent une loi correspondant à un "vrai" paramètre appartenant au modèle. Sous cet hypothèse fréquentiste, nous présentons des conditions suffisantes pour la convergence de la loi a posteriori vers la vraie valeur du paramètre, en probabilité sous la vraie loi. Nous illustrons ces résultats pour différentes classes de lois a
priori, en particulier les processus Gaussiens.
In this talk we review some results on convergence of posterior distributions in nonparametric frameworks. Given a statistical model, one assumes that the data is sampled according to a "true" parameter value which belongs to the model. Sufficient conditions are given under which the posterior distribution contracts around the true parameter value in probability under the true distribution. We will give illustrations of the theory for some classes of prior distributions, including Gaussian process priors.
Julyan Arbel, CREST, Paris Dauphine
We present a new class of dependent Dirichlet processes, which are an extension of Dirichlet processes that make use of covariates. It allows nonparametric density regression, i.e. regression varying with a covariate index. The dependent Dirichlet process is defined with varying weights and clusters (two infinite dimensional parameters of a Dirichlet process). It is novel in the way we define the weights, and it allows a sensible tuning of the dependence of the resulting predictor-dependent probability distributions. This construction results marginally in a Dirichlet process prior for the random measure at any specific predictor value. A blocked Gibbs sampler is developed for posterior computation. The method is illustrated with the study of abundance and diversity of Antarctic ice microbes with varying environmental covariates.
Emmanuel Duflos, LAGIS - Ecole Centrale de Lille
Les systèmes de localisation par satellite fonctionnent parfaitement en environnement dégagé. Ce n'est plus le cas en environnement urbain dense et tout particulièrement des ce qu'on appelle des canyons urbains. La précision de localisation est alors fortement dégradée du fait des multiples réflexions subies par les signaux satellites sur les nombreux obstacles : murs, toits, véhicules... Il apparaît un phénomène de multitrajet actuellement mal pris en compte dans les récepteurs. L'estimation de la position par un GPS peut être alors assimilée à un filtrage non linéaire et non gaussien (alors qu'il est gaussien en environnement dégagé) : la densité de probabilité du bruit de mesure évolue au cours du temps et doit également être estimée en plus des variables classiques de localisation. Nous montrons dans cette présentation comment il est possible d'utiliser les mélanges de processus de Dirichlet dans ce problème d'estimation de l'état d'un système dynamique. Des résultats expérimentaux sur données réelles confirment l'apport de l'approche.
Mame Diarra Fall, MAP5, Paris V
Dans cet exposé, nous présentons une nouvelle stratégie d’inférence dans les modèles de mélange par processus de Pitman-Yor (PYM). Cet échantillonneur est ainsi applicable aux mélanges par processus de Di- richlet (DPM). Les algorithmes de Monte-Carlo par chaînes de Markov (MCMC) pour l’inférence dans les DPM sont usuellement divisés en deux catégories, les méthodes marginales et les méthodes conditionnelles, cha- cune présentant des avantages et des inconvénients.
Afin de circonscrire le problème de la nature infinie de la distribution aléatoire, cette dernière est intégrée dans les approches marginales et on travaille seulement avec des échantillons générés suivant elle. Dans les versions évoluées de ces méthodes, l’algorithme MCMC présente de bonnes capacités de mélange (Neal (2000)). Cependant, ces techniques sont basées sur des mises à jour incrémentales, ce qui les rend très séquentielles et difficilement parallélisables. Cette caractéristique est préjudiciable quand l’on travaille avec de gros volumes de données.
Contrairement aux méthodes marginales, les approches conditionnelles représentent explicitement la distribution aléatoire. Pour traiter le nombre infini de ses composantes, certains la tronquent de façon déterministe (Ishwaran et James (2001)). D’autres techniques plus évoluées utilisent une troncature probabiliste par une stratégie dite de slice sampling. Elle permet, via l’introduction de variables auxiliaires, de travailler avec un nombre fini de composantes à chaque itération de l’algorithme tout en gar- dant la nature infinie de la distribution (Walker (2007), Kalli et al.(2011)). Néanmoins, elles présentent des performances de mélange moindres.
Nous avons développé une nouvelle méthode d’échantillonnage des mé- langes par processus de Pitman-Yor, donc applicable aux mélanges par processus de Dirichlet, et qui essaie d’allier les avantages de chacune des deux classes. Nous proposons deux variantes de cet échantillonneur et les comparons avec une méthode marginale (algorithme 8 de Neal (2000)) et deux méthodes conditionnelles (Ishwaran et James (2001), Kalli et al. (2011)). Les résultats sur des données réelles et simulées confirment que les deux variantes de notre méthode d’échantillonnage présentent des proprié- tés de mélange meilleures que tous les autres algorithmes conditionnels.
Bertrand Rivet, Gipsa-lab
Dans ce travail, nous nous intéressons à l'extraction de l'ECG du foetus à partir d'un unique capteur placé sur l'abdomen de la femme enceinte. Nous proposons de modéliser les signaux cardiaques comme de processus aléatoires du second ordre, c'est-à-dire des processus gaussiens. L'avantage d'une telle approche repose notamment sur le fait qu'aucune hypothèse précise n'est faite sur l'allure des signaux. Deux variantes ont été proposées qui permettent d'extraire de façon satisfaisante l'ECG du foetus contaminé par l'ECG maternel et le bruit à partir d'un unique capteur. Les résultats montrent que les approches proposées donnent de très bons résultats même dans un exemple complexe de grossesse de jumeaux.
Asma Rabaoui, IMS (Laboratoire de l'Intégration du Matériau au Système), Bordeaux 1
In many signal processing applications, data collected are drawn from continuous processes and often obtained in the form of functions. Functional data analysis (FDA) is a very attractive field of research that provides the possibility to fully exploit structure in such inherently continuous data. While more traditional approaches of functional data analysis are parametric and require specifying in advance a basis function for the data, challenges in modern audio signal processing motivate the nonparametric analysis of these data. In this talk, I will show how to deal with functional classification problems from a Bayesian nonparametric approach. Then, I will provide theoretical and practical motivations for our approach using Dirichlet process mixtures and Gaussian processes. Finally, I will illustrate experimentally that the Bayesian nonparametric FDA framework is particularly relevant for speech and music processing applications where attributes are really functions and dependent of each others.
Joint work with: Hachem Kadri (LIF, Marseille) and Manuel Davy (Vekia).
Date : 2012-09-06
Lieu : Telecom ParisTech - Amphi Grenat
Thèmes scientifiques :
A - Méthodes et modèles en traitement de signal
Inscriptions closes à cette réunion.
Accéder au compte-rendu de cette réunion.
(c) GdR IASIS - CNRS - 2024.