Contraintes de non-négativité en traitement du signal et des images

Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.

Inscriptions closes à cette réunion.

Inscriptions

21 personnes membres du GdR ISIS, et 1 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 0 personnes.

Annonce

Dans les problèmes généraux d'estimation rencontrés en traitement du signal et des images, la formulation de contraintes liées à la fonction objective est fréquente. Souvent motivée par la nature même des quantités à estimer, l'introduction de ces contraintes permet en outre de fournir une solution adéquate au problème, voire de réduire l'espace des solutions admissibles quand ce problème est mal posé.

En particulier, les contraintes de non-négativité sont probablement celles qui sont le plus couramment énoncées. Cette journée sera l'occasion de dresser un panorama des problématiques liées à la prise en compte de ces contraintes. Nous rappellerons les récentes avancées algorithmiques dans le domaine et donnerons quelques exemples d'applications : NMF, imagerie hyperspectrale, restauration d'image...

Les organisateurs : Cédric Févotte, Nicolas Dobigeon.
Les correspondants du Thème A : Jean-Yves Tourneret, Cédric Richard.

Programme

9h45 - 10h00 : Accueil

10h00 - 10h40 : Factorisation en matrices non-négatives avec la divergence d'Itakura-Saito et application à la décomposition du signal musical, Cédric Févotte (LTCI, Paris)

10h40 - 11h20 : Probabilistic nonnegative latent matrix factorization. Application to multichannel audio analysis and source separation, Alexey Ozerov (IRISA, Rennes)

11h20 - 12h00 : Apprentissage de dictionnaire hiérarchique par régularisation parcimonieuse structurée, Rodolphe Jenatton, Julien Mairal, Guillaume Obozinski, Francis Bach [orateur] (Projet WILLOW, INRIA & ENS Paris)

12h00 - 13h30 : déjeuner

13h30 - 14h10 : Algorithmes de Majoration-Minimisation pour l'optimisation sous contraintes de positivité, E. Chouzenoux [orateur], J. Idier et S. Moussaoui (IRCCyN, Nantes)

14h10 - 14h50 : Méthode de gradient séparé et contrainte de non négativité, C. Theys, H. Lantéri, C. Richard [orateur] (Laboratoire Fizeau, Nice)

14h50 - 15h30 : Simulation bayésienne pour la séparation de sources non-négatives, Saïd Moussaoui [orateur] (IRCCyN, Nantes), Nicolas Dobigeon (IRIT, Toulouse), David Brie (CRAN, Nancy) et Jean-Yves Tourneret (IRIT, Toulouse)

15h30 - 15h50 : Pause

15h50 - 16h30 : Réduction de complexité pour la séparation de sources en imagerie hyperspectrale : application à l'imagerie de biocapteurs bactériens, Charles Soussen [orateur], Sébastian Miron, David Brie (CRAN, Nancy)

16h30 - 17h10 : Extraction de systèmes de consommation alimentaire utilisant la Nonnegative Matrix Factorization (NMF) pour l'évaluation des choix alimentaires, Mélanie Zetlaoui [orateur] (MODAL'X, Paris-Ouest Nanterre), Stéphan Clémençon (LTCI; Télécom ParisTech), Max Feinberg & Philippe Verger (INRA - Métarisk)

Résumés des contributions

Factorisation en matrices non-négatives avec la divergence d'Itakura-Saito et application à la décomposition du signal musical

Cédric Févotte (LTCI, Paris)

Résumé : Cet exposé proposera dans un premier temps une introduction générale à la factorisation en matrices non-négatives (en anglais nonnegative matrix factorization, NMF). Cette technique d'apprentissage non-supervisé connaît un vif intérêt depuis une dizaine d'années et a rencontré de nombreuses applications dans des domaines variés (reconnaissance d'image, analyse de texte, imagerie hyperspectrale, ...), et notamment en traitement du signal musical. Dans ce dernier cas la matrice de données non-négatives correspond au spectrogramme d'un signal monophonique et la NMF peut être appliquée à des fins de séparation de sources ou de transcription musicale. Dans ce contexte la NMF produit une approximation du spectrogramme comme le produit d'une matrice "dictionnaire" (spectres élémentaires appris de manière adaptative) et une matrice comportant les "coefficients d'activation" de ces spectres. Les questions du choix de la representation temps-fréquence et de la métrique utilisée pour la factorisation se posent alors. L'exposé proposera ainsi dans un deuxième temps une réponse à ces questions en présentant des résultats théoriques, algorithmiques et expérimentaux liés à la NMF du spectrogramme de puissance avec la divergence d'Itakura-Saito (IS-NMF). En particulier la IS-NMF peut être interprétée comme un problème d'estimation au sens du maximum de vraisemblance de paramètres de variance dans un modèle de composantes gaussiennes pertinent à l'audio. Différents schéma de régularisation des coefficients d'activation seront évoqués (parcimonie, régularisation temporelle). L'exemple d'un cas de restauration audio (débruitage, séparation de sources et remixage mono vers stéréo) d'un extrait monophonique ancien de jazz sera présenté.

Probabilistic nonnegative latent matrix factorization. Application to multichannel audio analysis and source separation

Alexey Ozerov (IRISA, Rennes)

Résumé : Nonnegative matrix factorization (NMF) is a decomposition technique with growing popularity in image and signal processing. We consider this problem when the nonnegative matrices one wishes to factorize are not observed directly. For example, some parts of matrices can be missing or they can be computed from some signals that are mixed together. We address the problem using a probabilistic formulation and generalized expectation-maximization (GEM) algorithm, considering the missing matrix as a latent variable. Altogether we call it probabilistic nonnegative latent matrix factorization (PNLMF). Potential applications of PNLMF include analysis of multichannel audio signal, audio source separation, audio and image inpainting, as well as other missing data prediction problems.
We apply PNLMF to source separation from multichannel mixtures of audio signals. We first introduce so-called multichannel NMF applied for source separation from multichannel convolutive mixtures. Then, we extend the multichannel NMF to a more general framework, where it becomes possible specifying different types of constrained non-negative multilayer factorizations, thus covering many source separation scenarios and approaches in a single general and modular framework. The power of the proposed approaches will be demonstrated on several source separation examples.

A. Ozerov and C. Févotte, "Multichannel nonnegative matrix factorization in convolutive mixtures for audio source separation," IEEE Trans. on Audio, Speech and Lang. Proc. special issue on Signal Models and Representations of Musical and Environmental Sounds, vol. 18, no. 3, pp. 550-563, March 2010.

A. Ozerov, E. Vincent and F. Bimbot, "A general modular framework for audio source separation", In 9th International Conference on Latent Variable Analysis and Signal Separation (LVA/ICA'10), Saint-Malo, France, Sep. 27-30, 2010 (to appear).

Apprentissage de dictionnaire hiérarchique par régularisation parcimonieuse structurée

Rodolphe Jenatton, Julien Mairal, Guillaume Obozinski, Francis Bach [orateur] (Projet WILLOW, INRIA & ENS Paris)

Résumé : L'apprentissage de dictionnaire fournit un outil puissant pour la représentation, le débruitage et la reconstruction de signaux. Dans cet exposé, je présenterai une formulation permettant de modéliser les interdépendances entre les différent éléments du dictionnaire. Plus précisément, je montrerai comment une norme parcimonieuse structurée permet d'apprendre un dictionnaire dont les éléments sont organisés dans une hiérarchie arborescente. Je présenterai un algorithme, basé sur les méthodes proximales, pour résoudre les problèmes régularisés par cette norme, et qui permet d'aborder efficacement des problèmes de plusieurs millions de variables. La méthode sera illustrée par des problèmes de modélisation de corpus de texte, de débruitage et d'inpainting d'images.

Algorithmes de Majoration-Minimisation pour l'optimisation sous contraintes de positivité

E. Chouzenoux [orateur], J. Idier et S. Moussaoui (IRCCyN, Nantes)

Résumé : La solution des problèmes inverses de traitement du signal et de l'image est souvent définie comme le minimiseur d'un critère pénalisé qui prend en compte conjointement les observations et les informations préalables. Cet exposé s'intéresse à la minimisation des critères pénalisés sous des contraintes de positivité. Nous discutons plus précisément des algorithmes basés sur le principe de Majoration-Minimisation (MM). Ce principe apparaît pour la première fois dans l'ouvrage (Ortega et Rheinboldt, 1970). Il consiste à substituer une séquence de problèmes plus simples au problème initial d'optimisation, en approchant le critère par une approximation tangente majorante, c'est-à-dire une fonction tangente au critère en un point et supérieure ou égale au critère en tous les autres points. De nombreuses contributions algorithmiques dans le cadre de l'inversion pénalisée contrainte s'identifient avec un schéma MM. Nous distinguons deux approches : les stratégies d'activation des contraintes et les stratégies de points intérieurs. La mise en oeuvre de l'approche par points intérieurs nécessite de minimiser des critères contenant un terme de barrière, c'est-à-dire une fonction tendant vers l'infini au bord de son domaine de définition. Lorsqu'une méthode de descente itérative est utilisée pour la minimisation, une recherche de pas le long d'une direction de descente est effectuée à chaque itération. La présence de la barrière rend les procédures classiques de recherche de pas inefficaces. Nous présentons une stratégie de pas tenant compte de la singularité de la barrière à travers des approximations majorantes quadratiques augmentées d'un terme logarithmique. La nouvelle recherche de pas est simple à mettre en oeuvre et assure la convergence des algorithmes classiques d'optimisation. Son efficacité est illustrée sur un problème de reconstruction de spectres RMN par maximum d'entropie.

Méthode de gradient séparé et contrainte de non négativité

C. Theys, H. Lantéri, C. Richard [orateur] (Laboratoire Fizeau, Nice)

Résumé: Dans le domaine de la reconstruction d'image et de la déconvolution, la minimisation d'une distance euclidienne ou d'une divergence de Kullback-Leibler entre des données bruitées et un modèle linéaire, sous contrainte de non négativité, est souvent réalisée avec des algorithmes multiplicatifs. Les plus connus sont ISRA (Iterative Space Reconstruction Algorithm) [Daube-Witherspoon 86], et RL (Richardson Lucy) [Richardson 72, Lucy 74]. Ces dix dernières années, une méthode algorithmique générale appelée SGM (Split Gradient Method) [Lantéri 2002], a été développée, menant à des algorithmes multiplicatifs permettant de minimiser n'importe quel critère convexe sous contrainte de non négativité, ISRA et RL étant des cas particuliers de SGM. On se propose de présenter la méthode unifiée SGM menant notamment aux algorithmes multiplicatifs. La méthode est illustrée par le problème de l'imagerie hyperspectrale [Theys 2009] et de la NMF (Nonnegative Matrix Factorization) [Lantéri 2010].

[1] M. E. Daube-Witherspoon and G. Muehllehner. An iterative image space reconstruction algorithm suitable for volume ect. IEEE Transactions on Medical Imaging, (5) :61-66, 1986.

[2] W. H. Richardson. Bayesian based iterative method of image restoration. Journal of the optical society of America, 1(62) :55-59, 1972.

[3] L. B. Lucy. An iterative technique for the rectification of observed distributions. Astronomic Journal, (79) :745-754, 1974.

[4] H. Lantéri, M. Roche, and C. Aime. Penalized maximum likelihood image restoration with positivity constraints- multiplicative algorithms. Inverse problems, 18 :1397-1419, 2002.

[5] C. Theys, N. Dobigeon, J.-Y. Tourneret, and H. Lantéri. Linear unmixing of hyperspectral images using a scaled gradient method (regular paper). In IEEE Workshop on statistical signal processing (SSP), pages 729-732, 2009.

[6] H. Lantéri, C. Theys, C. Richard, and C. Févotte. Split gradient method for nonnegative matrix factorization. In EUSIPCO, 2010.

Simulation bayésienne pour la séparation de sources non-négatives

Saïd Moussaoui [orateur] (IRCCyN, Nantes), Nicolas Dobigeon (IRIT, Toulouse), David Brie (CRAN, Nancy) et Jean-Yves Tourneret (IRIT, Toulouse)

Résumé : Le traitement de signaux ou d'images issus de l'analyse de matériaux multi-composants par des techniques de spectrométrie ou d'imagerie hyperspectrale est souvent formulé comme un problème de séparation de sources sous contraintes de non-négativité. Nous discutons dans cette présentation les difficultés de la séparation de sources non-négatives. Nous présentons ensuite des méthodes de séparation par approche bayésienne capables d'assurer non seulement la satisfaction de cette contrainte mais aussi la prise en compte d'hypothèses supplémentaires sur les coefficients de mélange ou sur les signaux sources. L'inférence bayésienne est réalisée en utilisant les méthodes de Monte Carlo par chaînes de Markov afin d'estimer conjointement les paramètres d'intérêt et tous les hyperparamètres du problème. Nous présenterons enfin quelques exemples de traitement de données réelles.

Réduction de complexité pour la séparation de sources en imagerie hyperspectrale : application à l'imagerie de biocapteurs bactériens

Charles Soussen [orateur], Sébastian Miron, David Brie (CRAN, Nancy)

Résumé : Lorsque les images hyperspectrales sont très résolues, il est nécessaire de réduire leur complexité pour pouvoir appliquer les algorithmes de séparation de sources positives. Nous proposons de sélectionner un nombre limité des pixels, et de ne considérer que les mélanges associés à ces pixels. Les mélanges sélectionnés sont utilisés en entrée d'une procédure de séparation de sources positives. La procédure de sélection de pixels est basée sur la recherche de l'enveloppe conique, c'est-à-dire du plus petit cône convexe qui inclut les mélanges; en effet, les mélanges positifs de sources sont tous contenus dans un cône convexe dont l'enveloppe contient l'information complète disponible sur les sources. La méthode est appliquée à l'analyse des images hyperspectrales de cellules bactériennes obtenues en microscopie confocale. Les cellules bactériennes sont génétiquement modifiées et jouent le rôle de bio-capteurs dispersés dans une matrice minérale de type sol. Ces bio-capteurs fournissent des informations sur les interactions physico-chimiques entre des systèmes microbiens et leur environnement minéral.

Extraction de systèmes de consommation alimentaire utilisant la Nonnegative Matrix Factorization (NMF) pour l'évaluation des choix alimentaires

Mélanie Zetlaoui [orateur] (MODAL'X, Paris-Ouest Nanterre), Stéphan Clémençon (LTCI; Télécom ParisTech), Max Feinberg & Philippe Verger (INRA - Métarisk)

Résumé : Dans les pays occidentaux où l'approvisionnement alimentaire est satisfaisant, les consommateurs agencent leur régime au moyen d'un grand nombre d'aliments. L'objectif de ce travail est d'étudier comment une technique récente en analyse de variables latentes, la "Nonnegative Matrix Factorization"(NMF), peut être appliquée aux données de consommation pour comprendre cet agencement. De telles données sont positives par nature et de grande dimension. Le modèle statistique NMF ici construit fournit alors une représentation des données par des variables latentes positives, appelées systèmes de consommation, qui sont en nombre très petit. L'approche NMF favorisant la sparsité, les systèmes de consommations obtenus sont de plus facilement interprétables. En application, des résultats numériques à partir d'une enquête française de consommation, sont donnés. Une méthode de clustering, basée sur la méthode des k-means dans le sous-espace des systèmes de consommation, permet de construire des groupes de consommateurs facilement interprétables par les nutritionnistes.