Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
23 personnes membres du GdR ISIS, et 9 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 50 personnes.
Dernière minute !!
La journée commencera finalement à 9h45 pour l'accueil, puis à 10h pour le tutoriel de Rémi Gribonval.
Si tout va bien, la journée sera intégralement diffusée en ligne sur "Ximinds": passez par les liens mentionnés dans le programme ci-dessous. Les liens sont présents sous chaque exposé.
Inutile d'installer une application, votre navigateur suffit (soucis éventuels avec Safari sous Mac OSX).
Les exposés de notre journée sont reconnaissables au logo du GDR ISIS.
Pour accéder au flux video, cliquer sur "Show Webstream" sur le site de chaque exposé lorsqu'il est actif (bandeau "Now Live"). Une fois l'exposé terminé, vous pourrez accéder à l'enregistrement complet quelque temps plus tard.
Avertissement : Malgré nos efforts pour chercher une solution, les inscriptions sont closes en raison de la capacité d'accueil limitée de la salle disponible. Toutes nos excuses pour ce désagrément.
La détermination d'une représentation optimale des données en vue d'une tâche de traitement (classification, restauration, clustering, compression...) est un problème commun à de nombreux domaines du traitement du signal/image/video... La notion de parcimonie apparaît de façon récurrente. De nombreuses approches et concepts ont été proposés ces dernières années et permettent de proposer des techniques d'apprentissage de dictionnaire à partir d'images aussi bien que de décomposer un graphe en sous-graphes élémentaires ou encore de proposer l'identification d'une sémantique sous-jacente à des données relationnelles.
Le but de cette journée est de faire le point sur les travaux récents en apprentissage de représentations des données. Cette journée est organisée autour de 2 tutoriels (50 min), de quelques exposés invités (30 min), ainsi que de quelques contributions spontanées.
Les exposés auront lieu en français.
Appel à contribution : l'appel est clos les personnes souhaitant présenter leurs travaux sont invitées à faire part de leur intention aux organisateurs avant le 23 janvier.
Organisateurs :
Zaid Harchaoui : zaid.harchaoui@inria.fr
Pierre Chainais : pierre.chainais@inria.fr
Le programme définitif est rappelé ci-dessous. Le lien vers la diffusion en ligne sur "ximinds" (video + pdf) se trouve sous chaque intitulé. Nous espérons que tout fonctionnera correctement.
9h45-10h00 : Accueil
https://www.ximinds.com/webinars/iEvTy8SW
10h-10h50 : R. Gribonval, INRIA Rennes
Tutoriel : Apprentissage de dictionnaires parcimonieux en presence de bruit et d'observations aberrantes.
https://www.ximinds.com/webinars/TXElaHnz
10h50-11h15 : J. Salmon, Telecom ParisTech
Poisson noise reduction with non-local PCA
https://www.ximinds.com/webinars/jmJoKmta
11h15-11h30 : pause
11h30-11h55 : L. Zdeborova, CEA Saclay
Phase Diagram and Approximate Message Passing for Blind Calibration and Dictionary Learning.
https://www.ximinds.com/webinars/bMdNCpzj
Réduction de dimension et apprentissage parcimonieux pour la détection minimax.
https://www.ximinds.com/webinars/6mI56jjs
----
REPAS
----
13h45-14h35 : G. Obozinski, Laboratoire d'Informatique Gaspard Monge
Tutoriel : Algorithmes de codage parcimonieux supervisé.
https://www.ximinds.com/webinars/AJu6yTp8
14h35-15h00 : A. Bordes, UTC
Modeling Large-Scale Knowledge Bases and Connecting Them to Text.
https://www.ximinds.com/webinars/FMyrjjcV
15h00-15h25 : G. Bouchard, Xerox Research, Grenoble
Convex and Bayesian methods for link prediction using factored models.
https://www.ximinds.com/webinars/oi4RQB80/
15h25-15h50 : A. Celisse, Laboratoire Painlevé, Lille 1
Consistency of variational estimators in a random graph model.
https://www.ximinds.com/webinars/TJfdp1Jp/
15h50-16h05 : pause
16h05-16h25 : Olivier Chabiron, IRIToulouse
Toward Fast Transform Learning.
https://www.ximinds.com/webinars/YIqZ_M73
16h25-16h45 : Jérémy Aghaei Mazaheri, INRIA Rennes
Représentations parcimonieuses et apprentissage de dictionnaires structurés pour la compression d’images satellitaires.
https://www.ximinds.com/webinars/FDN21ZTz/
16h45-17h05 : Samuel Vaiter, CEREMADE, Paris Dauphine
Low Complexity Models: Robustness and Sensivity
https://www.ximinds.com/webinars/b0Im5wdH/
17h05-17h25 : Ludovic Denoyer, LIP6, Paris 6
Apprentissage de représentations dans les réseaux sociaux
https://www.ximinds.com/webinars/1B5K__2g/
Organisateurs :
Zaid Harchaoui : zaid.harchaoui@inria.fr
Pierre Chainais : pierre.chainais@inria.fr
Résumé :
La modélisation de signaux comme combinaisons linéaires parcimonieuses d'atomes d'un dictionnaire est devenu un outil très populaire en traitement du signal. Une vaste palette d'algorithmes a été mise au point ces dix dernières années, et une vision géométrique en grande dimension s'est dégagée permettant de finement caractériser leurs conditions de succès. Pour pleinement exploiter ces algorithmes, il est critique de choisir un dictionnaire adapté, et des approches basées sur l'apprentissage à partir d'une collection ont connu récemment un bel essor, les techniques les plus populaires étant associées à la minimisation d'une fonction de coût. Si des progrès importants en terme d'efficacité algorithmique ont favorisé leur diffusion, ces approches restaient jusqu'à peu essentiellement empiriques. J'esquisserai dans cet exposé un panorama de travaux récents qui commencent à dresser une compréhension théorique du domaine sous l'angle de l'optimisation pour la factorisation de grandes matrices. On abordera notamment des questions telles que le nombre d'exemples suffisant pour apprendre un dictionnaire, le rôle de l'initialisation, la robustesse de l'apprentissage en présence de bruit ou d'exemples aberrants …
Travaux communs avec Karin Schnass, Rodolphe Jenatton, Francis Bach, Martin Kleinsteuber, et Matthias Seibert
Résumé :
Résumé :
Huge amounts of complex data can be represented as multi-relational data, that is, graphs whose nodes stand for concepts and edges for relations among them. In particular, a subset of such data, termed knowledge bases (KBs) became essential tools for storing, manipulating and accessing information in various domains ranging from search (e.g. Google Knowledge Graph) or bioinformatics (e.g. GeneOntology) to recommender systems (e.g. IMDB). However, KB data typically cumulate many difficulties (large numbers of relation types -- some being significantly more represented than others, noisy and incomplete data, or large scale dimensions with up to millions of entities and billions of edges for real-world KBs), that make them hard to be fruitfully inserted into existing frameworks. This talk will present two research directions. First, we will present new approaches for learning representations of large-scale KB data using energy-based methods, which allow for visualizing and completing them. Then, we will introduce how such representations can be efficiently used to connect KB to text, and hence to improve relation extraction systems. This is a joint work with Google, Université de Montréal, INRIA and Xerox.
Résumé :
We analyze the asymptotic sample complexity of dictionary learning and more general matrix factorization problems with statistical physics tools - the replica method and approximate message passing. Our results are non-rigorous and limited to randomly generated dictionaries and signals. On the other hand they suggest that the sample complexity is much lower than what is anticipated by existing approaches and achievable efficiently with properly designed message passing algorithms.
Résumé :
Many applications involve multiple interlinked data sources, but existing approach to handle them are often based on latent factor models which are difficult to learn. At the same time, recent advances in convex analysis, mainly based on the nuclear norm (relaxation of the matrix rank) and sparse structured approximations, have shown great theoretical and practical performances to handle very large matrix factorization problems with non-Gaussian noise and missing data. In this talk, we will show how multiple matrices can be jointly factorized using a convex formulation of the problem, with a particular focus on:
· Multi-view learning: A popular approach is to assume that, both, the correlations between the views and the view-specific correlations have low-rank structure, leading to a model closely related to canonical correlation analysis called inter-battery factor analysis. We propose a convex relaxation of this model, based on a structured nuclear norm regularization.
· Collective matrix factorization: When multiple matrices are related, they share common latent factors, leading to a simple yet powerful way of handling complex data structures, such as relational databases. Again, a convex formulation of this approach is proposed. We also show that the Bayesian version of this model can be used to tune the multiple regularization parameters involved in such models, avoiding costly cross-validation.
Experiments on popular tasks such as data imputation, multi-label prediction, link prediction in graphs and item recommendation illustrate the benefit of the proposed approaches.
Résumé :
Photon limitations arise in spectral imaging, nuclear medicine, astronomy and night vision. The Poisson distribution used to model this noise has variance equal to its mean so blind application of standard noise removals methods yields significant artifacts. Recently, overcomplete dictionaries combined with sparse learning techniques have become extremely popular in image reconstruction. The aim of the present work is to demonstrate that for the task of image denoising, nearly state-of-the-art results can be achieved using small dictionaries only, provided that they are learned directly from the noisy image. To this end, we introduce patch-based denoising algorithms which perform an adaptation of PCA (Principal Component Analysis) for Poisson noise. We carry out a comprehensive empiricalevaluation of the performance of our algorithms in terms of accuracy when the photon count is really low.The results reveal that, despite its simplicity, PCA-flavoreddenoising appears to be competitive with other state-of-the-art denoising algorithms.
This is a joint work with C-A. Deledalle, Z. Harmany, R. Willett
Résumé :
Dans ce travail, nous nous intéressons à l'estimation des paramètres du modèle de graphe aléatoire appelé Stochastic Block Model (SBM). Nous proposons tout d'abord un résultat d'identifiabilité des paramètres sous des hypothèses bien plus faibles que les résultats antérieurs. La consistance des estimateurs du maximum de vraisemblance est ensuite discutée est établie à l'aide d'arguments de concentration. Enfin le lien est l'approche par maximum de vraisemblance et l'approche variationnelle, conduisant ainsi à la consistance des estimateurs variationnels.
Collab. David Mary et André Ferrari - U. de Nice Sophia-Antipolis
Ce travail porte sur le problème de détection <<one among many>> où l'on doit distinguer entre un bruit et une parmi $L$ alternatives connues à un facteur d'amplitude près. Deux inconvénients liés à un grand nombre d'alternatives $L$ se posent. Tout d'abord, la complexité de calcul associée au test GLR sous contrainte de 1-parcimonie augmente linéairement avec $L$, ce qui constitue une limitation dans le cas où le test doit être répété sur plusieurs jeux de données. Ensuite, les approches standards basées sur l'apprentissage d'un dictionnaire visant à réduire la dimensionnalité peuvent conduire à une perte de puissance élevée pour certaines alternatives. Nous proposons dans ce cadre des techniques d'apprentissage de dictionnaire basées sur un critère de type minimax. Dans le cas où l'on cherche un dictionnaire à $K=1$ atome, nous montrons que la solution peut être obtenue par programmation quadratique. Le cas $K>1$ permet un meilleur échantillonnage de la diversité intrinsèque des alternatives, mais est beaucoup plus complexe à mettre en œuvre. Nous proposons dans ce cas deux algorithmes d'apprentissage minimax. Les résultats numériques montrent que ces algorithmes permettent d'augmenter les performances de détection minimax par rapport au cas $K=1$, et sont comparables au test GLR utilisant le dictionnaire complet, tout en réduisant considérablement le cout de calcul.
Résumé :
Dans cet exposé, nous nous intéressons à une nouvelle stratégie pour l'apprentissage de dictionnaire. Ce dernier vise à obtenir des représentations parcimonieuses de signaux ou d'images en utilisant une base d'apprentissage. Il permet d'obtenir des représentations plus parcimonieuses que les dictionnaires pré-conçus (comme par exemple les bases d'ondelettes), mais les coûts de calculs sont plus élevés, notamment à cause de l'absence de transformée rapide associée. La stratégie présentée propose d'apprendre des dictionnaires composés d'atomes obtenus par translation d'une composition de K convolutions de noyaux S-parcimonieux de supports connus. Nous étudions le problème d'optimisation posé par la mise à jour d'un tel dictionnaire, qui est non-convexe. Un algorithme de minimisation par bloc est introduit pour rechercher ses points stationnaires, dont la complexité reste linéaire par rapport à la taille de l'image. Quelques expériences sont présentées, qui montrent les capacités d'approximation de la méthode sur des atomes de type ondelettes, sinus cardinaux ou encore curvelets.
Résumé :
Dans un contexte de compression d’images satellitaires, nous cherchons à apprendre une transformée adaptée à ce type de données spécifiques. Pour cela, les représentations parcimonieuses sont utilisées sur des dictionnaires appris. Mais les algorithmes tels que K-SVD apprennent des dictionnaires « plats » pour une parcimonie spécifique et ne sont pas adaptés au codage. En effet le coût de codage associé à de tels dictionnaires est directement impacté par le nombre d’atomes qu’ils contiennent. L’objectif est ainsi d’apprendre un dictionnaire structuré plus adapté au codage et offrant un bon compromis entre erreur d’approximation et coût de codage. Une structure arborescente nommée Tree K-SVD est d’abord étudiée. Composée de multiples petits dictionnaires, cette structure permet d’apprendre davantage d’atomes qu’un dictionnaire « plat » tout en gardant un coût de codage des indices des atomes sélectionnés équivalent. Elle est de plus scalable en parcimonie. Efficace aux premiers niveaux, cette structure présente cependant des problèmes d’« overfitting » aux niveaux plus profonds, dus à des dictionnaires incomplets trop nombreux, et les branches s’arrêtent rapidement. Afin de compenser ces problèmes, une structure adaptative est apprise. Cette structure peut être vue comme une structure en arbre dont les branches sont progressivement fusionnées selon leur taux d’utilisation en une branche centrale. Tout en préservant les avantages de la structure en arbre, cette structure adaptative permet d’apprendre plus de niveaux que la structure arborescente et d’éviter la perte d’efficacité des niveaux profonds de l’arbre. Nous montrons expérimentalement que cette structure adaptative offre une meilleure qualité de reconstruction que K-SVD ou le dictionnaire prédéfini DCT à même parcimonie. Un codec a été développé autour de cette structure, avec un codage entropique simple, et est comparé à JPEG 2000.
Résumé :
Dans cet exposé je proposerai une vision unifiée de nombreuses régularisations variationelles utilisées en traitement du signal et en statistiques comme en particulier le Lasso, le Group Lasso ainsi que la minimisation de la norme nucléaire et de la variation totale. Ces régularisations ont la propriété de favoriser des modèles de sous-espaces de dimension faible que nous allons exploiter pour résoudre un problème inverse linéaire discret. Je présenterai la notion de certificat dual permettant d'assurer une robustesse au bruit, l'unicité de la solution, ainsi que l'identifiabilité stable du modèle sous-jacent au vecteur original. J'illustrerai ces résultats sur des exemples issus du débruitage, de l'échantillonage aléatoire et de la déconvolution.
Résumé :
Analyzing and modeling the temporal diffusion of information on social media has mainly been treated as a diffusion process on known graphs or proximity structures. The underlying phenomenon results however from the interactions of several actors and media and is more complex than what these models can account for and cannot be explained using such limiting assumptions. We introduce here a new approach to this problem whose goal is to learn a mapping of the observed temporal dynamic onto a continuous space. Nodes participating to diffusion cascades are projected in a latent representation space in such a way that information diffusion can be modeled efficiently using a heat diffusion process. This amounts to learning a diffusion kernel for which the proximity of nodes in the projection space reflects the proximity of their infection time in cascades. The proposed approach possesses several unique characteristics compared to existing ones. Since its parameters are directly learned from cascade samples without requiring any additional information, it does not rely on any pre-existing diffusion structure. Because the solution to the diffusion equation can be expressed in a closed form in the projection space, the inference time for predicting the diffusion of a new piece of information is greatly reduced compared to discrete models. Experiments and comparisons with baselines and alternative models have been performed on both synthetic networks and real datasets. They show the effectiveness of the proposed method both in terms of prediction quality and of inference speed.
Date : 2014-02-04
Lieu : Telecom ParisTech - Amphi Saphir
Thèmes scientifiques :
A - Méthodes et modèles en traitement de signal
Inscriptions closes à cette réunion.
Accéder au compte-rendu de cette réunion.
(c) GdR IASIS - CNRS - 2024.