Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
37 personnes membres du GdR ISIS, et 17 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 80 personnes.
Depuis les travaux pionniers de Shannon en théorie de l'information (suivant ceux de Hartley, Fadeev, Laplume...), de nombreuses mesures d'incertitude ou d'information ont vu le jour, et ce dès le début des années 60, sous de nombreuses formes, que ce soit dans le domaine des mathématiques ou de la physique : entropie de Rényi, entropie d'Arimoto, entropie d'Harvdat-Charvát (redécouverte par Daróczy, Vajda, Lindhardt & Nielsen, Cressie & Reads ou encore Tsallis entre autres).
Si l'entropie de Shannon et ses fonctionnelles associées (information mutuelle, divergence de Kulback-Leibler) ont trouvé leur place naturelle dans le domaine des communications, plusieurs de ces entropies apparaissent également naturellement dans divers domaines du traitement du signal ou de la physique: divergence de Kolmogorov en détection, information de Fisher en estimation, divergence de Jensen-Shannon, divergence d'Hellinger en mécanique quantique, entropie de Tsallis pour les systèmes hors d'équilibre, entropie de Rényi-Havrda-Charvát pour des tests d'adéquation... Les inégalités et identités du « trypique » usuel variance-entropie de Shannon-information de Fisher, centrés autour de la loi Gaussienne, trouvent de plus en plus leur(s) contrepartie(s) mettant en jeu des mesures d'informations généralisées.
L'objectif de cette journée sera de faire le point sur les développements récents en théorie de l'information (outils usuels ou généralisés), qu'ils soient fondamentaux (identités, inégalités, conséquences ou implications) ou appliqués dans divers domaines allant des mathématiques à la physique au sens large. Il s'agira de favoriser les échanges interdisciplinaires entre les communautés faisant appels à ces outils.
La journée s'organisera autour de plusieurs exposés sur un format « tutoriel» et un format court d'expression pour les doctorants travaillant sur ces aspects.
Les propositions de communications (titre et résumé de quelques lignes) sont à envoyer au plus tard le 7 mai aux organisateurs :
Mercredi 24 mai 2017, à l'AMUE Paris, 103 bd Saint-Michel, 75005 Paris
http://www.amue.fr/presentation/les-sites/le-site-du-103/
L'exposé rappellera en préambule le cheminement historique de la notion de « fonction caractéristique » introduite en thermodynamique par François Massieu et développée par Pierre Duhem sous la forme de potentiels thermodynamiques. Ces structures élémentaires réapparurent en Géométrie de l'Information dans les travaux de Maurice Fréchet et Calyampudi Radhakrishna Rao sous la forme de deux potentiels duaux reliés par l'équation de Clairaut-Legendre. Les structures de ces géométries hessiennes ont été étudiées en parallèle par le mathématicien Jean-Louis Koszul et son thésard Jacques Vey dans le cadre plus général des cônes convexes saillants. Ces métriques furent introduites également par Roger Balian en Physique quantique sous la forme de métrique de Fisher quantique en considérant le hessien de l'Entropie de von Neumann. Dans la première partie de l'exposé, nous rappellerons le modèle symplectique de la Physique statistique introduite par Jean- Marie Souriau dans les années 60. Il étend la notion d'ensemble canonique de Gibbs à une variété symplectique homogène sur laquelle un groupe agit (groupes dynamiques de la physique ; sous- groupes du groupe affine). Lorsque ces groupes sont non commutatifs, l'algèbre de Lie du groupe vérifie des relations de type cohomologique qui brisent la symétrie. Pour rétablir cette symétrie, Souriau introduit une température « géométrique » comme élément de l'algèbre de Lie, et une chaleur « géométrique » (moyenne de l'Energie qui est le moment de l'action hamiltonnienne du groupe) comme élément de son dual, permettant de remettre en dualité, via la transformée de Legendre, l'Entropie «géométrique» et le logarithme de la fonction de partition (fonction caractéristique) définie pour ces nouvelles variables. Souriau introduit enfin un tenseur symétrique à partir d'une 2-forme de l'algèbre de Lie (liée à la 2-forme de Kostant-Kirillov-Souriau et aux orbites coadjointes), qui fournit une structure riemannienne invariante par l'action du groupe. Nous avons observé que cette métrique correspond à une généralisation de la métrique de Fisher et s'interprète également comme l'analogue d'une « capacité calorifique » au nouveau statut géométrique. Dans la seconde partie, nous introduisons les structures mathématiques liées à la Géométrie de l'Information en utilisant les travaux de Maurice Fréchet et Jean-Louis Koszul. En Géométrie de l'Information, le logarithme de la fonction de partition et l'Entropie fournissent deux fonctions potentielles duales paramétrées dans deux systèmes de coordonnées duaux. La dérivée d'un potentiel par rapport à son paramètre donne la paramétrisation duale. Le hessien de ces deux fonctions potentielles fournit deux métriques Riemanniennes dans l'espace des paramètres, inverse l'une de l'autre. Ces métriques sont invariantes par les automorphismes des cônes convexes pour lesquels les intégrales sont définies. La matrice de Fisher apparaît comme le hessien du logarithme de la fonction de partition dans le cas de la densité à Maximum d'Entropie (densité de Gibbs). Nous illustrons ce modèle pour les familles exponentielles, et dans le cas particulier des densités gaussiennes monovariées et multivariées. En particulier, nous calculons les composantes de l'application moment de Souriau, qui fournissent les invariants du théorème de Noether. Ceci nous permet de retrouver l'équation réduite d'Euler Poincaré du problème. Cette équation permet de calculer numériquement la distance entre lois multivariées gaussiennes par tirs géodésiques en utilisant les formules d'Eriksen sous forme de carte exponentielle. Nous terminons sur un rappel des travaux de Murielle Casalis qui étudia dans sa thèse les familles de densités de probabilités de type Exponentielle sur Rd Invariantes par le groupe affine.
Références :
[1] Balian, R. The entropy-based quantum metric, Entropy, Vol.16, n°7, 2014, pp.3878-3888.
[2] Balian, R., François Massieu et les potentiels thermodynamiques, Évolution des disciplines et histoire des découvertes, Académie des Sciences, Avril 2015.
[3] Barbaresco, F. Koszul Information Geometry and Souriau Geometric Temperature/Capacity of Lie Group Thermodynamics. Entropy, vol. 16, 2014, pp. 4521-4565. Published in the book Information, Entropy and Their Geometric Structures, MDPI Publisher, September 2015.
[4] Barbaresco, F., Geometric Theory of Heat from Souriau Lie Groups Thermodynamics and Koszul Hessian Geometry: Applications in Information Geometry for Exponential Families. Preprint soumis au Special Issue "Differential Geometrical Theory of Statistics", MDPI, Entropy, 2016.
[5] Casalis, M. Familles Exponentielles Naturelles sur Rd Invariantes par un Groupe, International Statistical Review (Revue Internationale de Statistique), Vol. 59, No. 2, pp. 241-262, Aug. 1991
[6] Duhem, P. Sur les équations générales de la thermodynamique, Annales scientifiques de l'ENS, 3ème série, tome 9, 1891, pp.231-266.
[7] Eriksen, P.S. Geodesics connected with the Fisher metric on the multivariate normal manifold. Lancaster : Proceedings of the GST Workshop, 1987
[8] Fréchet, M.R. Sur l'extension de certaines évaluations statistiques au cas de petits échantillons. Revue de l'Institut International de Statistique 1943, vol. 11, n° 3/4, pp. 182-205.
[9] Koszul, J.L. Domaines bornées homogènes et orbites de groupes de transformations affines. Bull. Soc. Math. Fr. 1961, 89, 515-533.
[10] Koszul, J.L. Variétés localement plates et convexité. Osaka. J. Math. 1965, 2, 285-290.
[11] Marle, C.M. From Tools in Symplectic and Poisson Geometry to Souriau's theories of Statistical Mechanics and Thermodynamics, MDPI Entropy, special issue on "Differential Geometrical Theory of Statistics", 2016
[12] Massieu, F. Sur les Fonctions caractéristiques des divers fluides. Comptes Rendus de l'Académie des Sciences 1869, 69, 858-862.
[13] de Saxcé, G.; Vallée, C. Galilean Mechanics and Thermodynamics of Continua; Wiley-ISTE: London, UK, 2016.
[14] Shima, H. The Geometry of Hessian Structures; World Scientific: Singapore, Singapore, 2007.
[15] Souriau, J.M. Définition covariante des équilibres thermodynamiques. Suppl. Nuov. Cimento 1966, 1, pp.203-216. (In French)
[16] Souriau, J.M. Structure des systèmes dynamiques; Editions Jacques Gabay: Paris, France, 1970. [17] Souriau, J.-M., Mécanique statistique, groupes de Lie et cosmologie, Colloques internationaux du CNRS numéro 237, Géométrie symplectique et physique mathématique, 1974, pp. 59-113.
[18] Vey, J. Sur les Automorphismes Affines des Ouverts Convexes Saillants. Annali della Scuola Normale Superiore di Pisa, Classe di Science 1970, 24, 641-665.
-
Dans ce travail, nous présentons un formalisme purement informationnel de fusion de données multi-capteurs avec tolérance aux défauts. L'approche proposée profite de l'utilisation des filtres informationnels ainsi que des métriques empruntées à la théorie de l'information. Dans ce cadre, nous avons développé des résidus basés sur la divergence de Kullback-Leibler permettant la détection et l'exclusion des défauts capteurs. Afin d'évaluer le résidu d'une façon optimale et de prendre la décision au sujet de la présence des mesures erronées, des méthodes de seuillage optimisées basées sur la quantité d'information apportée par une décision sont proposées. La théorie proposée est éprouvée sur deux applications de localisation. La première application concerne la localisation collaborative, tolérante aux défauts d'un système multi-robots. La seconde application traite de la localisation en milieu ouvert utilisant un couplage serré GNSS/odométrie tolérant aux défauts.
-
The performance in terms of minimal Bayes' error probability for detection of a random tensor is a fundamental under-studied difficult problem. In this work, we assume that we observe under the alternative hypothesis a noisy rank-R tensor admitting a Q-order Canonical Polyadic Decomposition (CPD) with large factors of size Nq x R, i.e., for 1 <= q <= Q, R, Nq ? infinity with R1/q / Nq converges to a finite constant. The detection of the random entries of the core tensor is hard to study since an analytic expression of the error probability is not easily tractable. To mitigate this technical difficulty, the Chernoff Upper Bound (CUB) and the error exponent on the error probability are derived and studied for the considered tensor-based detection problem. These two quantities are relied to a key quantity for the considered detection problem due to its strong link with the moment generating function of the log-likelihood test. However, the tightest CUB is reached for the value, denoted by s*, which minimizes the error exponent. To solve this step, two methodologies are standard in the literature. The first one is based on the use of a costly numerical optimization algorithm. An alternative strategy is to consider the Bhattacharyya Upper Bound (BUB) for s* = 1/2. In this last scenario, the costly numerical optimization step is avoided but no guarantee exists on the optimality of the BUB. Based on powerful random matrix theory tools, a simple analytical expression of s* is provided with respect to the Signal to Noise Ratio (SNR) and for low rank CPD. Associated to a compact expression of the CUB, an easily tractable expression of the tightest CUB and the error exponent are provided and analyzed. A main conclusion of this work is that the BUB is the tightest bound at low SNRs. At contrary, this property is no longer true for higher SNRs.
-
Les phi-divergences servent comme critères de minimisation dans les problèmes d'optimisation découlant de diverses applications, telles que le calcul de fonctions débit-distorsion, la sélection optimale de portefeuilles, l'estimation du maximum de vraisemblance à partir de données incomplètes, ainsi que le recalage et la restauration d'images. Les méthodes existantes impliquant ce type de mesures se limitent souvent à des problèmes où la minimisation est effectuée par rapport à l'un des arguments de la phi-divergence, ou en utilisant des approches alternées qui nécessitent des hypothèses spécifiques pour être valides. Dans cette présentation, nous illustrons une nouvelle approche d'optimisation pour surmonter cette difficulté. Notre principale contribution est le calcul explicite des expressions des opérateurs proximaux des phi-divergences. Cela permet d'étendre la portée des algorithmes proximaux à une large gamme de problèmes d'optimisation convexe dans lesquels la fonction objective comprend un terme qui s'exprime sous la forme d'une phi-divergence. Les outils d'optimisation proposés sont validés numériquement sur le problème d'exécution optimale de requêtes SQL dans les systèmes de gestion des base de données.
En pratique, la modélisation des données est généralement erronée en raison des imperfections des système de mesures ainsi que de la complexité des systèmes physiques observés. Ce phénomène est amplifié lors de l'utilisation de plusieurs mesures provenant de différents capteurs ou appareils. Ce concept est connu sous le nom de multimodalité. Les hypothèses sur les liens statistiques entre les modalités, comme l'indépendance du bruits, peuvent parfois se révéler inexactes. Par conséquent, les effets de ces erreurs de modèle sur les mesures d'information et d'estimation méritent d'être étudiés afin de mieux comprendre et de trouver une possible compensation de ces erreurs. Dans ce contexte, nous avons étudié la connexion entre les mesures d'information et d'estimation dans les canaux gaussiens sous une double inadéquation de modèle: l'inadéquation de la loi a priori du signal d'intérêt et l'inadéquation de la loi du bruit. Dans ce contexte, nous avons établi une nouvelle relation entre l'entropie relative et le surplus d'erreur quadratique moyenne. La relation proposée montre que les deux inadéquations du modèle peuvent se compenser dans le sens où on minimise l'erreur d'estimation. Ce résultat est illustré à travers un exemple d'estimation de deux modalités complémentaires montrant l'impact de ces erreurs sur la précision de l'estimation.
Pour les systèmes ou les signaux quantiques, comme par exemple un qubit ou un ensemble de qubits représentés par un opérateur densité, on peut étendre les mesures informationnelles classiques basées sur l'entropie de Shannon, via son analogue quantique - l'entropie de von Neumann. Sur cette base, on étend en quantique les notions d'entropie relative ou divergence de Kullback-Leibler, d'information mutuelle, et l'on peut reformuler en quantique les deux théorèmes fondamentaux de la théorie de l'information de Shannon pour le codage de source et le codage de canal [1]. Il apparaît alors en quantique une notion fondamentale, qui ne possède pas d'analogue classique, qui est l'information de Holevo [1, 2]. Celle-ci intervient dans l'expression de limites informationnelles fondamentales pour la compression des sources quantiques et le débit des canaux quantiques [3,2,1]. Nous présenterons brièvement ces notions fondamentales d'information quantique, ainsi que leur comportement en présence de différents types de bruit quantique [4,1] représentant le processus de décohérence des états quantiques. En particulier, nous montrerons la possibilité, dans certaines conditions, de comportements non standards, s'apparentant à des effets de résonance stochastique, où la présence du bruit quantique ou de décohérence se révèle bénéfique d'un point de vue informationnel.
[1] M. M. Wilde, Quantum Information Theory. Cambridge : Cambridge University Press, 2013.
[2] A. S. Holevo, V. Giovannetti, "Quantum channels and their entropic characteristics", Reports on Progress in Physics, vol. 75, pp. 046001,1?30, 2012.
[3] H. Barnum, C. M. Caves, C. A. Fuchs, R. Jozsa, B. Schumacher, "On quantum coding for ensembles of mixed states", Journal of Physics A, vol. 34, pp. 6767?6785, 2001.
[4] F. Chapeau-Blondeau, "Optimization of quantum states for signaling across an arbitrary qubit noise channel with minimum-error detection", IEEE Transactions on Information Theory, vol. 61, pp. 4500-4510, 2015.
L'intégrale de corrélation est un des points de convergence des théories de l'information (entropie), géométrique (fractale) et chaotique (récurrence). A travers des mesures de probabilités portant sur des m-motifs, l'intégrale/somme de corrélation permet de faire le lien entre la notion de récurrence et le "gradient" d'entropie de m-uplet, ces deux derniers étant considérés comme de bons indicateurs de complexité. Dans cette présentation, il sera montré que le max du "gradient" d'entropie de m-uplet peut être un bon indicateur pour caractériser des séries temporelles stochastiques tirées ou non de systèmes dynamiques non linéaires (fBm, Lorentz). D'autre part parce que le "gradient" d'entropie de m-uplet peut être tiré du graphe de récurrences et que récemment il a été montré que le graphe de récurrences était un cas particulier de graphes de symétrie, 4 nouveaux gradients d'entropie de m-uplet seront dévoilés. Ces derniers seront testés sur des séries temporelles issus du système logistique cubique ayant des propriétés de symétrie locale. Il sera finalement montré que ces différents "gradients" d'entropie de m-uplet sont sensibles à des changements de régime de fonctionnement de systèmes dynamiques non linéaires (transitions déterministe-chaos, ...).
L'entropie est un critère statistique permettant de mesurer la quantité d'information présente dans un signal. Dans une image de grande taille, par exemple 512x512 pixels, possédant 256 niveaux de gris, l'entropie peut être calculée efficacement et a un sens. Par ailleurs, l'entropie maximale est dans ce cas de log2(256) = 8 bpp, ce qui correspond à une distribution uniforme des niveaux de gris (équiprobabilité). Cette approche peut perdre de son sens si l'on considère maintenant non plus l'image entière, mais l'image comme un ensemble de blocs Bi de taille relativement petite. Par exemple, si k représente la taille d'un bloc (en nombre de pixels) est inférieure au nombre de niveaux de gris de l'image, alors l'entropie maximale est égale à log2(k) < log2(256). En effet, certains niveaux de gris ne seront pas présents à l'intérieur du bloc. De plus, il est possible que les k valeurs (en termes de niveaux de gris) soient toutes différentes mais très proches dans un même bloc. Dans ce cas nous aurons un bloc relativement homogène qui pourrait paraître aléatoire. Ainsi, l'entropie globale de l'image ne peut pas être comparée directement à celle d'un bloc de la même image. Dans nos travaux nous proposons de quantifier l'histogramme original de l'image afin d'investiguer un moyen de donner du sens à l'entropie locale (i.e. mesurée à l'intérieur d'un bloc). Dans cet exposé nous évoquerons également la notion d'entropie mutuelle pour le même type de problème. Les applications visées sont la correction des erreurs dans une image chiffrée ainsi que l'insertion de données cachée réversible dans le domaine chiffré.
Une nouvelle méthode utilisant le transport optimal donne une preuve très simple de l'inégalité de Shannon de la puissance entropique ainsi que quelques extensions naturelles, pour les transformations linéaires par Zamir et Feder, et pour les entropies de Rényi donnant certaines inégalités récentes.
Date : 2017-05-24
Lieu : AMUE Paris, 103 bd Saint-Michel, 75005 Paris (http://www.amue.fr/presentation/les-sites/le-site-du-103/)
Thèmes scientifiques :
A - Méthodes et modèles en traitement de signal
Inscriptions closes à cette réunion.
Accéder au compte-rendu de cette réunion.
(c) GdR IASIS - CNRS - 2024.