Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
43 personnes membres du GdR ISIS, et 28 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 120 personnes.
Mesures informationnelles classiques, quantiques et généralisations - entropies, divergences, métriques intégrales de probabilité, information de Fisher
Depuis les travaux pionniers de Shannon en théorie de l'information (suivant ceux de Hartley, Fadeev, Laplume, Wiener...), de nombreuses mesures d'incertitude ou d'information ont vu le jour, et ce dès le début des années 60, sous de nombreuses formes, que ce soit dans le domaine des mathématiques ou de la physique: entropie de Rényi, entropie d'Arimoto, entropie d'Harvdat-Charvát (redécouverte par Daróczy, Vajda, Lindhardt & Nielsen, Cressie & Reads ou encore Tsallis entre autres !)...
Si l'entropie de Shannon et ses fonctionnelles associées (information mutuelle, divergence de Kulback-Leibler) ont trouvé leur place naturelle dans le domaine des communications, plusieurs de ces entropies apparaissent également naturellement dans divers domaines du traitement du signal ou de la physique: divergence de Kolmogorov en détection, information de Fisher en estimation, divergence de Jensen-Shannon, divergence d'Hellinger en mécanique quantique, entropie de Tsallis pour les systèmes hors d'équilibre, entropie de Rényi-Havrda-Charvát pour des tests d'adéquation, dans le domaine de l'apprentissage ou (au travers) du transport optimal... Les inégalités et identités du « triptyque » usuel variance-entropie de Shannon-information de Fisher, centrées autour de la loi Gaussienne ou plus généralement les lois de la famille exponentielle, trouvent également de plus en plus leur(s) contrepartie(s) mettant en jeu des mesures d'informations généralisées, ou dans le monde de la mécanique quantique.
Cette journée fait suite à celle organisée il y a 7 ans. L'objectif est de faire un tour d'horizon sur les développements récents en théorie de l'information (outils usuels ou généralisés), qu'ils soient fondamentaux (identités, inégalités, conséquences ou implications) ou appliqués dans divers domaines allant des mathématiques à la physique au sens large. Il s'agira de favoriser les échanges interdisciplinaires entre les communautés faisant appel à ou développant ces outils.
La journée s'organisera autour de plusieurs exposés sur un format « tutoriel » et un format court d'expression pour les doctorants, jeunes chercheurs ou chercheurs "confirmés" travaillant sur ces aspects. Un espace poster est également prévu, pour laisser la place au maximum d'intervenants et favoriser les échanges au-delà des seules présentations.
Les propositions de communications (titre et résumé de quelques lignes) sont à envoyer au plus tard le 14 juin aux organisateurs :
Vendredi 5 juillet 2024 - Amphi Hermite, IHP, 11 rue Pierre et Marie Curie, Paris
Trois orateurs pléniers confirmés : Franck Nielsen, Olivier Rioul & Frédéric Barbaresco
Mercredi 5 juillet 2024 - Institut Henri Poincaré (IHP), amphithéâtre Hermite
9h45-10h00 Accueil
10h00-10h45 : Franck Nielsen - Sur quelques généralisations des divergences de Bregman
10h45 - 11h05 : Arnaud Breloy - Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation
11h05 - 11h25 : Pause
11h25 - 11h45 : Dorian Bouchet - Shaping light fields to maximize the Fisher information in complex scattering systems
11h45 - 12h25 : Frédéric BARBARESCO - Structure et définition géométrique de l?Entropie comme fonction de Casimir d?un feuilletage symplectique : extension de la mesure informationnelle aux groupes de Lie et à la mécanique quantique
12h25 - 13h45 : Pause "repas libre"
13h45 - 14h30 : Olivier Rioul - Treillis d'information et mesures entropiques
14h30 - 14h50 : Titouan Vayer - Controlling Wasserstein distances by maximum mean discrepencies with applications to compressive statistical learning
14h50 - 15h10 : Meryem Jabloun - Investigating sEMG signal complexity for fatigue study using Legendre polynomial fitting-based permutation entropy
15h10 - 15h30 : pause
15h30 - 15h50 : Samir M. Perlaza - From Statistical Empirical Risk Minimization with f-Divergence Regularization to Generalization Theory
15h50 - 16h10 : Zaynab El Mawas - Diagnostic des défauts capteurs en utilisant des mesures informationnels : Application à la robotique mobile
16h10 - 16h30 : Malcom Egan - Rate and Risk in Lossy Compression
16h30 - 16h50 : Shurong Zhang - Sélection de bandes multispectrales en utilisant la Correlation Explanation (CorEx)
16h50 - 17h30 : Conclusion de la journée et perspectives
Franck NIELSEN, Sony Computer Science Laboratories Inc, Tokyo, Japon
Résumé
On commencera cet exposé par la présentation de la divergence de Bregman induite par un ou une paire de générateurs et décrira leurs rôles en statistique et apprentissage notamment pour le calcul d'entropie relative de densités tronquées provenant de familles exponentielles. Ensuite, nous décrirons les variétés dualement plates de Bregman et présenterons quelques algorithmes issues de la géométrie de l'information sur ces variétés de Bregman. Finalement, on introduira une notion de divergences de Bregman définie dans le contexte de la convexité comparative et nous montrerons le lien avec les divergences de Bregman conformales. En conclusion, on soulignera l'importance des dualités et des notions de conjugués en géométrie de l'information et leurs applications.
Bio :
Frank Nielsen est chercheur au laboratoire Sony CSL Tokyo, Japon. Il co-organise la conférence biannuelle "Geometric Science of Information", et est éditeur dans les revues "Information Geometry" (Springer), "IEEE Transactions on Information Theory" , et "Entropy"(MDPI).
https://franknielsen.github
Olivier RIOUL, Télécom Paris, Institut Polytechnique de Paris
Résumé / abstract :
Plusieurs structures de treillis et les mesures d'information correspondantes sont exposées à diverses fins.
Tout d'abord, sur la base de la « théorie du treillis de l'information » relativement peu connue de Shannon (1950), où l'ordre du treillis est défini comme une dépendance fonctionnelle déterministe, on présente quelques considérations préliminaires sur les problèmes généraux de l'information manquante/complémentaire et de la reconstruction parfaite. Ces problèmes sont résolus pour des variables discrètes avec des conditions nécessaires et suffisantes, en utilisant les classes de communication de Gács-Körner et des considérations géométriques basées sur la métrique de Rajski.
Ensuite, nous étendons la structure de réseau déterministe à l'aide de la théorie de la majorisation qui caractérise la manière dont le caractère aléatoire d'une variable discrète quelconque peut être mesurée. Cela englobe toutes les mesures informationnelles connues telles que les entropies de Shannon/Rényi, les entropies de divination (guessing), la probabilité d'erreur, etc.
Dans une autre direction, lorsque les relations fonctionnelles déterministes sont randomisées, nous obtenons la définition générale d'un canal de communication (noyau de Markov). En général, cela est incompatible avec le treillis de majorisation, sauf dans le cas important d'un canal bistochastique (unitaire) qui caractérise l'ordre du treillis de majoration pour les états classiques et quantiques.
Abstract :
Several lattice structures and corresponding entropic measures of information are presented for various purposes.
First, based on the relatively unknown "lattice theory of information" of Shannon (1950), where the lattice order is defined as a deterministic functional dependence, we present some preliminary considerations on the general problems of missing/complementary information and perfect reconstruction. These problems are solved for discrete variables with necessary and sufficient conditions, using Gács-Körner communication classes and geometric considerations based on Rajski's metric.
Then, we extend the deterministic lattice structure using majorization theory which characterizes how the notion of randomness of any discrete random variable can be measured. This encompasses all known informational measures such as Shannon/Rényi entropies, guessing entropies, probability of error, etc.
In another direction, when the deterministic functional relationships are randomized, we obtain the general definition of a communication channel (Markov kernel). In general, this is incompatible with the majorization lattice, except in the important case of a bistochastic (unital) channel which characterizes the majorization lattice order for both classical and quantum states.
Bio :
Olivier Rioul (https://perso.telecom-paristech.fr/rioul/) est professeur à Télécom Paris, Institut Polytechnique de Paris, France. Il est diplômé de l'École Polytechnique et de l'École Nationale Supérieure des Télécommunications, Paris, France, où il a obtenu son doctorat. Ses recherches portent sur les mathématiques appliquées et incluent diverses applications, parfois non conventionnelles, de la théorie de l'information, telles que les inégalités en statistique, la sécurité informatique et la psychologie expérimentale. Il enseigne la théorie de l'information et les statistiques dans diverses universités depuis vingt ans et a publié un manuel qui est devenu une référence française classique dans ce domaine.
Olivier Rioul (https://perso.telecom-paristech.fr/rioul/) is full Professor at the Department of Communication and Electronics at Télécom Paris, Institut Polytechnique de Paris, France. He graduated from École Polytechnique and from École Nationale Supérieure des Télécommunications, Paris, France, where he obtained his PhD degree. His research interests are in applied mathematics and include various, sometimes unconventional, applications of information theory such as inequalities in statistics, hardware security, and experimental psychology. He has been teaching information theory and statistics at various universities for twenty years and has published a textbook which has become a classical French reference in the field.
Frédéric BARBARESCO, Thales
Résumé :
Depuis les travaux de Claude Shannon, l'Entropie est introduite de façon axiomatique. L'extension récente de la géométrie de l'information aux groupes de Lie via les modèles symplectiques de la mécanique statistique, initié par Jean-Marie Souriau (thermodynamique des groupes de Lie), permet de donner une définition « constructive » purement géométrique de l'Entropie. Partant du groupe de symétrie qui agit sur les données ou le système, l'Entropie est construite comme fonction de Casimir invariante sur le feuilletage symplectique généré par les orbites co-adjointes du groupe (orbites co-adjointes construites par l'action du groupe sur l'application moment, où l'application moment est une géométrisation du théorème de Noether). Les courbes de niveaux de l'Entropie apparaissent ainsi comme les feuilles de ce feuilletage symplectique générées par l'action co-adjointe. Dans le cas du groupe de symétrie de l'espace euclidien, on retrouve l'Entropie de Shannon classique, qui est donc ainsi un cas particulier de ce modèle. On passe donc de la définition axiomatique de Shannon à une définition « constructive » géométrique de l'Entropie. C'est la symétrie qui génère l'Entropie via l'application moment.
En théorie des représentations des groupes de Lie introduite par Alexandre Kirillov, on associe à ces orbites co-adjointes une variété symplectique via une 2 forme KKS (Kirillov-Kostant-Souriau) et une métrique Riemannienne associée. Dans le cadre de l'extension de la géométrie de l'Information aux groupes de Lie, cette métrique apparaît exactement comme la métrique de Fisher-Koszul. Grâce à la cohomologie d'algèbre de Lie et le cocycle de Souriau, on peut traiter les cas où l'opérateur co-adjoint n'est pas équivariant.
Ce modèle permet d'étendre la notion de densité de probabilité gaussienne pour une mesure informationnelle sur les groupes de Lie ou pour les espaces homogènes sur lesquels un groupe de Lie agit, en considérant la densité de Gibbs à Maximum d'Entropie, qui a pour le modèle précédent la propriété d'être covariante sous l'action du groupe. Nous illustrerons ce fait en donnant la définition d'une gaussienne à maximum d'entropie pour le demi-plan et le disque de Poincaré via le groupe SL(2,R) et SU(1,1), et pour les matrices de covariances symétriques définies positives SPD via le groupe SL(n,R) et SU(n,n) (les matrices SDP étant considérées comme l'axe pure imaginaire du demi-espace de Siegel).
Cette structure en feuilletage symplectique, courbes de niveaux de l'Entropie, permet également d'interpréter le 2nd principe de la thermodynamique en étudiant ses structures transverses. Initiée par Charles Ehresmann et Georges Reeb, la théorie des feuilletages, permet de donner à la géométrie de l'information une structure de « tissu », constituée d'un feuilletage symplectique (décrivant les dynamiques non-dissipatives) et d'une structure en transverse de feuilletage Riemannien (décrivant les dynamiques dissipatives avec création d'entropie). La métrique qui apparaît sur le feuilletage transverse Riemannien est la métrique duale de la métrique de Fisher, c'est-à-dire le hessien de l'Entropie. On dispose ainsi de 2 feuilletages transverses associées aux 2 métriques duales de la géométrie de l'information. La dynamique sur ces 2 feuilletages transverses est donnée par l'équation du flot « métriplectique » avec un crochet de Poisson pour se déplacer sur les feuilles symplectiques (flot non-dissipatif car on se déplace sur la courbe de niveau de l'Entropie ; l'entropie étant fonction de Casimir) et un crochet métrique pour se déplacer sur les feuilles Riemanniennes transverses (production d'Entropie à Energie constante ; l'Energie est fonction de Casimir pour le crochet métrique sur ces feuilles qui sont donc les courbes de niveaux de l'Energie). Récemment, il a été montré que le flot métriplectique était compatible des relations d'Onsager en thermodynamique hors équilibre. Le flot métriplectique est utilisé en apprentissage machine pour les TINN (Thermodynamics-Informed Neural Network) et pour stabiliser les Qubits bosoniques CAT et GKP des calculateurs quantiques en technologie supraconducteur (l'équation de Linblad est une approximation linéaire de l'équation métriplectique).
Nous conclurons sur une extension à la mécanique quantiques de ces modèles. En effet, la géométrie symplectique de la mécanique statistique a été construite par Jean-Marie Souriau pour adresser la mécanique quantique. Une réinterprétation géométrique des états de la mécanique statistique permet d'introduire les axiomatiques des états quantiques et des solutions d'un ensemble simple d'inégalités. Cette axiomatique apporte une interprétation probabiliste, mettant en relation l'espace de Hilbert et la représentation unitaires d'un groupe appelée représentation quantique.
Ce modèle est étudié dans le cadre de 2 actions européennes, COST CaLISTA (https://site.unibo.it/calista/en) et MSCA CaLIGOLA (https://site.unibo.it/caligola/en), et également dans le séminaire « Nord Bassin Parisien » sur les « structures géométriques de la dissipation ».
Références :
[1] Barbaresco, F. (2022) Symplectic theory of heat and information geometry, chapter 4, Handbook of Statistics, Volume 46, Pages 107-143, Elsevier, https://doi.org/10.1016/bs.host.2022.02.003 ;https://www.sciencedirect.com/science/article/abs/pii/S0169716122000062
[2] Barbaresco, F. (2023). Symplectic Foliation Transverse Structure and Libermann Foliation of Heat Theory and Information Geometry. In: Nielsen, F., Barbaresco, F. (eds) Geometric Science of Information. GSI 2023. Lecture Notes in Computer Science, vol 14072. Springer, Cham. https://doi.org/10.1007/978-3-031-38299-4_17 ; https://link.springer.com/chapter/10.1007/978-3-031-38299-4_17
[3] Barbaresco F. (2022). Symplectic Foliation Structures of Non-Equilibrium Thermodynamics as Dissipation Model: Application to Metriplectic Non-Linear Lindblad Quantum Master Equation, MDPI special Issue "Geometric Structure of Thermodynamics: Theory and Applications", 2022, Entropy 2022, 24(11), 1626; https://doi.org/10.3390/e24111626
[4] Barbaresco F. (2024). Symplectic Foliation Model of Sadi Carnot's Thermodynamics: from Carathéodory's seminal idea to Souriau's Lie Groups Thermodynamics, Celebration of 200 years since Sadi Carnot's Réflexions sur la puissance motrice du Feu, 1824-2024 & les Carnots, https://carnotlille2024.sciencesconf.org/resource/page/id/2
[5] Barbaresco, F. (2023). Souriau's Geometric Principles for Quantum Mechanics. In: Nielsen, F., Barbaresco, F. (eds) Geometric Science of Information. GSI 2023. Lecture Notes in Computer Science, vol 14072. Springer, Cham. https://doi.org/10.1007/978-3-031-38299-4_39
[6] Barbaresco, F. (2021). Gaussian Distributions on the Space of Symmetric Positive Definite Matrices from Souriau's Gibbs State for Siegel Domains by Coadjoint Orbit and Moment Map. In: Nielsen, F., Barbaresco, F. (eds) Geometric Science of Information. GSI 2021. Lecture Notes in Computer Science(), vol 12829. Springer, Cham. https://doi.org/10.1007/978-3-030-80209-7_28
[7] Souriau, J.M. (1969). Structure des systèmes dynamiques. Dunod.http://www.jmsouriau.com/structure_des_systemes_dynamiques.htm
[8] Souriau, J.M. (1990) Des principes géométriques pour la mécanique quantique. Act. Acad. Sci. Taurin 124 (Suppl.):296-306. Exposé au colloque du Collège de France : 'La Mécanique Analytique de Lagrange et son héritage'
Arnaud BRELOY, Centre d'Etude et de Rechercher en Informatique et Communications, CNAM, Paris
Florent BOUCHARD, Laboratoire des Signaux et Systèmes, CentraleSupélec, Université Paris-Saclay
Guillaume GINOLHAC, Laboratoire d'Informatique, Systèmes, Traitement de l'information et de la Connaissance, Université Savoie Mont-Blanc, Annecy
Résumé:
This paper presents a new performance bound for estimation problems where the parameter to estimate lies in a Riemannian manifold (a smooth manifold endowed with a Riemannian metric) and follows a given prior distribution. In this setup, the chosen Riemannian metric induces a geometry for the parameter manifold, as well as an intrinsic notion of the estimation error measure. Performance bound for such error measure were previously obtained in the non-Bayesian case (when the unknown parameter is assumed to deterministic), and referred to as intrinsic Cramer-Rao bound. The presented result then appears either as: a) an extension of the intrinsic Cramer-Rao bound to the Bayesian estimation framework; b) a generalization of the Van-Trees inequality (Bayesian Cramer-Rao bound) that accounts for the aforementioned geometric structures. In a second part, we leverage this formalism to study the problem of covariance matrix estimation when the data follow a Gaussian distribution, and whose covariance matrix is drawn from an inverse Wishart distribution. Performance bounds for this problem are obtained for both the mean squared error (Euclidean metric) and the natural Riemannian distance for Hermitian positive definite matrices (affine invariant metric). Numerical simulation illustrate that assessing the error with the affine invariant metric is revealing of interesting properties of the maximum a posteriori and minimum mean square error estimator, which are not observed when using the Euclidean metric.
Lien vers un chapitre plus introductif sur le sujet : https://arxiv.org/pdf/2310.01032.pdf
Titouan VAYER, INRIA, Laboratoire d'Informatique et du Parallélisme, Lyon
Résumé :
Maximum Mean Discrepancies (MMD) and Wasserstein distances are two classes of distances between probability distributions that have attracted abundant attention in past years. But to what extent are these notions of distance equivalent? We first prove that it is relatively easy to control MMD by Wasserstein distances. The other direction is however more difficult to obtain. We show that one must necessarily have certain regularity conditions on the kernel and the distributions in order to hope to control the Wasserstein distance by the MMD. We then give sufficient conditions under which such bounds apply.
Our work is motivated by the compressive statistical learning (CSL) theory, a general framework for resource-efficient large scale machine learning algorithms in which the training data is summarized in a single vector (called sketch) that captures the information relevant to the considered learning task. Based on the relations between the MMD and the Wasserstein distances, we also provide guarantees for CSL by introducing and studying the concept of Wasserstein regularity of the learning task, that is when some task-specific metric between probability distributions can be bounded by a Wasserstein distance.
This communication is based on the paper: https://jmlr.org/papers/v24/21-1516.html
Samir M. Perlaza, INRIA, Université Côte d'Azur, Sophia Antipolis
Résumé :
In this talk, the problem of empirical risk minimization (EMR) is studied using tools from statistics, measure theory, and information theory to establish generalization guarantees for machine learning algorithms. More specifically, the ERM with regularization by f-divergences, often referred to as statistical ERM, is studied assuming that priors might be in the form of a ?-finite measure (the reference measure), and not necessarily a probability measure. Under this assumption, which leads to a generalization of the statistical ERM problem allowing a larger degree of flexibility for incorporating prior knowledge, numerous relevant properties are stated. Among these properties, the solution to the statistical ERM, if it exists, is shown to be a unique probability measure for several choices of the function f. In particular, it is shown that the solution is often mutually absolutely continuous with the reference measure, which introduces a strong inductive bias that dominates the evidence provided by the training data. Interestingly, such a solution exhibits a probably-approximately-correct guarantee for the ERM (without regularization) independently of whether such a problem possesses a solution. In the case in which f (x) = x log(x), for a fixed training dataset, the empirical risk is shown to be a sub- Gaussian random variable when the models are sampled from the solution to the statistical ERM problem. The generalization capabilities of the solution to this problem (the Gibbs algorithm) are studied via the sensitivity of the expected empirical risk to deviations from such a solution towards alternative probability measures. Finally, an interesting connection between sensitivity, generalization error, worst-case data-generating probability measures, and mutual and lautum information is stablished.
[1] F. Daunas, I. Esnaola, S. M. Perlaza, and H. V. Poor, "Equivalence of the empirical risk minimization to regularization on the family of f-divergences", in Proceedings of the IEEE International Symposium on Information Theory (ISIT), Athens, Greece, Jul. 2024.
[2] S. M. Perlaza, G. Bisson, I. Esnaola, A. Jean-Marie, and S. Rini, "Empirical risk minimization with relative entropy regularization", IEEE Transactions on Information Theory, (to appear) 2024.
[3] X. Zou, S. M. Perlaza, I. Esnaola, and E. Altman, "Generalization Analysis of Machine Learn- ing Algorithms via the Worst-Case Data-Generating Probability Measure", in Proceedings of the AAAI Conference on Artificial Intelligence, Vancouver, Canada, Feb. 2024.
[4] X. Zou, S. M. Perlaza, I. Esnaola, E. Altman, and H. V. Poor, "The worst-case data- generating probability measure in statistical learning", IEEE Journal on Selected Areas in Information Theory, vol. 5, p. 175-189, Apr. 2024.
[5] S. M. Perlaza, G. Bisson, I. Esnaola, A. Jean-Marie, and S. Rini, "Empirical risk minimization with relative entropy regularization: Optimality and sensitivity", in Proceedings of the IEEE International Symposium on Information Theory (ISIT), Espoo, Finland, Jul. 2022, pp. 684-689.
[6] S. M. Perlaza, I. Esnaola, G. Bisson, and H. V. Poor, "On the validation of Gibbs algo- rithms: Training datasets, test datasets and their aggregation", in Proceedings of the IEEE International Symposium on Information Theory (ISIT), Taipei, Taiwan, Jun. 2023.
[7] F. Daunas, I. Esnaola, S. M. Perlaza, and H. V. Poor, "Analysis of the relative entropy asymmetry in the regularization of empirical risk minimization", in Proceedings of the IEEE International Symposium on Information Theory (ISIT), Taipei, Taiwan, Jun. 2023.
[8] X. Zou, I. Perlaza, Samir M. Esnaola, E. Altman, and H. V. Poor, "An exact characterization of the generalization error of machine learning algorithms", INRIA, Centre Inria d'Université Côte d'Azur, Sophia Antipolis, France, Tech. Rep. RR-9439, Jan. 2024.
Dorian Bouchet, Laboratoire Interdisciplinaire de Physique, Université Grenoble Alpes, Grenoble
Résumé :
Optical imaging systems are routinely used for gathering information about our environment, our health, and our universe. However, it remains a critical challenge to retrieve information from inside complex scattering systems such as biological tissues or nanostructured devices, because light undergoes a number of unknown scattering and absorption events.
In the last decade, different techniques have been developed in order to control the spatial distribution of the incident light fields that are used to illuminate complex scattering systems. By identifying and generating the appropriate field distribution, it became possible to focus light anywhere inside complex scattering systems.
Here, we show that these techniques can also be used to precisely estimate the value of any parameter characterizing a complex scattering system [1]. This is achieved by identifying and generating the incident light field that maximizes the Fisher information available in the measured light relative to the observable of interest. To illustrate this concept, we experimentally demonstrate that such light fields can probe the phase or the position of an object that is hidden by a disordered medium, with a precision improved by an order of magnitude compared with unoptimized light fields.
[1] Bouchet, Stefan, and Mosk. Nature Physics 17, 564 (2021)
Zaynab EL MAWAS, Cindy CAPPELLE, Maan EL BADAOUI EL NAJJAR - Centre de Recherche en Informatique, Signal et Automatique de Lille, Université de Lille
Résumé :
Les recherches sur le diagnostic en-ligne (détection, localisation et identification de défauts) des systèmes dynamiques sont intensives depuis plus de 40 ans. De nombreuses méthodes ont été proposées et la littérature scientifique est abondante. On distingue classiquement deux grandes classes d'approches : les approches à base de modèle et les approches guidées par les données.
Les travaux présentés ont été consacrés à l'exploration et à l'utilisation de mesures informationnelles dans le diagnostic des défauts de capteurs en utilisant des méthodes de diagnostic basées sur des modèles stochastiques, visant à intégrer un comportement sûr et tolérant aux fautes dans les domaines de la robotique mobile et des véhicules autonomes. Cette présentation offre un survol des activités de recherche entreprises au sein de l'équipe ToSyMA (Tolérance aux fautes des Systèmes Mobiles Autonomes) du laboratoire CRIStAL UMR 9198 au cours des dernières années, mettant en avant l'utilisation de diverses mesures telles que les divergences de Kullback-Leibler, de Rényi.... [1][2][3][4][5]. Ces travaux se concentrent principalement sur la conception de résidus informationnels pour la détection et l'isolation des défauts de capteurs. En exploitant ces mesures informationnelles, des méthodes robustes ont été développées pour la conception de critères de seuillage automatique pour la prise de décision en temps réel. Les performances de ces approches ont été testées à travers leur application à des systèmes complexes dans les domaines susmentionnés.
Plus récemment, avec la constitution de bases de données de capteurs comprenant divers scénarios de trajectoires et de défauts capteurs, ces recherches ont intégré des techniques de machine learning, améliorant les performances des méthodes de diagnostic par l'apprentissage de nouveaux comportements de défauts et l'adaptation à des environnements dynamiques.
Références :
[1] J. A. Hage, M. E. E. Najjar, and D. Pomorski, "Multi-sensor fusion approach with fault detection and exclusion based on the Kullback-Leibler Divergence: Application on collaborative multi-robot system", Information Fusion, vol. 37, pp. 61-76, 2017, doi: https://doi.org/10.1016/j.inffus.2017.01.005.
[2] B. Abci, M. El Badaoui El Najjar, V. Cocquempot, and G. Dherbomez, "An informational approach for sensor and actuator fault diagnosis for autonomous mobile robots", J Intell Robot Syst, vol. 99, no. 2, pp. 387-406, Aug. 2020, doi: 10.1007/s10846-019-01099-7.
[3] K. Makkawi, N. Ait-Tmazirte, M. El Badaoui El Najjar, and N. Moubayed, "Adaptive Diagnosis for Fault Tolerant Data Fusion Based on ?-Rényi Divergence Strategy for Vehicle Localization", Entropy, vol. 23, no. 4, p. 463, Apr. 2021, doi: 10.3390/e23040463.
[4] N. Harbaoui, M. Khoder, N. Ait Tmazirte, and M. El Badaoui El Najjar, "Context Adaptive Fault Tolerant Multi-sensor fusion: Towards a Fail-Safe Multi Operational Objective Vehicle Localization", Journal of Intelligent & Robotic Systems, vol. 110, Feb. 2024, doi: 10.1007/s10846-023-01906-2.
[5] Z. El Mawas, C. Cappelle, M. Daher, and M. El Badaoui El Najjar, "Comparative Analysis of Centralized and Federated Learning Techniques for Sensor Diagnosis Applied to Cooperative Localization for Multi-Robot Systems", Sensors, vol. 23, no. 17, p. 7351, Aug. 2023, doi: 10.3390/s23177351.
Meryem JABLOUN, Philippe RAVIER et Olivier BUTTELLI - Laboratoire Pluridisciplinaire de Recherche en Ingénierie des Systèmes, Mécanique et Energétique, Université d'Orléans
Résumé :
Permutation Entropy (PE) and its multiple multiscale variants have been widely used as complexity measures to quantify disorder or randomness in time series. However, they suffer from several limitations, including sensitivity to sampling frequency, finite data size, and noise. To address these issues, we proposed a new PE variant called Local Legendre Polynomial fitting-based Permutation Entropy (LPPE). LPPE combines the concept of ordinal patterns and the properties of Legendre polynomials, incorporating a natural multi-scaling effect by design. We investigate the capability of LPPE to explore high embedding dimensions for quantifying fatigue levels. We analyze both synthetic and real-life surface electromyography (sEMG) signals recorded during fatiguing exercises.
Malcom EGAN - INRIA Lyon
Résumé :
The rate-distortion function is a fundamental information measure, with an operational interpretation in the context of lossy compression. In particular, for high dimensional i.i.d. data and separable distortion functions, the rate-distortion function corresponds to the minimum compression rate subject to an expected distortion or a probability of excess distortion constraint. In the context of decision making based on compressed data, it can be desirable to instead impose risk measure constraints. In this work, we recall the notion of a distortion risk measure and study the tradeoff between the rate and distortion risk measure constraints. In particular, we show an explicit link between the minimum achievable rate and the rate-distortion function for high dimensional i.i.d. data and separable distortion functions. For low dimensional data, non-i.i.d. data and/or non-separable distortion functions, we derive new upper and lower bounds on the achievable distortion for a fixed rate, which heavily depend on the choice distortion risk measure.
Shurong Zhang, Alban Goupil, Valeriu Vrabie et Eric Perrin - Centre de Recherche en Sciences et Technologies de l'Information et de la Communication, Université de Reims Champagne-Ardenne
Résumé :
Dans le cadre d'un projet collaboratif, nous souhaitons identifier des bandes spectrales discriminantes afin de pouvoir spécifier une caméra multispectrale adaptée à la surveillance de vignobles avec un maximum de débit de chantier et une meilleure précision par rapport à des caméras RGB ou multispectrales du commerce. Dans ce contexte, nous avons collecté des spectres infrarouges sur des feuilles de vigne du cépage Chardonnay sur trois années : 2021, 2022 et 2023. Nous souhaitons identifier les bandes spectrales discriminantes permettant de distinguer une classe sanitaire en particulier, la jaunisse de la vigne, par rapport à d'autres états sanitaires, notamment des maladies confondantes. Etant donné l'hétérogénéité des conditions climatiques, de traitements phytosanitaires, etc., les bandes discriminantes doivent être robustes au fil des années.
La Correlation Explanation (CorEx), proposée par Ver Steeg en 2014, est une représentation hiérarchique qui vise à trouver des facteurs latents pour expliquer la corrélation entre les variables en utilisant la notion de la corrélation totale. Dans ce travail, nous avons dans un premier temps utilisé cette approche pour agréger des longueurs d'onde dans des bandes, un critère de sélection permettant ensuite d'identifier les bandes les plus discriminantes. Nous l'avons adapté dans un second temps en incorporant les informations relatives aux classes et à l'année d'acquisition des spectres dans une utilisation hiérarchique du CorEx. Plus précisément, l'étape de sélection est remplacée par une nouvelle application de l'approche CorEx. Nous montrons que les bandes spectrales obtenues avec cette nouvelle approche sont bien discriminantes par rapport à la classe, mais aussi robustes au fil des années. Les résultats en termes d'indice de Davies-Bouldin montrent que notre méthode est plus performante que d'autres techniques classiques de sélection de bandes. Nous travaillons enfin sur un critère qui permet de prendre en compte des informations a priori, classes et années dans notre cas, dans la définition d'une nouvelle représentation hiérarchique de type CorEx.
Date : 2024-07-05
Lieu : Amphi Hermite, IHP, 11 rue Pierre et Marie Curie, Paris
Thèmes scientifiques :
A - Méthodes et modèles en traitement de signal
D - Télécommunications : compression, protection, transmission
Inscriptions closes à cette réunion.
Accéder au compte-rendu de cette réunion.
(c) GdR IASIS - CNRS - 2024.