Proposition de sujet de thèse :
Estimation du mouvement des structures par une méthode de flux optique alternative combinant les approches
parcimonieuses et particulaires
Le projet est porté par l’équipe de recherche I4S qui est commune entre Inria et l’Université Gustave Eiffel.
https://team.inria.fr/i4s/fr/job-offers/
Contexte général
Suite à de récents évènements tragiques (Gênes, Mirepoix, . . . ), un rapport sénatorial (2019) a pointé l’état de santé vieillissant des ouvrages d’art en France, et la nécessité d’évaluer rapidement l’état de santé des structures à tout moment. À l’heure actuelle, le suivi d’ouvrages est assuré par des inspections visuelles régulières, et localement par des prélèvements et carottages sur la structure. Ce type d’approche du suivi présente certaines limites en nombre d’ouvrages ausculté, en réactivité et en durée. En parallèle, une approche, dite non destructive, a été initiée depuis de nombreuses années en instrumentant les structures de divers capteurs. L’accès à l’état interne de la structure est moins direct et nécessite des compétences spécifiques, mais cette approche reste préférable et pérenne.
L’approche instrumentale a fait émerger la discipline de monitoring de santé des structures (Structural Health Monitoring – SHM), qui vise sur le long terme à satisfaire les 4 objectifs suivantes: détection et localisation de dommages, identification/catégorisation et quantification de l’intensité des dommages. L’instrumentation conventionnelle utilise un réseau de capteurs ponctuels, e.g., des accéléromètres, judicieusement placés afin d’obtenir la réponse vibratoire de la structure par des techniques avancées de traitement du signal. Des outils d’analyse permettent ensuite le suivi de la signature vibratoire et ainsi de remplir les 4 objectifs du SHM [6].
À terme, le suivi à base de capteurs ponctuels peut limiter l’approche instrumentale dans sa capacité de détection, d’analyse et de coût de mise en oeuvre. Dans ce contexte, l’équipe I4S s’intéresse depuis plusieurs années à la solution alternative d’utiliser des capteurs continus ou distribués. Notamment les systèmes d’imagerie sans contact permettent une analyse plein champ de la structure, e.g., système laser TLS, radar hyperfréquence GB-SAR, capteur vidéo. Parmi ces solutions, les capteurs vidéo suscitent un regain d’intérêt depuis une dizaine d’années, grâce aux progrès technologiques combinés en termes de résolution, coût, vitesse d’acquisition et de calculs, capacité de stockage. À l’aide de techniques de traitement d’images spécifiques, les capteurs vidéo permettent à moindre coût d’évaluer le déplacement de la structure en tout point de l’image avec une précision subpixellique [8].
L’équipe I4S a investi ce champ de recherche pour le SHM depuis 2018 et a identifié quelques méthodes numériques, dont la combinaison pourrait avantageusement contribuer à améliorer l’estimation du mouvement. Ces améliorations permettraient également d’envisager la possibilité de la fusionner avec des techniques d’analyse vibratoire du signal estimé telles que l’identification en sous-espaces stochastiques (Stochastic Subspaces Identification – SSI) afin de concevoir des méthodes de SHM basées sur l’imagerie.
Objectifs et orientations de la thèse
L’objectif principal de thèse est de permettre une analyse SHM plus performante des structures de génie civil à partir de capteurs vidéos dans des conditions réelles. Pour ce faire, la thèse propose de développer des traitements alternatifs innovants pour améliorer la première étape du processus de SHM, à savoir, la sélection de zones/pixels d’intérêt dans l’image, et l’estimation du mouvement proprement dit. Enfin, la thèse explorera la possibilité de simplifier le processus de SHM basé sur l’imagerie en regroupant plusieurs étapes.
1. Détermination de zones d’intérêts et/ou pixels actifs par LRR :
Dans l’approche utilisée dans les travaux en cours, le mouvement est quantifié à partir de zones d’intérêts dans l’image, i.e., éléments de frontière de la structure et/ou pixels actifs dont l’intensité varie le plus dans la séquence d’images vidéos. La sélection des zones/pixels nécessite un prétraitement spécifique. En alternative aux méthodes de prétraitement actuelles, on évaluera dans cette thèse la famille de méthodes appelées Low Rank Representation (LRR) [4, 7]. Elles se basent sur une representation parcimonieuse de la séquence d’images vidéo, et permettent de réduire drastiquement la dimension de l’espace des données. Ces méthodes ont donné lieu à une activité de recherche importante [1] et trouvent des applications dans les nombreux domaines impliquant la vision par ordinateur (computer vision) et ont également un grand impact en “big data”. Le laboratoire I4S a réalisé en 2022 une pré-étude à ce sujet, et testé une des nombreuses variantes de cette famille, i.e., Go Decomposition (GoDec), sur des images de faible résolution.
2. Estimation du mouvement de la structure par LBM :
En alternative à la méthode du flot optique, utilisée actuellement [5], la thèse cherchera à évaluer l’exploitation de la méthode Lattice Boltzmann (LBM) pour estimer le mouvement de la structure. Cette méthode particulaire offre un formalisme généralisant la méthode du flot optique, et en comparaison, a l’avantage de prendre en compte dans l’algorithme l’image antérieure et postérieure à l’image courante. En outre, la LBM n’a pas besoin de recourir à des marqueurs dans l’image pour estimer le mouvement [2, 3].Dans le cadre de la thèse, la LBM pourrait apporter une précision de mesure supérieure à celle du flot optique conventionnel, sans surcharge de calcul supplémentaire. Le calcul du mouvement serait limité aux pixels/zones parcimonieuses identifiées par le prétraitement LRR introduit précédemment. Une analyse statistique déterminera les incertitudes d’estimation de mouvement avec les méthodes développées, ainsi que l’amplitude de vibration minimale de la structure qui sera nécessaire pour pouvoir effectuer des analyses SHM par la suite.
3. Fusion des 2 premières étapes du processus de SHM :
Les étapes d’estimation de mouvement de la structure et de son analyse vibratoire par SSI sont actuellement réalisées de manière séquentielle. En s’appuyant sur une vectorisation des images, cette thèse explorera la possibilité de réaliser la SSI directement à partir de la série d’images vidéos vectorisées. La grande taille de cette matrice 2D peut constituer un écueil important à la faisabilité de cette approche.
La création d’une cohorte de tests permettra d’évaluer le plus exhaustivement possible les différents algorithmes de manière systématique dans différentes conditions (images synthétiques avec et sans bruit, avec mouvements oscillants ou mouvement aléatoires, cas de laboratoires et séquences d’images in-situ). Cette cohorte exploitera les différentes expériences déjà menées au laboratoire et sera enrichie tout au long de la thèse. Une attention particulière sera portée à la sensibilité aux bruits de ce nouvel algorithme ainsi que la vitesse de calcul.
Profil du candidat
Master en traitement du signal et de l’image ou en dynamique des structures.
Une autonomie certaine en langage de programmation (Matlab, Python, C++ et/ou Julia) est requise; un esprit
de synthèse et des qualités rédactionnelles sont attendus.
Une expérience en détection de mouvement serait un plus.
Candidature
Envoyer un CV détaillé, lettre de motivation et relevé de notes à :
romain.noel@univ-eiffel.fr, vincent.baltazart@univ-eiffel.fr, michael.doehler@inria.fr
Mots clés
SHM, génie civil, traitement d’images, estimation du mouvement, Lattice Boltzmann Method, Flux optique, Low rank représentation, C++.
PhD proposal :
Structures motion estimation by an alternative optical flow
method combining sparse and particle approaches
The project is carried out by the I4S research team, which is a joint team between Inria and Gustave Eiffel University.
https://team.inria.fr/i4s/fr/
General Context
Following recent tragic events (Gênes, Mirepoix, ...), a Senate report (2019) highlighted the aging health status of infrastructure in France and the need to quickly assess the health of structures at any time. Currently, structure monitoring is ensured through regular visual inspections and locally through sampling and coring on the structure. This type of monitoring approach has certain limitations in terms of the number of structures inspected, responsiveness, and duration. In parallel, a non-destructive approach has been initiated for many years by instrumenting structures with various sensors. Access to the internal state of the structure is less direct and requires specific skills, but this approach is preferable and sustainable.
The instrumental approach has given rise to the discipline of Structural Health Monitoring (SHM), which aims in the long term to achieve the following 4 objectives: detection and localization of damage, identification/categorization, and quantification of damage intensity. Conventional instrumentation uses a network of point sensors, e.g. accelerometers, strategically placed to obtain the vibratory response of the structure through advanced signal processing techniques. Analysis tools then allow monitoring of the vibratory signature and thus fulfilling the 4 objectives of SHM [6].
In the long run, point sensor-based monitoring may limit the instrumental approach in terms of detection, analysis, and implementation cost. In this context, the I4S team has been interested for several years in the alternative solution of using continuous or distributed sensors. In particular, non-contact imaging systems allow a full-field analysis of the structure, e.g. TLS laser system, GB-SAR hyperfrequency radar, video sensor. Among these solutions, video sensors have gained renewed interest over the past decade, thanks to combined technological advances in terms of resolution, cost, acquisition and processing speed, and storage capacity. Using specific image processing techniques, video sensors allow cost-effective evaluation of structure displacement at any point in the image with subpixel accuracy [8].
The I4S team has been involved in this SHM research field since 2018 and has identified several numerical methods, the combination of which could contribute to improving motion estimation. These improvements would also make it possible to consider the possibility of merging them with vibrational signal analysis techniques such as Stochastic Subspace Identification (SSI) to design imaging-based SHM methods.
Thesis Objectives and Directions
The main objective of the thesis is to enable more efficient SHM analysis of civil engineering structures using video sensors in real conditions. To achieve this, the thesis proposes to develop innovative alternative treatments to improve the first step of the SHM process, namely, the selection of areas/pixels of interest in the image, and the actual motion estimation. Finally, the thesis will explore the possibility of simplifying the imaging-based SHM process by combining several steps.
1. Determination of areas of interest and/or active pixels by LRR:
In the approach used in ongoing work, motion is quantified based on areas of interest in the image, i.e. boundary elements of the structure and/or active pixels whose intensity varies the most in the sequence of video images. The selection of areas/pixels requires specific preprocessing. As an alternative to current preprocessing methods, this thesis will evaluate the family of methods called Low Rank Representation (LRR) [4, 7]. They are based on a sparse representation of the video image sequence and allow for a drastic reduction in the dimension of the data space. These methods have led to significant research activity [1] and find applications in many areas involving computer vision and also have a major impact on big data. The I4S laboratory conducted a preliminary study on this subject in 2022 and tested one of the many variants of this family, i.e. Go Decomposition (GoDec), on low-resolution images.
2. Structure motion estimation by LBM:
As an alternative to the currently used optical flow method [5], the thesis will seek to evaluate the use of the Lattice Boltzmann Method (LBM) to estimate the motion of the structure. This particle method offers a formalism generalizing the optical flow method and, in comparison, has the advantage of taking into account the image before and after the current image in the algorithm. In addition, LBM does not need to use markers in the image to estimate motion [2, 3]. In the thesis framework, LBM could provide higher measurement precision than conventional optical flow, without additional computational overhead. Motion calculation would be limited to the sparse pixels/zones identified by the LRR preprocessing introduced earlier. A statistical analysis will determine the motion estimation uncertainties with the developed methods, as well as the minimum vibration amplitude of the structure necessary to perform subsequent SHM analyses.
3. Fusion of the first 2 steps of the SHM process:
The steps of estimating the motion of the structure and its vibrational analysis by SSI are currently performed sequentially. Building on image vectorization, this thesis will explore the possibility of performing SSI directly from the vectorized series of video images. The large size of this 2D matrix may pose a significant challenge to the feasibility of this approach.
The creation of a test cohort will allow a comprehensive evaluation of different algorithms systematically in various conditions (synthetic images with and without noise, with oscillating or random movements, laboratory cases, and in-situ image sequences). This cohort will leverage the various experiments already conducted in the laboratory and will be enriched throughout the thesis. Special attention will be paid to the noise sensitivity of this new algorithm and the calculation speed.
References
[1] Thierry Bouwmans, Sajid Javed, Hongyang Zhang, Zhouchen Lin, and Ricardo Otazo. On the Applications of Robust PCA in Image and Video Processing. Proceedings of the IEEE, 106(8):1427–1457, August 2018.
[2] Guang-Tai Ding, Shu-Qing Li, and Dan-Xia Luo. Optical Flow Analysis Based on Lattice Boltzmann Method and Lower Order Approximation with Relaxation Factors. In 2010 International Conference on Multimedia Technology, pages 1–4, October 2010.
[3] Guang-Tai Ding, Dan-Xia Luo, and Shu-Qing Li. Image sequence segmentation based on the formal lattice Boltzmann equation and its lower order approximation. In 2010 International Conference on Audio, Language and Image Processing, pages 815–820, Shanghai, China, November 2010. IEEE.
[4] Zhi Gao, Ruifang Zhai, Pengfei Wang, Xu Yan, Hailong Qin, Yazhe Tang, and Bharath Ramesh. Synergizing Appearance and Motion With Low Rank Representation for Vehicle Counting and Traffic Flow Analysis. IEEE Transactions on Intelligent Transportation Systems, 19(8):2675–2685, August 2018.
[5] Jaka Javh, Janko Slavič, and Miha Boltežar. The subpixel resolution of optical-flow-based modal analysis. Mechanical Systems and Signal Processing, 88:89–99, May 2017.
[6] Alexander Mendler, Michael Döhler, Carlos E Ventura, and Laurent Mevel. Localizability of damage with statistical tests and sensitivity-based parameter clusters. Mechanical Systems and Signal Processing, 204:110783, 2023.
[7] John Wright and Yi Ma. High-Dimensional Data Analysis with Low-Dimensional Models: Principles, Computation, and Applications. Cambridge University Press, 1 edition, January 2022.
[8] Bian Xiong. Video-Based Vibration Analysis for Structural Health Monitoring in Civil Engineering. PhD thesis, Rennes 1, Nantes, France, December 2021.
(c) GdR IASIS - CNRS - 2024.