(English bellow)
Le LITIS en collaboration avec le département COSYS de l'Université Gustave Eiffel et le laboratoire IRIMAS de l'Université Haute Alsace proposent un sujet de thèse sur la classification de l'état de la chaussée pour établir la commande de véhicule adéquate une conduite sécurisée.
Encadrement : Samia Ainouz (LITIS) , Pierre Jean Lapray (IRIMAS) et Jean Philippe Tarel (UGE)
Début de la thèse : 0ctobre-Decembre 2024
Date limite de candidature : 30 MAI 2024
contact : samia.ainouz@insa-rouen.fr, pierre-jean.lapray@uha.fr, Jean-Philippe.Tarel@univ-eiffel.fr
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
The LITIS in collaboration with the COSYS department of Gustave Eiffel University and the IRIMAS Lab of the University of Haute Alsace offer a thesis topic on road surface classification to establish appropriate vehicle control for safe driving.
Supervision: Samia Ainouz (LITIS), Pierre Jean Lapray (IRIMAS), and Jean Philippe Tarel (UGE)
Start : October-December 2024
Application deadline: May 30, 2024
Contact : samia.ainouz@insa-rouen.fr, pierre-jean.lapray@uha.fr, Jean-Philippe.Tarel@univ-eiffel.fr
(English version bellow)
Classification et caractérisation de l’état de surface d’une chaussée par intégration de connaissances physiques des systèmes d’acquisition non conventionnel
Un des principaux défis technologiques pour les aides à la conduite et le véhicule autonome est la compréhension de l’environnement avec des capteurs. C’est sur cela que s’appuient les algorithmes décisionnels de pilotage [1]. En perception de l’environnement, la plupart des travaux menés actuellement sont basés sur un certain nombre de capteurs comme les lidars, les caméras et les radars. Bien que ces capteurs offrent des réponses fiables en conditions météorologiques favorables, ils peinent à répondre correctement quand la visibilité est réduite ou quand la scène est hautement dynamique. Le problème des conditions de visibilité réduite reste un défi non résolu, comme en témoignent les quelques accidents impliquant des véhicules autonomes ou semi-autonomes, que ce soit avec une caméra (Tesla) ou un LIDAR (Uber). En 2021, l'Observatoire national interministériel de la sécurité routière (ONISR) a publié un bilan dans lequel elle atteste qu’en France, sur 3 années (2018, 2019, 2021), 44% des accidents mortels des 18-34 ans ont lieu en temps de brouillard contre 31% en temps normal. De même, la météorologie dégradée (pluie, brouillard, chaussée glissante, neige, grêle, etc.) cause 23% des tués de la route et 20% des blessés (74 000 par an), ce qui n’est pas anodin.
Il est essentiel que la perception de l’environnement soit complète et que l’adhérence de la route soit estimée, car elle est variable selon l’état de la chaussée (verglas, chaussée mouillée…). Le coefficient d’adhérence modifie l’effort induit par les pneus (coefficients de raideurs) et par conséquent le comportement dynamique du véhicule. Il est proche de zéro sur une chaussée verglacée alors qu’il est proche de l’unité pour une chaussée sèche. Trop souvent, ce coefficient est fixé à une valeur nominale lors de la synthèse de la loi de commande de véhicule, ce qui impacte les performances obtenues en conditions réelles (la valeur réelle pouvant être éloignée de la valeur nominale)
La caractérisation de l’état de surface de la chaussée peut permettre d’estimer le coefficient d’adhérence entre les roues et la chaussée suivant les conditions météorologiques pour ensuite établir une commande adéquate pour faire naviguer le véhicule. Malheureusement, la perception visuelle de l’état de surface de la chaussée est très difficile pour les conducteurs. L’imagerie non conventionnelle par polarisation, qui fait intervenir les propriétés surfaciques de la chaussée, est une alternative à explorer pour caractériser l’état de la surface selon ses propriétés physiques liées à la réflexion [2]. Utiliser la polarisation pour distinguer une chaussée sèche ou mouillée a été proposé en 2003 par Yamada et al. [3]. Ils utilisent le ratio entre la polarisation horizontale et verticale sans validation dans différentes situations météorologiques dégradées et sans caractérisation des incertitudes et des limites. D’autres travaux ont suivi pour contrôler l’éclairage, par fusion avec d’autres capteurs pour améliorer la caractérisation.
Une alternative à la polarisation, proposée dès 1993, est d’utiliser deux sources à des longueurs d’onde différentes où les propriétés d’absorption de l’eau sont assez différentes, ce qui permet par comparaison d’estimer la hauteur moyenne de la couche d’eau ou de glace sur la chaussée avec un capteur embarqué dans le véhicule [4]. Ce type de matériel pourrait être utilisé comme une référence expérimentale
Objectif de la thèse :
L’objectif de ce travail de thèse est de concevoir une méthode d’estimation de l’état de la chaussée assez fiable et capable de fonctionner dans tous les types de conditions dégradées. Dans un premier temps, nous devrons choisir dans quelles bandes spectrales travailler et avec quels types de capteurs, quels éclairages, avec comme but de dépasser les limitations des travaux actuels qui restent peu nombreux. Dans un deuxième temps, nous devons concevoir les traitements qui combinent éventuellement les sorties de plusieurs capteurs, par exemple avec des méthodes par apprentissage. La modélisation des incertitudes des capteurs et la propagation de ces incertitudes lors des traitements sera alors importante pour permettre de caractériser les performances du ou des systèmes de mesure étudiés. Ce travail pourra profiter de bases de données de simulation provenant du simulateur SWEET du CEREMA Clermont-Ferrand qui est dédié à la modélisation de scènes routières. Ensuite, les évaluations seront poursuivies en utilisant des images en conditions réelles dégradées prises en extérieur à travers les saisons, comme cela est prévu dans le cadre du projet ANR INARI. La vérité terrain pourra être obtenue par un capteur de mesure d’épaisseur de la couche d’eau multi-canal. Une fois que les indices caractérisant la surface ont été étudiés, la classification des différentes zones de la chaussée selon leur dangerosité peut être effectuée. Les algorithmes de classification basés sur l’IA, qui seront développés dans ce travail de thèse, utiliserons les techniques d’intégration de connaissances physiques dans des réseaux afin de tenir compte des caractéristiques uniques qu’offre l’imagerie de polarisation, comme le degré et l’angle de polarisation. La classification pourrait être faite d’une manière graduée, à savoir dans un premier temps, classifier une chaussée sèche ou humide et ensuite dans la classe humide, définir les sous classes sur le revêtement de la chaussée (eau, flaque d’eau, verglas, neige).
Les résultats provenant de ce travail de thèse serviront à alimenter la mise en place d’une commande améliorée pour le véhicule, par un autre partenaire du projet ANR INARI.
Profil requis : Le candidat doit avoir un master 2 ou un diplôme d’ingénieur avec des bonnes connaissances en traitement d’image, vision par ordinateur, apprentissage profond. Des connaissances en mathématiques sur les techniques d’optimisation ou en physique/optique seront appréciées. Le langage de programmation est laissé au choix mais Python est préféré.
Encadrement : Samia Ainouz (LITIS, INSA Rouen Normandie), Jean-Philippe Tarel (Cosys, Université Gustave Eiffel), Pierre-Jean Lapray (IRIMAS, Université Haute Alsace)
Contacts :samia.ainouz@insa-rouen.fr, pierre-jean.lapray@uha.fr, Jean-Philippe.Tarel@univ-eiffel.fr
Références :
[1] H Laghmara, MT Boudali, T Laurain, J Ledy, R Orjuela, JP Lauffenburger, M. Basset. Obstacle avoidance, path planning and control for autonomous vehicles. IEEE intelligent vehicles symposium (IV), 529-534, 2019.
[2] Nayar, S., Ikeuchi, K., & Kanade, T. (1990, September). Surface reflection: physical and geometrical perspectives. In Proceedings: Image Understanding Workshop (pp. 185-212).
[3] Yamada et al.(2003). A study of the road surface condition detection technique for deployment on a vehicle. JSAE review, 24(2), 183-188.
[4] Holzwarth, F., & Eichhorn, U. (1993). Non-contact sensors for road conditions. Sensors and Actuators A: Physical, 37, 121-127.
Title: Classification and Characterization of Road Surface State through Integration of physical Knowledge from Non-Conventional Acquisition Systems
One of the main technological challenges for driving aids and autonomous vehicles is understanding the environment using sensors. Decision-making algorithms for driving rely on this [1]. Currently, most environmental perception works are based on a number of sensors such as lidars, cameras, and radars. Although these sensors provide reliable responses in favorable weather conditions, they struggle to respond correctly when visibility is reduced or when the scene is highly dynamic. The problem of reduced visibility conditions remains an unsolved challenge, as evidenced by a few accidents involving autonomous or semi-autonomous vehicles, whether with a camera (Tesla) or a LIDAR (Uber). In 2021, the French National Interministerial Road Safety Observatory (ONISR) published a report stating that in France, over 3 years (2018, 2019, 2021), 44% of fatal accidents involving 18-34 year olds occurred in foggy conditions compared to 31% in normal conditions. Similarly, degraded weather (rain, fog, slippery road, snow, hail, etc.) causes 23% of road fatalities and 20% of injuries (74,000 per year), which is significant.
It is essential that environmental perception be comprehensive and that road grip be estimated, as it varies according to road conditions (ice, wet road, etc.). The coefficient of adhesion modifies the effort induced by the tires (stiffness coefficients) and consequently the dynamic behavior of the vehicle. It is close to zero on an icy road whereas it is close to unity for a dry road. Too often, this coefficient is set to a nominal value during the synthesis of the vehicle control law, which impacts the performance obtained under real conditions (the actual value may be different from the nominal value).
Characterizing the road surface state can allow estimation of the coefficient of adhesion between the wheels and the road according to weather conditions, in order to establish appropriate control for vehicle navigation. Unfortunately, visual perception of road surface condition is very difficult for drivers. Unconventional polarization imaging, which involves the surface properties of the road, is an alternative to explore for characterizing surface condition based on its reflection properties [2]. Using polarization to distinguish between a dry or wet road was proposed in 2003 by Yamada et al. [3]. They use the ratio between horizontal and vertical polarization without validation in different degraded weather situations and without characterization of uncertainties and limits. Other works have followed to control lighting, by fusion with other sensors to improve characterization. An alternative to polarization, proposed as early as 1993, is to use two sources at different wavelengths where water absorption properties are quite different, which allows by comparison to estimate the average height of the water or ice layer on the road with a sensor embedded in the vehicle [4]. This type of equipment could be used as an experimental reference.
Thesis Objective:
The objective of this thesis work is to design a method for estimating road conditions reliably and capable of operating in all types of degraded conditions. Initially, we must choose which spectral bands to work with and which types of sensors, what lighting, with the aim of overcoming the limitations of current works, which remain few in number. Secondly, we must design treatments that combine possibly the outputs of several sensors, for example with learning methods. Modeling sensor uncertainties and propagating these uncertainties during processing will then be important to characterize the performance of the studied measurement system(s). This work could benefit from simulation databases from the SWEET simulator of CEREMA Clermont-Ferrand, which is dedicated to modeling road scenes. Then, evaluations will be continued using images in degraded real conditions taken outdoors through the seasons, as planned within the framework of the ANR INARI project. Ground truth can be obtained by a multi-channel water layer thickness measurement sensor. Once the indices characterizing the surface have been studied, the classification of the different areas of the road according to their danger can be performed. The classification algorithms based on AI, which will be developed in this thesis work, will use techniques for integrating physical knowledge into networks to take into account the unique characteristics offered by polarization imaging, such as the degree and angle of polarization. Classification could be done in a graded manner, namely initially classifying a dry or wet road and then within the wet class, defining subclasses on the road surface (water, puddle, ice, snow).
The results from this thesis work will be used to develop an improved control for the vehicle by another partner of the ANR INARI project.
Required Profile: The candidate must have a master's degree or an engineering degree with good knowledge in image processing, computer vision, deep learning. Knowledge in mathematics on optimization techniques or in physics/optics would be appreciated. The programming language is left to the choice but Python is preferred.
Supervision : Samia Ainouz (LITIS, INSA Rouen Normandie), Jean-Philippe Tarel (Cosys, Université Gustave Eiffel), Pierre-Jean Lapray (IRIMAS, Université Haute Alsace)
Contacts :samia.ainouz@insa-rouen.fr, pierre-jean.lapray@uha.fr, Jean-Philippe.Tarel@univ-eiffel.fr
References:
[1] H Laghmara, MT Boudali, T Laurain, J Ledy, R Orjuela, JP Lauffenburger, M. Basset. Obstacle avoidance, path planning and control for autonomous vehicles. IEEE intelligent vehicles symposium (IV), 529-534, 2019.
[2] Nayar, S., Ikeuchi, K., & Kanade, T. (1990, September). Surface reflection: physical and geometrical perspectives. In Proceedings: Image Understanding Workshop (pp. 185-212).
[3] Yamada et al. (2003). A study of the road surface condition detection technique for deployment on a vehicle. JSAE review, 24(2), 183-188.
[4] Holzwarth, F., & Eichhorn, U. (1993). Non-contact sensors for road conditions. Sensors and Actuators A: Physical, 37, 121-127.
(c) GdR IASIS - CNRS - 2024.