Vous êtes ici : Réunions » Réunion

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Co-conception : capteurs hybrides et algorithmes pour des systèmes innovants

Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.

Inscriptions closes à cette réunion.

Inscriptions

24 personnes membres du GdR ISIS, et 26 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 100 personnes.

Annonce

La conception de systèmes d'acquisition d'images a connu un renouveau grâce aux approches "co-conçues" pour lesquelles le dispositif d'imagerie, de détection ou de mesure est étroitement associé aux algorithmes employés pour traiter les données.

Dans de nombreux domaines, tels que la photographie numérique, la microscopie, la télédétection, l'astronomie ou l'imagerie radar, de nouveaux dispositifs d'acquisition sont développés pour dépasser les performances des systèmes traditionnels, en termes de "qualité image", d'encombrement, de poids, de consommation d'énergie ou pour ajouter de nouvelles fonctionnalités aux caméras et instruments d'acquisition d'images et de vidéos. La conception de ces nouveaux instruments repose souvent sur une approche pluridisciplinaire pour modéliser et optimiser simultanément les paramètres de l'instrument et les traitements numériques en tenant compte des contraintes de l'application visée. La conception conjointe conduit à développer de nouveaux instruments dits "non conventionnels" ou "hybrides", pour lesquels l'instrument et les traitements sont indissociables.

Ces journées sont ouvertes à plusieurs thématiques, qui comprennent entre autres la liste suivante :

L'objectif de cette rencontre est de favoriser les échanges entre tous les acteurs (industriels, académiques) de toutes les disciplines intéressées par ces nouvelles approches au travers :

Orateurs invités

Marie d'Autume (CMLA) :A new elliptic equation for image processing

Jérémy Anger (CMLA) : Blur kernel estimation from natural image statistics

Holger Münz (Carl Zeiss) : "System Engineering and Co-design - the industrial perspective"

The design and optimization of optical systems always requires a careful balance between analytic decomposition into subsystems and synthetic evaluation. Negotiating and adjusting the specifications which iteratively guide this process is classical system engineering work. In this framework, co-design can mean anything from selecting a good digital-optical concept to a fully-integrated co-optimization. The talk will highlight the trade-offs involved in implementing co-design on both technical and organizational level and address some open issues, illustrated with recent examples from our work at ZEISS.

Partenaires

Cette journée est organisée avec le soutien des GdR ISIS, MIA, MaDICS, Ondes, de l'ONERA, de Télécom-ParisTech, de l'Institut d'Optique Graduate School et de l'Université Paris-Descartes.

Merci de nous faire parvenir vos propositions (max. 1 page par résumé) en spécifiant le format de présentation préféré (oral, poster, demo) par courriel, au plus tard le 30 septembre 2018 aux coordonnées suivantes :

Pauline Trouvé-Peloux

ONERA

pauline.trouve@onera.fr

Yohann Tendero

Telecom ParisTech

yohann.tendero@telecom-paristech.fr

Andrés Almansa

CNRS - MAP5, Université Paris Descartes

andres.almansa@parisdescartes.fr

Matthieu Boffety

Institut d'Optique matthieu.boffety@institutoptique.fr

Programme

Durée des exposés : 15 minutes + 5 minutes de questions

9h - 9h30 : Accueil et café


9h30 - 9h40 : Introduction


9h40 - 11h00 : Co-conception - instruments / traitements

9h40-10h20 - Exposé invité : System Engineering and Co-design - the industrial perspective

H. Münz

Carl Zeiss AG, Oberkochen, Allemagne

10h20-10h40 - Introducing signal processing constraints in optical design softwares : Towards optical co-design
M.-A. Burcklena, H. Sauera, F. Diazb, F. Goudaila
a Laboratoire Charles Fabry, Institut d'Optique Graduate School, CNRS, Université Paris-Saclay, Palaiseau, France
b Thales LAS France, Saint-Héand, France

10h40-11h00 - Simulations FDTD et génération d'images de synthèse pour la conception d'un capteur plénoptique 2x2 pixels
G. Chataigniera,b, J. Vaillanta, B. Vandameb
a Univ. Grenoble Alpes, CEA, LETI, DOPT, LIS, Grenoble, France
b Technicolor Research & Innovation, Rennes, France

11h - 11h10 : Présentation des posters

11h-11h05 - Détection rapide de micro-organismes dans des images de fluorescence
I. Daurensana,b, J. Pierquinb, V. Mazeta
a Laboratoire ICube, Université de Strasbourg, CNRS, France.
b Redberry, Mutzig, France

11h05-11h10 - Filtres acousto-optique pour l'imagerie hyperspectrale et spectro-polarimétrique
S. Dupont, J. Champagne, J.-C. Kastelik, J. Gazalet
Université Valenciennes, CNRS, Université Lille, YNCREA, Centrale Lille, UMR 8520 - IEMN, DOAE, Valenciennes, France

11h10 - 11h30 : Pause et session posters

11h30 - 12h20 : Estimation de PSF et application

11h30-12h00 - Exposé invité : Blur kernel estimation from natural image statistics
J. Angera, G. Faccioloa, M. Delbraciob
a CMLA, ENS Paris-Saclay, France
b IIE, Universidad de la República, Uruguay

12h00-12h20 - Apport du flou de défocalisation pour l'estimation de profondeur monoculaire par réseaux de neurones
M. Carvalhoa, B. Le Sauxa, P. Trouvé-Pelouxa, F. Champagnata, A. Almansab
a DTIS, ONERA, Université Paris-Saclay, Palaiseau, France
b Université Paris-Descartes, Paris, France

12h20 - 14h30 : Pause Déjeuner


14h30 - 15h20 : Nouveaux traitements

14h30-15h00 - Exposé invité : A new elliptic equation for image processing
M. d'Autume, J.-M. Morel, E. Meinhardt-Llopis
CMLA, ENS Cachan, CNRS, Université Paris-Saclay, Cachan, France

15h00-15h20 - Image Fusion and Demosaicking: A Joint Approach
D. Picone, L. Condat, M. Dalla Mura
Université Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, Grenoble, France

15h20 - 15h40 : Pause

15h40-16h40 : Modalités d'imagerie non conventionnelles

15h40-16h - Spatial and spectral calibration of a multispectral-augmented endoscopic prototype
O. Zentenoa, A. Krebsb, Y. Benezethb, S. Treuilleta, Y. Lucasa, F. Marzanib, D. Lamarquec
a PRISME EA 4229, Université d'Orléans, Orléans, France
b Le2i EA 7508, Université de Bourgogne Franche-Comté, allée Alain Savary, Dijon, France
c Hôpital Ambroise Paré, Unité d'Hépato-Gastroentérologie, Paris, France

16h-16h20 - Imagerie hyperspectrale grand champ appliqueé à l'acquisition du visage humain et à l'analyse de la peau.
L. Gevauxa, P. Séroulb, R. Clerca, A. Trémeaua, M. Héberta
a Univ Lyon, UJM - Saint-Etienne, CNRS, Institut d'Optique Graduate School, Laboratoire Hubert Curien UMR 5516, Saint-Etienne, France
b Univ Lyon, UJM - Saint-Etienne, Newtone Technologies, Lyon, France
16h20-16h40 - Imagerie optique quantitative, large champ et temps-réel dans le domaine fréquentiel spatio- temporel
E. Aguenounon, M. Schmidt, S. Gioux
Laboratoire ICube, Université de Strasbourg, CNRS, France

16h40 - 18h : Discussion et session poster

Résumés des contributions

Exposés invités
System Engineering and Co-design - the industrial perspective

H. Münz

Carl Zeiss AG, Oberkochen, Allemagne

The design and optimization of optical systems always requires a careful balance between analytic decomposition into subsystems and synthetic evaluation. Negotiating and adjusting the specifications which iteratively guide this process is classical system engineering work. In this framework, co-design can mean anything from selecting a good digital-optical concept to a fully-integrated co-optimization. The talk will highlight the trade-offs involved in implementing co-design on both technical and organizational level and address some open issues, illustrated with recent examples from our work at ZEISS.

A new elliptic equation for image processing

M. d'Autume, J.-M. Morel, E. Meinhardt-Llopis

CMLA, ENS Cachan, CNRS, Université Paris-Saclay, Cachan, France

The osmosis model is a parabolic equation reconstructing a composite image from an input generally given by the drift fields extracted from one or several images. This global model is sometimes a valid alternative to Poisson editing. It is particularly adapted to tasks where the input image's contrast vary wildly, as is the case for the application to shadow removal. In this paper we prove that the osmosis global parabolic equation can be advantageously be replaced by a stationary local elliptic equation. We state its existence and uniqueness result and give it a consistent numerical scheme. We stress three advantages of our numerical model: it yields fast local solvers applied on the regions of interest only. It gives a new flexibility for the boundary conditions, that can be mixed and therefore distinguish in the restoration cast shadows from shaded zones. Finally it maintains intact the target image outside its modified regions, which is not possible with the global model.

Blur kernel estimation from natural image statistics

J. Angera, G. Faccioloa, M. Delbraciob

a CMLA, ENS Paris-Saclay, France

b IIE, Universidad de la República, Uruguay

In this work, we present a detailed description of the blur kernel estimation algorithm introduced by Goldstein and Fattal in 2012. This method directly estimates the blur kernel by modeling statistical irregularities in the power spectrum of blurred natural images. The adopted mathematical model extends the well-known power-law by contemplating the presence of dominant strong edges in particular directions. The blur kernel is retrieved from an estimation of its power spectrum, by solving a phase retrieval problem using additional constraints associated with the particular nature of camera shake blur kernels (e.g. non-negativity and small spatial support).

Présentations orales

Introducing signal processing constraints in optical design softwares : Towards optical co-design

M.-A. Burcklena, H. Sauera, F. Diazb, F. Goudaila

a Laboratoire Charles Fabry, Institut d'Optique Graduate School, CNRS, Université Paris-Saclay, Palaiseau, France

b Thales LAS France, Saint-Héand, France

When designing an imaging system, it seems nowadays natural to jointly optimize the lens and the image processing algorithms. The joint design - or co-design - problem has been formulated in a rigorous signal processing framework that consists in defining the optimization criterion as the mean square difference between an ideally sharp image and the final processed image in the case of linear Wiener deconvolution [1, 2]. This rigorous image quality criterion has been used to optimize phase masks within optical systems [3, 4, 5], and has also been applied to design optical systems of two or three elements [2, 6]. For the latter designs, the use of optical software was necessary to benefit from their efficient ray-tracing routines and their ability to manage, during the optimization process, the numerous optical and mechanical constraints that an optical system must fulfill to be practically manufacturable.

In order to address the co-design of complex lenses with larger number of optical elements and/or more higher specifications in terms of aperture or imaging field, we think that the role of the skilled optical designer, who steers the iterative optimization, helped with powerful optical design software and many hints of experience, is essential. The familiar optimization environment and the low computation time provided by commercial optical design software needs then to be preserved.

Yet, the mean square-based rigorous image quality criterion is computationally intensive to evaluate, and is extremely difficult to implement in optical design software applications like Code V. Therefore, we define a surrogate criterion based on a merit function, which uses, in a non-standard way, physical quantities and parameters that are natively and efficiently computed by optical design software. This approach is first validated on the optimization of a phase mask for depth of field extension, and the obtained performance is shown to be equivalent to that obtained by optimizing the rigorous image quality criterion. The proposed method is then applied to the design of a very fast (f/0.75) complex lens. This co-designed lens is found to be superior to a classically designed lens in terms of lens weight and homogeneity of image quality in the field.

Since the surrogate criterion is easily implementable in optical design software applications and can exploit the efficiency of their optimization algorithms, the computation time can be dramatically reduced, and made comparable to that of classical design.

[1] Tejaswini Mirani, Marc P. Christensen, Scott C. Douglas, Dinesh Rajan, and Sally L. Wood. Optimal co-design of computational imaging system. In Proceedings. (ICASSP -05). IEEE International Conference on Acoustics, Speech, and Signal Processing, 2005., volume 2, pages 597-600, 2005.

[2] Dirk Robinson and David G. Stork. Joint design of lens systems and digital image processing. In International Optical Design, number WB4. Optical Society of America, 2006.

[3] Frédéric Diaz, François Goudail, Brigitte Loiseaux, and Jean-Pierre Huignard. Comparison of depth-of-focus-enhancing pupil masks based on a signal-to-noise-ratio criterion after deconvolution. J. Opt. Soc. Am. A, 27(10):2123-2131, 2010.

[4] M.-A. Burcklen, F. Diaz, F. Leprêtre, J. Rollin, A. Delboulbé, M.-S. L. Lee, B. Loiseaux, A. Koudoli, S. Denel, P. Millet, F. Duhem, F. Lemonnier, H. Sauer, and F. Goudail. Experimental demonstration of extended depth-of-field f/1.2 visible high definition camera with jointly optimized phase mask and real-time digital processing. Journal of the European Optical Society - Rapid publications, 10(0), 2015.

[5] Rafael Falcon, François Goudail, Caroline Kulcsàr, and Hervé Sauer. Performance limits of binary annular phase masks codesigned for depth-of-field extension. Optical Engineering, 56(6), 2017.

[6] Tom Vettenburg and Andrew R. Harvey. Holistic optical-digital hybrid-imaging design:wide-field reflective imaging. Appl. Opt., 52(17):3931-3936, 2013.

Simulations FDTD et génération d'images de synthèse pour la conception d'un capteur plénoptique 2x2 pixels

G. Chataigniera,b, J. Vaillanta, B. Vandameb

a Univ. Grenoble Alpes, CEA, LETI, DOPT, LIS, Grenoble, France

b Technicolor Research & Innovation, Rennes, France

Plusieurs capteurs dual-pixel sont actuellement disponibles (Canon [1], Samsung, Sony). Ceux-ci sont uniquement utilisés pour piloter l'autofocus en fournissant le signal de phase, mais il s'agit en fait du cas minimal de capture light-field (champ de lumière). Des travaux récents montrent qu'il est possible d'utiliser une telle capture pour générer des cartes de profondeur, retoucher la zone de netteté après la prise de vue ou corriger certaines aberrations de l'objectif principal [2],[3]. C'est dans ce cadre que nous nous intéressons à la co-conception de capteur quad-pixel (2x2 pixels sous une microlentille). Nous avons développé des simulations électromagnétiques [4] qui nous ont permis d'optimiser la hauteur et le rayon de courbure d'une microlentille. Il est nécessaire de maximiser la puissance reçue par une photodiode selon l'angle de la lumière incidente, mais aussi de minimiser la puissance reçue par les 3 autres afin d'assurer une meilleure discrétisation angulaire. Nous avons ensuite modifié un logiciel de rendu de scène (ray tracing), PBRT [5], pour tenir compte des réponses angulaires. Ces modifications ont été validées de deux manières différentes : 1/ en déplaçant un spot lumineux dans la scène ; 2/ en triant les rayons selon leur angle d'incidence. Les simulations de test avec PBRT produisent les mêmes réponses angulaires que notre logiciel de simulation FDTD. Nous pouvons maintenant générer des images de synthèses plus réalistes vis-à-vis du capteur. Cela permet d'étudier l'interaction entre le design du quad-pixel et les algorithmes de traitement d'image et ce suivant les applications citées. Par exemple nous avons pu corriger les aberrations géométriques de l'objectif principal sur nos images simulées.

Références

[1] Masahiro Kobayashi et al., "A Low Noise and High Sensitivity Image Sensor with Imaging and Phase-Difference Detection AF in All Pixels", 2016

[2] Neal Wadhwa et al., Synthetic depth-of-field with a single-camera mobile phone, 2018

[3] Ren Ng, "Digital Light Field Photography", PhD, 2006

[4] Flavien Hirigoyen et al., "FDTD-based optical simulations methodology for CMOS image sensor pixels

architecture and process optimization", Proc. SPIE 6816, 2008

[5] Physically Based Ray Tracing, https://www.pbrt.org/index.html

Apport du flou de défocalisation pour l'estimation de profondeur monoculaire par réseaux de neurones

M. Carvalhoa, B. Le Sauxa, P. Trouvé-Pelouxa, F. Champagnata, A. Almansa

b a ONERA, Palaiseau, France

b Université Paris-Descartes, Paris, France

L'estimation de la profondeur monoculaire à l'aide de réseaux de neurones profonds a atteint aujourd'hui d'excellentes performances. Cependant, il est difficile d'établir l'influence respective de l'architecture, de la fonction de coût et des conditions d'expérimentations sur ces résultats. Nous présentons une nouvelle architecture, appelée D3-Net, pour l'estimation de profondeur monoculaire. Cette architecture, simple à entraîner et ne reposant pas sur des modèles analytiques de la scène nous permet d'étudier l'influence de différentes fonctions de coûts (standards et proposées dans l'état de l'art) et différentes conditions expérimentales sur les performances d'estimation de profondeur.

Cette étude nous a amené à choisir une fonction de coût correspondant à la norme L1 , à laquelle on ajoute une fonction de coût adversaire lorsqu'un grand nombre de données est disponible. Notre méthode atteint alors les performances de l'état de l'art sur la base NYUv2. De plus les approches d'estimation de profondeur par apprentissage exploitent uniquement les structures géométriques des scènes et ne prennent pas en compte un indice depuis longtemps utilisé pour l'estimation de profondeur : le flou de défocalisation.

Nous présentons ici une analyse sur données simulées et réelles qui montre le gain en performance et en capacité de généralisation du réseau, lorsque la base contient des images avec du flou de défocalisation. Nous étudions également l'influence du flou dans la prédiction de profondeur en observant l'incertitude du modèle avec une approche de réseau de neurones bayésienne.

Image Fusion and Demosaicking: A Joint Approach

D. Picone, L. Condat, M. Dalla Mura

Université Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, Grenoble, France

In the context of data fusion, pansharpening refers to the combination of a panchromatic (PAN) and a multispectral (MS) image, aimed at generating an image that features both the high spatial resolution of the former and high spectral diversity of the latter [1]. With the availability of lower budget small satellites carrying high-quality optical cameras [2] on-board image compression has become an increasingly interesting field to compensate for limited on-board resources in terms of mass memory and downlink bandwidth. This demands for a strategy for compressed acquisition of multimodal sources; we present a strategy for a compressed acquisition with a matrix of custom sensors, which can be seen mathematically as a linear combination of two appropriately masked sources [3]. This approach is based on the color filter array (CFA) theory [4] and is specifically designed to be implemented with readily available optical devices. The value of each pixel in the spatial support of the synthetic image is taken from the corresponding sample either in the PAN or in a given band of the upsampled MS. This choice is deterministic and done according to a custom designed mask. The inversion algorithm is based on a variational approach and is meant to be performed on ground stations. In greater details, the proposed technique estimates the target sharpened image directly instead of decompressing the original sources beforehand, hence jointly dealing with the problem of image reconstruction (or demosaicing) of the compressed acquisition and fusion. Additionally, this framework automatically adapts to any choice of the mask, decoupling the problem of optimal choices for mosaicking and demosaicking. The analysis hence is reduced to check the effectiveness of different masks on the quality of a fused product, for which we propose some novel approach and compare with the ones proposed by the literature[5]. A comparison of the result versus the final products of standard pansharpening algorithms, which are instead obtained by taking both source images separately as inputs, allows to visually and numerically appreciate the tradeoff between the compression of the source data and the quality loss suffered on the sharpened image. Numerical simulations are run over different datasets acquired by the IKONOS, Worldview-3 and Geoeye-1 platforms.

Keywords: Image Fusion, Compressed Acquisitions, Inverse Problems, Mosaicing

REFERENCES

[1] Dalla Mura, M., Prasad, S., Pacifici, F., Gamba, P., Chanussot, J., and Benediktsson, J. A., Challenges and opportunities of multimodality and data fusion in remote sensing, Proceedings of the IEEE 103(9), 1585-1601 (2015).

[2] Yu, G., Vladimirova, T., and Sweeting, M. N., Image compression systems on board satellites, Acta Astronautica 64, 988-1005 (may 2009).

[3] Picone, D., Mura, M. D., and Condat, L., Pansharpening of images acquired with color filter arrays, in [Unconventional Optical Imaging], Fournier, C., Georges, M. P., and Popescu, G., eds., SPIE (may 2018).

[4] Condat, L., A generic variational approach for demosaicking from an arbitrary color filter array, in [2009 16th IEEE International Conference on Image Processing (ICIP) ], IEEE (nov 2009).

[5] Arce, G. R., Brady, D. J., Carin, L., Arguello, H., and Kittle, D. S., Compressive coded aperture spectral imaging: An introduction, IEEE Signal Processing Magazine 31, 105-115 (jan 2014).

Imagerie optique quantitative, large champ et temps-réel dans le domaine fréquentiel spatio- temporel

E. Aguenounon, M. Schmidt, S. Gioux

Laboratoire ICube, Strasbourg France

La capacité d'imager une scène sur un large champ (> 100 cm2), quantitativement et en temps réel (>25 images/sec) reste encore aujourd'hui un challenge difficile à relever. Pourtant, une telle méthode permettrait d'ouvrir de nouveaux champs d'application encore inexplorés tant pour la santé, que pour la sécurité ou encore l'agriculture.

Notre groupe a développé une méthode d'imagerie non conventionnelle permettant l'acquisition, le traitement et la visualisation en temps réel des propriétés optiques diffuses (absorption, scattering réduit) des milieux biologiques sur large champ pour des applications cliniques. La base de cette méthode consiste en la projection de structures de lumière dans le domaine fréquentiel spatial. L'analyse de la déformation de ces structures permet de déduire pour chaque pixel de l'image ses propriétés optiques dans le domaine fréquentiel. Cette méthode a été validée par l'acquisition et le traitement en temps réel d'un champ de vue de 15 x 15 cm2 à 50 images par seconde.

Notre groupe a récemment augmenté les capacités de cette méthode en ajoutant une nouvelle dimension temporelle à la dimension spatiale existante. Plusieurs sources, dont les intensités sont individuellement modulées à des fréquences temporelles spécifiques sont couplées dans une même fibre optique, utilisées pour projeter des structures spatiales modulées dans le temps et collectées à haute cadence (100-200 images/seconde). Une première analyse dans le domaine fréquentiel temporel permet de séparer les contributions des différentes sources qui sont elles-mêmes traitées dans le domaine fréquentiel spatial pour obtenir les propriétés physiques de la matière à plusieurs longueurs d'ondes à haute cadence (> 25 images/seconde).

Cette nouvelle méthode d'imagerie non-conventionnelle spatio-temporelle dans le domaine fréquentiel a été validée sur milieu biologique pour l'imagerie de la concentration en oxy-hémoglobine, désoxy-hémoglobine et la saturation en oxygène. L'objectif final de nos projets est de permettre aux chirurgiens de disposer de nouvelles informations pour guider de manière objective l'acte chirurgical.

1. Vervandier J, Gioux S. Single snapshot imaging of optical properties. Biomed Opt Exp 2013; 4(12): 2938-44.

2. van de Giessen M, Angelo JP, Vargas C, Gioux S. Real-time, profile-corrected single snapshot imaging of optical properties. Biomed Opt Exp 2015; 6(10): 4051-62.

3. Angelo JP, Vargas CR, Lee BT, Bigio IJ, Gioux S. Ultrafast optical property map generation using lookup tables. J Biomed Opt. 2016; 21(11): 110501.

Imagerie hyperspectrale grand champ appliqueé à l'acquisition du visage humain et à l'analyse de la peau.

L. Gevauxa, P. Séroulb, R. Clerca, A. Trémeaua, M. Héberta

a Univ Lyon, UJM - Saint-Etienne, CNRS, Institut d'Optique Graduate School, Laboratoire Hubert Curien UMR 5516, Saint-Etienne, France

b Univ Lyon, UJM - Saint-Etienne, Newtone Technologies, Lyon, France

La peau est un organe complexe, directement observable, et dont l'apparence peut apporter beaucoup d'informations sur la santé d'une personne. Ses propriétés optiques résultent de sa structure (multicouche, constituée de cellules, de fibres et de nombreuses glandes) et de sa composition en pigments (mélanine, hémoglobine et bilirubine par exemple). Les modèles optiques d'interaction de la lumière avec les milieux translucides nous permettent de retrouver ces propriétés à partir d'images hyperspectrales, qui révèlent ce qui est invisible à l'oeil, le tout avec une mesure in vivo, sans contact et rapide. Ainsi, mesurer la peau à l'aide une, caméra hyperspectrale peut permettre de nombreuses études, comme par exemple l'étude du vieillissement du collagène, d'inflammations, de mélanomes, de l'efficacité de traitements dermatologiques ou de produits cosmétiques.

L'acquisition hyperspectrale d'un visage humain appliquée à l'analyse de la peau présente de nombreux défis : vitesse d'acquisition, grand champ, bonne résolution spatiale, bonne résolution spectrale, problème inverse complexe, et éclairage homogène.

La caméra développée en partenariat avec l'entreprise Newtone Technologie, le SpectraFace 3D®, est composée de modules d'éclairage à LED, d'une caméra monochrome et d'un filtre accordable à cristaux liquide.L'utilisation du filtre accordable permet de réaliser un scan temporel des longueurs d'onde et d'avoir un champ de vision suffisant pour imager un visage entier. La caméra acquiert un « cube » hyperspectrale dans le domaine visible d'une résolution de 2048 x 2048 pixels x 31 longueurs d'onde, avec un temps d'acquisition de 2 secondes. Ceci est suffisamment court pour réaliser des acquisitions in vivo en minimisant le risque de mouvement de la personne, ce qui affecterait beaucoup la qualité de l'image. Les composants utilisés et la conception de la caméra et du logiciel de pilotage permettent de répondre aux problématiques de résolution, rapidité et champ de vision.

La question de l'éclairage homogène est particulièrement importante lorsque l'on souhaite mesurer une forme 3D complexe telle que le visage. En effet, même avec un système conçu pour éclairer de manière homogène, la réflectance spectrale mesurée dépend de l'éclairement de la surface, qui varie sur les différentes parties du visage : celui-ci est homogène sur le front, mais on retrouve des zones d'ombres sur les arêtes du nez et sur les bords du visage. Afin de corriger cela et de proposer une mesure de la réflectance spectrale

indépendamment de l'éclairage et de la forme 3D, plusieurs solutions ont été considérées. L'une d'elle est la mesure conjointe de l'information hyperspectrale et de la forme 3D de l'objet mesuré en intégrant un projecteur numérique dans le système : la connaissance de la géométrie 3D de l'objet et du système d'acquisition ainsi que l'utilisation de principes de radiométrie permet de compenser les dérives d'éclairement. Cependant, cette méthode repose sur une inversion directe très sensible au bruit. Dans la pratique, si elle peut convenir à des objets simples, elle n'est pas adaptée au visage humain. La solution retenue consiste à intégrer dans l'algorithme d'analyse de la peau une métrique qui est robuste aux dérives d'éclairement.

Finalement, l'analyse optique de la peau est basée sur une modélisation simple des interactions entre la lumière et un empilement de deux couches diffusantes et absorbantes selon la théorie à deux flux. La résolution du problème inverse permet d'estimer les concentrations des éléments absorbants de la peau comme la mélanine, l'oxygène, le sang ou la bilirubine.

Spatial and spectral calibration of a multispectral-augmented endoscopic prototype

O. Zentenoa, A. Krebsb, Y. Benezethb, S. Treuilleta, Y. Lucasa, F. Marzanib, D. Lamarquec

a PRISME EA 4229, Université d'Orléans, Orléans, France

b Le2i EA 7508, Université de Bourgogne Franche-Comté, allée Alain Savary, Dijon, France

c Hôpital Ambroise Paré, Unité d'Hépato-Gastroentérologie, Paris, France


Les travaux de recherches que nous présentons ici ont été réalisés dans le cadre de l'ANR EMMIE (Endoscopie MultiModale pour les lésions Inflammatoires de l'Estomac). Le projet consiste à développer une technologie multimodale innovante d'acquisition et de traitement d'images multispectrales pour une détection et une caractérisation précoce de l'inflammation de l'estomac. Le projet regroupe six partenaires dont les compétences se complètent : Les laboratoires de traitement d'images (Le2i, PRISME, CRAN), le partenaire hospitalier (hôpital Ambroise Paré) et les partenaires orientés biologie (Institut Pasteur et INSERM, UMR 1173).

Pour ce projet, nous avons développé un prototype qui nous permet d'enregistrer simultanémentdes vidéos endoscopiques RGB et des vidéos multispectrales. L'acquisition des vidéos multispectrales se fait via un fibroscope glissé dans le canal opérateur de l'endoscope et connecté à deux caméras multispectrales. Ces deux caméras couvrent respectivement le spectre visible et le proche infrarouge (470-975 nm) et donnent des informations spectrales sur 41 bandes. Ce prototype nécessite un calibrage spatial et spectral pour pouvoir recaler les deux flux d'images et obtenir des spectres de réflectance diffuse à partir des vidéos multispectrales.

D'un point de vue spectral, les caméras ne fournissent pas directement des spectres de réflectance. En effet, les caméras multispectrales doivent être calibrées pour tenir compte des caractéristiques des capteurs : l'efficacité quantique, la sensibilité ainsi que l'illumination extérieure. La transformation pour obtenir des spectres de réflectance est obtenue grâce à un modèle multi-linéaire dont les coefficients ont été appris à partir des patchs d'un ColorChecker®. Le même procédé de calibrage peut être utilisé pour simuler des images acquises sous lumière blanche ou sous NBI (Narrow Band Imaging) à partir d'images multispectrales.

D'un point de vue spatial, les images multispectrales sont d'abord prétraitées pour réduire le bruit et les artéfacts créés par le faisceau de fibres, augmenter le contraste et uniformiser l'éclairage. A l'aide de mires en damier, le calibrage géométrique permet ensuite d'obtenir le modèle intrinsèque des caméras et de corriger la distorsion radiale. Malheureusement, le fibroscope n'est pas fixe par rapport à l'endoscope. Des mouvements de rotation, translation et d'insertion apparaissent. Nous utilisons donc le fait que l'embout du fibroscope est visible dans l'image endoscopique pour estimer les paramètres des mouvements du fibroscope et ainsi trouver la transformation géométrique entre les deux modalités.

La bimodalité de ce système est prometteuse car elle allie la bonne résolution spatiale de l'endoscope avec la résolution spectrale des caméras multispectrales pour caractériser les lésions inflammatoires de l'estomac chez l'Homme.

Posters

Détection rapide de micro-organismes dans des images de fluorescence

I. Daurensana,b, J. Pierquinb, V. Mazeta

a Laboratoire ICube, Université de Strasbourg, CNRS, France.

b Redberry, Mutzig, France

Nous présentons dans cette communication un système original pour la détection de micro-organismes. Cette solution a l'avantage d'atteindre des performances supérieures aux techniques de microbiologie rapides (cytométrie de flux notamment), pour un coût sensiblement réduit, une réponse quasi-instantanée et une grande simplification de la préparation de l'échantillon.

Le système automatise l'ensemble du processus de contrôle : une fois l'échantillon déposé par l'utilisateur dans l'équipement, il est préparé pour l'analyse, les images sont acquises, et les micro-organismes sont détectés.

Les micro-organismes sont observés en fluorescence par l'ajout d'un marqueur de viabilité qu'ils assimilent. Grâce à une caméra associée à une optique télécentrique, des images de haute résolution sont acquises. La taille des micro-organismes étant de l'ordre du pixel, un traitement de l'image est indispensable.

L'algorithme de traitement d'image doit respecter plusieurs contraintes : la détection doit être rapide (inférieure à 5 minutes) sur de grandes images (120 Mpx) avec un très haut niveau de fiabilité. La détection et le comptage des micro-organismes s'effectuent en 3 étapes, à savoir :

- la détection de tous les objets lumineux présents sur l'image par seuillage adaptatif ;

- le suivi des objets sur les différentes images ;

- la classification des objets en 2 classes : « micro-organismes » et « particules inertes ».

La classification est clé pour obtenir un comptage précis. Le principal critère de classification est basé sur la « cinétique de marquage ». En effet, le système libère le marqueur de façon contrôlée ce qui permet d'estimer la vitesse à laquelle les micro-organismes assimilent le marqueur grâce au profil d'intensité au cours du temps.

Le système et l'algorithme sont conçus conjointement : l'optimisation du processus de contrôle est guidée par la qualité des images et des résultats de la détection, de même l'algorithme est adapté aux images acquises. C'est ainsi qu'un certain nombre de paramètres du système sont réglés de sorte à obtenir les images pour lesquelles l'algorithme est optimal.

Filtres acousto-optique pour l'imagerie hyperspectrale et spectro-polarimétrique

S. Dupont, J. Champagne, J.-C. Kastelik, J. Gazalet
Université Valenciennes, CNRS, Université Lille, YNCREA, Centrale Lille, UMR 8520 - IEMN, DOAE, Valenciennes, France

L'utilisation des filtres acousto-optiques (AOTF) pour lanalyse spectrale et l'analyse de la polarisation est répandue dans de nombreux domaines scientifiques utilisant des laser. Nous présentons les caractéristiques principales de ces filtres et leur possible utilisation dans le domaine de l'imagerie. En particulier, la possibilité de développer un filtre pour l'analyse hyperspectrale à distinction de polarisation. La conception d'un tel dispositif exploite un point de fonctionnement spécifique de diffraction des ondes optiques par les ondes acoustiques, normalement sensible à la longueur d'onde et à l'angle d'incidence. Cependant nous présentons une stratégie de désaccord en fréquence qui permet de se débarrasser de la dépendance angulaire, de ce fait permettant une mise en oeuvre expérimentale simple et présentant la même efficacité de diffraction pour les deux polarisations sur une large bande de longueurs d'onde. Nous présentons la dépendance de la fréquence de fonctionnement en fonction de la longueur d'onde obtenue. Un tel dispositif permettra à l'avenir, de disposer d'un imageur hyperspectral de grande bande passante, pilotable électroniquement et analysant simultanément la polarisation. Ce dispositif pourrait être piloté par un algorithme dédié.



Date : 2018-11-09

Lieu : Télécom-ParisTech Amphi B312


Thèmes scientifiques :
B - Image et Vision

Inscriptions closes à cette réunion.

Accéder au compte-rendu de cette réunion.

(c) GdR IASIS - CNRS - 2024.