Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
37 personnes membres du GdR ISIS, et 15 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 130 personnes.
La conception de systèmes d'acquisition d'images a connu un renouveau grâce aux approches "co-conçues" pour lesquelles le dispositif d'imagerie, de détection ou de mesure est étroitement associé aux algorithmes employés pour traiter les données.
Dans de nombreux domaines, tels que la photographie numérique, la microscopie, la télédétection, l'astronomie ou l'imagerie radar, de nouveaux dispositifs d'acquisition sont développés pour dépasser les performances des systèmes traditionnels, en termes de "qualité image", d'encombrement, de poids, de consommation d'énergie ou pour ajouter de nouvelles fonctionnalités aux caméras et instruments d'acquisition d'images et de vidéos. La conception de ces nouveaux instruments repose souvent sur une approche pluridisciplinaire pour modéliser et optimiser simultanément les paramètres de l'instrument et les traitements numériques en tenant compte des contraintes de l'application visée. La conception conjointe conduit à développer de nouveaux instruments dits "non conventionnels" ou "hybrides", pour lesquels l'instrument et les traitements sont indissociables.
Cette journée est ouverte à plusieurs thématiques, qui comprennent entre autres la liste suivante :
L'objectif de cette rencontre est de favoriser les échanges entre tous les acteurs (industriels, académiques) de toutes les disciplines intéressées par ces nouvelles approches au travers :
Merci de nous faire parvenir vos propositions (max. 1 page par résumé) en spécifiant le format de présentation préféré (oral, poster, démo) par courriel, au plus tard le
15 septembre 2019
aux coordonnées suivantes :
Cette journée est organisée avec le soutien des GdR ISIS, MIA, Ondes, de l'ONERA, de Télécom-Paris, de l'Institut d'Optique Graduate School et de l'Université Paris Descartes.
Les GDR ISIS et MIA ont la possibilité de financer les missions relatives à ces journées selon les modalités propres à chaque GDR. Les membres du GDR ISIS sont invités à suivre la procédure donnée sur le site. Pour les membres du GDR MIA, si vous souhaitez bénéficier d'une aide financière pour votre mission nous vous prions de nous faire parvenir une demande motivée, avec une lettre de soutien de votre encadrant si vous êtes un étudiant, avant le
15 septembre 2019
Adresse : Telecom-Paris, 46 Rue Barrault, 75013 Paris - Amphi B312
Durée des exposés : 15 minutes + 5 minutes de questions
9h - 9h30 : Accueil et Introduction
9h30 - 10h30 : Approche co-conception instrument / traitement
9h30 - 9h50 : Estimation fiable de la pose d'un objet planaire à partir d'une sélection de paire d'images provenant d'une acquisition plénoptique
N. Crombez, G. Caron, T. Funatomi and Y. Mukaigawa
Laboratoire Connaissance et Intelligence Artificielle Distribuées, CIAD EA 7533, Belfort, France
9h50 - 10h10 : Complétion statistique et reconstruction d'images mono-pixel par réseaux de neurones
A. Lorente Mur, F. Peyrin, N. Ducros
Univ Lyon, INSA-Lyon, UCB Lyon 1, CNRS, Inserm, CREATIS UMR 5220, U1206, Villeurbanne, France
10h10 - 10h30 : Validation expérimentale de masques de phase binaires co-optimisés pour l'augmentation de la profondeur de champ
A. Fontbonne, H. Sauer, C. Kulcsár, A.-L. Coutrot, F. Goudail
Laboratoire Charles Fabry, CNRS, Institut d'Optique Graduate School, France
10h30 - 10h45 : Pause
10h45 - 12h20 : Imagerie satellitaire
10h45 - 11h30 : Exposé invité : Retour d'expérience de la mission spatiale SMOS au service de la co-conception de la future mission SMOShr
E. Anterrieua, N.J. Rodriguez-Fernandeza, F. Cabota, P. Richaumea, A. Khazaala, Y.H. Kerra, J.-M. Morelb, B. Rougéb, M. Colomb, J. Costeratec, B. Palacinc, R. Rodriguez-Suquetc, T. Tournierd, T. Decoopmand, R. Caujolled, N. Jeannind, L. Costesd, F. Payotd
aCESBIO, Toulouse, France
bCMLA, Cachan, France
cCNES, Toulouse, France
dAirbus Defence & Space, Toulouse, France
11h30 - 12h00 : Analyse de quelques configurations pour un satellite interférométrique d'observation de la terre
M. Coloma, J.-M. Morela, Eric Antérrieuxb, François Cabotb,c, Max Dunitza, Ali Khazâalb, Yann Kerrb,c, Hugo Marsana, Clément Monniera, Nemesio Rodríguezb, Bernard Rougéb
aCMLA, Cachan, France
bCESBIO, Toulouse, France
cCNES, Toulouse, France
12h00 - 12h20 : Etudes de nouvelles architectures de spectro-imageurs compacts pour les sciences de l'atmosphère
N. Carioua,b, F. de la Barrièrea, Y. Ferreca, N. Guerineaua
aONERA, Palaiseau, France
bCNES, Toulouse, France
12h20 - 14h30 : Pause Déjeuner
14h30 - 15h50 : Microscopie
14h30 - 14h50 : RIM: Illumination speckle pour la microscopie de fluorescence super-résolue
J. Idiera, S. Labouesseb, A. Sentenacb, M. Allainb, A. Negashb, T. Mangeatc, S. Bourguignona, P. Liua
aLS2N, Nantes, France
bInstitut Fresnel, Marseille, France
cCBI, Toulouse, France
14h50 - 15h10 : Study on tensor and matrix models for super-resolution fluorescence microscopy
H. Goularta, L. Blanc-Férauda, E. Debreuvea, S. Schaubb
aUniversité Côte d'Azur, CNRS, Laboratoire I3S, Sophia Antipolis, France
bUniversité Côte d'Azur, CNRS, Institut de biologie Valrose, Nice, France
15h10 - 15h30 : Optimisation de masques de phase binaires pour l'augmentation de la profondeur de champ en imagerie de la molécule unique
O. Lévêque, C. Kulcsár, F. Goudail
Laboratoire Charles Fabry, CNRS, Institut d'Optique Graduate School, France
15h30 - 15h50 : Optimisation de la stratégie d'acquisition pour l'estimation de la localisation et de l'épaisseur de tissus épithéliaux en microscopie confocale de fluorescence
M.-A. Burcklen, F. Galland, L. Le Goff
Aix Marseille Univ, CNRS, Centrale Marseille, Institut Fresnel, Marseille, France
15h50 - 16h10 : Pause
16h10 - 17h30 : Modalités innovantes pour l'imagerie biomédicale
16h10 - 16h30 : La microscopie ptychographique de Fourier est-elle complémentaire à la microscopie de Mueller ?
A. Bozhok
Université de Strasbourg, Laboratoire ICube, Illkirch, France
16h30 - 16h50 : Imagerie laser Doppler computationnelle de la rétine
M. Atlan
Institut Langevin, UMR 7587 & Institut de la Vision, CIC 1423, Paris, France
16h50 - 17h10 : Imagerie quantitative temps-réel et multispectral dans le domaine fréquentiel spatio-temporel
E. Aguénounon, S. Ségaud, L. Baratelli, M. Torregrossa, F. Dadouche, J. Angelo, W. Uhring, S. Gioux
Université de Strasbourg, Laboratoire ICube, Illkirch, France
17h10 - 17h30 : Approche « problèmes inverses » régularisée en tomographie à rayon X pour une géométrie inverse multi-source optimisée
F. Joliveta, C. Fourniera, M. Garcina, L. Zdeborovab, A. Brambillaa
aCEA, LETI, Univ. Grenoble Alpes, MINATEC Campus, Grenoble, France
bInstitut de physique théorique, Université Paris Saclay, CNRS, CEA, Gif-sur-Yvette, France
Approche co-conception instrument / traitement
Estimation fiable de la pose d'un objet planaire à partir d'une sélection de paire d'images provenant d'une acquisition plénoptique
N. Crombez, G. Caron, T. Funatomi and Y. Mukaigawa
Laboratoire Connaissance et Intelligence Artificielle Distribuées, CIAD EA 7533, Belfort, France
Dans ces travaux, nous nous intéressons à l'estimation de la pose d'un objet planaire à partir d'une acquisition plénoptique (ou light field). Une caméra plénoptique permet d'acquérir des informations plus riches d'une scène qu'une caméra classique. En effet, à la différence d'une caméra classique, une caméra plénoptique capture un champ de rayons lumineux provenant d'une scène 3D. Un système d'acquisition plénoptique peut être obtenu en plaçant une matrice de microlentilles devant le capteur d'une caméra (ex. Lytro ou Raytrix). Cette architecture particulière offre des possibilités d'exploitation très intéressantes pour la vision pour la robotique notamment en terme d'estimation du mouvement.
Une caméra plénoptique peut être considérée comme une grille de caméras classiques avec un léger parallaxe entre chacune d'entre elles. L'information obtenue par une caméra plénoptique est donc intrinsèquement équivalente à un ensemble d'images capturées à partir de différents points de vue. Afin d'estimer la pose d'un plan capturé, n'importe
quelle combinaison de ces images peut théoriquement être utilisée. Cependant la précision de l'estimation dépend de cette combinaison. Nous montrons que l'erreur d'estimation de la pose de l'objet planaire peut être réduite en sélectionnant la meilleure paire de caméras de la grille. Dans cette optique, nous apportons plusieurs contributions :
- L'expression de l'homographie reliant les rayons lumineux d'une même image plénoptique
- L'exploitation de cette homographie pour estimer les paramètres d'un plan capturé
- La proposition d'une méthode pour sélectionner la meilleure paire d'images de la grille pour l'estimation du plan
- L'exploitation des meilleures paires d'images provenant de deux images plénoptiques afin d'estimer le déplacement de l'objet planaire entre ces deux acquisitions
En combinant ces contributions, nous obtenons une estimation fiable du déplacement d'un objet planaire capturé dans un séquence d'images plénoptiques. Pour mener nos expérimentations, nous avons réalisé plusieurs acquisitions de séquence d'images plénoptiques en fixant l'objet planaire sur l'organe effecteur d'un manipulateur industriel afin d'être en mesure de connaître la vérité terrain sur la pose et le déplacement de ce dernier par rapport à la caméra.
Publication de ces travaux : N. Crombez, G. Caron, T. Funatomi and Y. Mukaigawa, "Reliable Planar Object Pose Estimation in Light Fields From Best Subaperture Camera Pairs," in IEEE Robotics and Automation Letters, vol. 3, no. 4, pp. 3561-3568, Oct. 2018.
Complétion statistique et reconstruction d'images mono-pixel par réseaux de neurones
A. Lorente Mur, F. Peyrin, N. Ducros
Univ Lyon, INSA-Lyon, UCB Lyon 1, CNRS, Inserm, CREATIS UMR 5220, U1206, Villeurbanne, France
L'imagerie optique conventionnelle repose sur des matrices de détecteurs afin d'obtenir des images à haute résolution spatiale. Mais certains capteurs sophistiqués (hyperspectraux, résolus en temps) ne peuvent utiliser des matrices de détecteurs car l'assemblage de telles matrices est coûteux voire impossible. C'est dans ce genre de modalités d'imagerie que l'imagerie mono-pixel (qui ne nécessite qu'un capteur ponctuel) peut représenter une alternative séduisante [1]. L'imagerie mono-pixel mesure de façon expérimentale le produit scalaire entre la scène et des motifs de modulation choisis par l'expérimentateur. L'image de la scène est ensuite reconstruite par des algorithmes dédiés. On peut choisir les motifs de modulation comme étant les fonctions de base d'une transformée (de Hadamard) pour bénéficier d'algorithmes de reconstruction rapides. Récemment, les méthodes de reconstruction d'images par réseaux de neurones ont émergé dans le cadre de la résolution de problèmes inverses [2]. De telles méthodes ont été employées dans des taches de superrésolution, inpainting, compressed sensing et, plus récemment, dans le cadre de l'imagerie mono-pixel [3].
On propose ici un schéma de complétion statistique des mesures manquantes reposant sur l'exploitation d'une base de donnée d'images. Ce schéma est compatible avec des approches de reconstruction par réseaux de neurones, ce qui offre un cadre d'interprétation de certains aspects des méthodes par réseaux de neurones.
[1] M. Duarte, M. Davenport, D. Takhar, J. Laska, T. Sun, K. Kelly, and R. Baraniuk, Single-pixel imaging via compressive sampling, Signal Processing Magazine, IEEE, vol. 25, pp. 83-91, March 2008.
[2] I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning. MIT Press, 2016.http://www.deeplearningbook.org.
[3] C. Higham, R. Murray-Smith, M. Padgett, and M. Edgar, Deep learning for real-time single-pixel video, Scien-
tific Reports., Feb 2018.
Validation expérimentale de masques de phase binaires co-optimisés pour l'augmentation de la profondeur de champ
A. Fontbonne, H. Sauer, C. Kulcsár, A.-L. Coutrot, F. Goudail
Laboratoire Charles Fabry, CNRS, Institut d'Optique Graduate School, France
Il est possible d'augmenter la profondeur de champ d'un système optique à l'aide d'un masque de phase placé dans son diaphragme d'ouverture. Déconvoluer l'image obtenue avec ce système optique permet d'obtenir un système hybride performant doté d'une grande profondeur de champ sans avoir besoin de réduire l'ouverture (1). Parmi les différents types de masques existant, les masques binaires ont l'avantage d'être plus facile à réaliser que des masques qui n'ont pas la symétrie de révolution, comme les masques cubiques. Ils ont été utilisés en pratique et ont montré de bonnes performances dans des applications spécifiques en imagerie visible est infrarouge.
Une étude systématique de leur performance théorique et de leur robustesse aux aberrations a été réalisée par notre équipe (2). Nous y avons abordé la question fondamentale de la profondeur de champ maximum atteignable et du nombre d'anneaux nécessaire à l'obtention d'un certain niveau de performance. Cependant, plusieurs questions restent ouvertes quant à leur utilisation réelle : comment les masques optimisés se comportent-ils en pratique, alors même que la scène observée peut ne pas correspondre au modèle générique de scène utilisé pendant l'optimisation ? Les masques atteignent-il vraiment la profondeur de champ souhaitée ? Sont-ils robustes aux aberrations ?
Nous répondons à ces questions par le biais d'une étude expérimentale systématique de plusieurs masques correspondant à des profondeurs de champ différentes. Cette étude comporte la mesure des fonctions de transfert de modulation du système, l'observation d'une mire de profondeur de champ et une validation sur des scènes réelles.
1. New paradigm for imaging systems. Cathey, W. Thomas et Dowski, Edward R. s.l. : Optical Society of
America, 2002, Applied optics, Vol. 41, pp. 6080-6092.
2. Performance limits of binary annular phase masks codesigned for depth-of-field extension. Falcón, Rafael,
et al. 2017, Optical Engineering, Vol. 56, p. 065104. ISBN: 0091-3286.
Imagerie satellitaire
Exposé invité : Retour d'expérience de la mission spatiale SMOS au service de la co-conception de la future mission SMOShr
E. Anterrieua, N.J. Rodriguez-Fernandeza, F. Cabota, P. Richaumea, A. Khazaala, Y.H. Kerra, J.-M. Morelb, B. Rougéb, M. Colomb, J. Costeratec, B. Palacinc, R. Rodriguez-Suquetc, T. Tournierd, T. Decoopmand, R. Caujolled, N. Jeannind, L. Costesd, F. Payotd
aCESBIO, Toulouse, France
bCMLA, Cachan, France
cCNES, Toulouse, France
dAirbus Defence & Space, Toulouse, France
La mission SMOS (Soil Moisture & Ocean Salinity) de l?ESA et du CNES lancée le 2 Novembre 2009 est opérationnelle depuis bientôt 10 ans. Elle fourni des mesures de l?humidité des sols et de la salinité des océans à l?échelle globale
avec une résolution de l?ordre de 40 Km et un temps de revisite maximum de 3 jours. Le principe observationnelle de SMOS reprend celui de la synthèse d?ouverture utilisé depuis des décennies par les radio-astronomes en interféro-
métrie passive. Un radiomètre traditionnel, dit à puissance totale, donne une image de la température de brillance
du champ observé en pointant à l?intérieur de celui-ci une antenne hautement directive et en mesurant dans chaque direction la puissance du signal collecté. Malheureusement, un tel principe se heurte à des contraintes expérimentales et technologiques qui excluent d?obtenir des images à très haute-résolution angulaire depuis l?espace.
Par ailleurs, les interféromètres opérant dans le domaine des micro-ondes sont très largement utilisés en radio-astronomie pour synthétiser des ouvertures larges à partir d?un grand nombre d?éléments pupillaires. Cela a conduit naturellement à une adaptation de cette technologie à l?observation de la Terre et les radiomètres à synthèse d?ouverture sont maintenant devenus les enjeux des programmes internationaux d?observation de la Terre depuis l?espace dans la bande protégée 1400-1427 MHz de la bande L.Le radiomètre à synthèse d?ouverture de SMOS est constitué de 69 antennes équi distantes situées sur les bras d?un réseau en Y, inspiré des géométries du VLA (Very Large Array) et du CBI (Cosmic Background Imager), et de 2346 corrélateurs complexes chargés de fournir les données interféromé- triques de la scène observée dans la bande L autour de la fréquence 1413,5 MHz (longueur d?onde 21,2 cm). Ces données, appelées visibilités complexes, sont obtenues en corrélant les signaux collectés par les antennes. Ces visibilités complexes sont inversées dans un processus numérique de reconstruction régularisée (au sens de Hadamard) pour obtenir des cartes de température de
brillance de la scène observée où chaque élément du champ synthétisé est vu sous différents angles d?incidence. Ces informations multi-angulaires sont ensuite à leur tour inversées pour obtenir des mesures (indirectes) de l?humidité des sols (sur les terres émergées) et de la salinité des océans.
Après 10 ans de bons et loyaux services, SMOS est toujours opérationnel et dans des conditions de fonctionnement et de performances nominales. Les résultats remarquables obtenus tout au long de la mission invitent naturellement la communauté scientifique internationale à songer au successeurs de SMOS et à engager dès à présent les études nécessaires pour assurer une continuité des observations. C?est précisément l?objet des travaux conduits depuis plusieurs mois au CESBIO et au
CNES en collaboration avec le monde industriel et le secteur académique. Afin de tirer les leçons de cette première expérience conduite avec SMOS dans un cadre exploratoire (Earth Explorer Missions du programme Living Planet de l?ESA), la notion de co-conception a été étendue par rapport ce qu?elle était au moment de la conception de SMOS dans les années 90 pour parvenir à une mission SMOShr aux objectifs ambitieux: améliorer la résolution spatiale à 10 Km sans dégrader la sensibilité radiométrique, ni le temps de revisite. Ainsi, pour la première fois, le modèle numérique d?instrument utilisé pour inverser les visibilités complexes a été couplé aux algorithmes d?inversion des températures de brillance pour valider les choix de paramètres instrumentaux au niveau des produits finaux « humidité des sols » et « salinité des océans », suivant ainsi à la lettre la notion de « co-conception » utilisée lors du développement d?un produit ou d?un service. L?objet de cette communication est de présenter quelques résultats des études préliminaires conduites dans ce contexte. Le choix du réseau interférométrique (plusieurs géométries ont été étudiées), du nombre d?antennes, de leur espacement et de leur diagramme de rayonnement sera au coeur de la présentation. Sur le plan des méthodes, nous montrerons leur influence sur la stabilité des algorithmes de reconstruction mis en ?uvre dans la chaîne de traitement. Du point de vue des performances de l?instrument, nous montrerons notamment leur impact sur la résolution spatiale, la sensibilité radiométrique et le temps de revisite. Nous terminerons par les résultats des compromis et sur les candidats actuellement retenus pour poursuivre ces études.
Analyse de quelques configurations pour un satellite interférométrique d'observation de la terre
M. Coloma, J.-M. Morela, Eric Antérrieuxb, François Cabotb,c, Max Dunitza, Ali Khazâalb, Yann Kerrb,c, Hugo Marsana, Clément Monniera, Nemesio Rodríguezb, Bernard Rougéb
aCMLA, Cachan, France
bCESBIO, Toulouse, France
cCNES, Toulouse, France
Dans le cadre d'une recherche commanditée par le CESBIO et le CNES, nous avons exploré des configurations alternatives pour des satelittes interférométriques du type SMOS. Ce satellite interférométrique innovant, toujours en activité, contribue à la reconstruction d'une carte de l'humidité des sols grâce à l'établissement en chaque point du sol d'une "température de brillance" en bande L. Ce satellite et ses potentiels successeurs ont l'inconvénient d'être sous-échantillonnés dans l'espace de Fourier. Il en résulte un repliement spatial de l'image, qui perd à peu près la moitié de sa surface. Nous avons exploré deux configurations géométriques pour les antennes permettant d'éviter ce repliement. Dans une première configuration nous perturbons la position des antennes sur un cadre carré les supportant. Cette configuration "irrégulière" a l'avantage d'éviter toute redondance des fréquences observées, mais l'inconvénient est que les fréquences manquantes, disposées assez aléatoirement, provoquent un repliement résiduel que les radio-astronomes appellent "dirty image". L'avantage est que l'image est quand même dépliée, on reconstruit tout le champ. L'inconvénient est que le SNR est dégradé d'un rapport 1,5 environ. Mais grâce au dépliement, le satellite a une fauchée supérieure, ce qui peut avoir son intérêt.
Bernard Rougé a par ailleurs aussi proposé une configuration des antennes où l'image est complètement dépliée dans la direction orthogonale à la trace et complètement repliée dans la direction de la trace, une configuration nommée "double sampling". Nous présenterons un formalisme mathématique et de premières expériences indiquant que le dépliement complet de l'image est possible en fusionnant toutes les images (qui sont en fort recouvrement) le long de la trajectoire du satellite. Nous étudierons l'augmentation de SNR qui peut être ainsi obtenue.
Etudes de nouvelles architectures de spectro-imageurs compacts pour les sciences de l'atmosphère
N. Carioua,b, F. de la Barrièrea, Y. Ferreca, N. Guerineaua
aONERA, Palaiseau, France
bCNES, Toulouse, France
Actuellement, les problématiques environnementales sont au coeur de nos sociétés. Depuis le sol ou l'espace, on aimerait quantifier précisément les gaz à effet de serre liés à l'activité humaine [1]. Des petits satellites sont envisagés, ils permettraient de complémenter les satellites déjà en fonctionnement. Pour les équiper, il est nécessaire de développer des instruments optiques compacts et performants. Pour répondre à cette problématique, l'ONERA, fort de son expertise sur l'intégration de systèmes au voisinage du détecteur [2-4], a imaginé un spectro-imageur très compact à transformée de Fourier, appelé ImSpoc et représenté sur la figure ci-dessous.
Ce spectro-imageur breveté [5] est composé d'une lame interférométrique en marches d'escalier et d'une matrice de microlentilles, de sorte que devant chaque microlentille se trouve un Fabry-Pérot avec une épaisseur différente. On a donc une différence de marche associée à chaque microlentille. On obtient plusieurs images de la même scène en une seule acquisition (caractère « snapshot »).
L'afocal de tête permet d'adapter le champ en entrée de l'instrument à l'angle d'acceptance des microlentilles. Une analyse système montre, que l'on peut dégrader la qualité générale de l'afocal tout en conservant des performances optimales pour le système global. Des étapes de traitement peuvent également être simplifiées en concevant spécifiquement l'afocal, par exemple pour limiter les problèmes engendrés par le chromatisme.
Dans cet article, nous présentons une étude système qui nous a permis de proposer une méthode permettant de concevoir des afocaux adaptés aux besoins de notre instrument. Cette méthode permet de réduire leur coût, le nombre d'éléments optiques qui les composent et leur complexité de fabrication tout en conservant de hautes performances et en simplifiant le traitement des données.
References
[1] Y.Ferrec et al, NanoCarb part 1: Compact snapshot imaging interferometer for CO2 monitoring from space, Proc. ICSO (2018).
[2] S. Rommeluère, et al., "Infrared focal plane array with a built-in stationary Fourier-transform spec-trometer: basic concepts", Opt. Lett. 33, pp 1062-1064 (2008).
[3] F. Gillard, et al., "Angular acceptance analysis of an infrared focal plane array with a built-in stationary Fourier-transform spectrometer", JOSA A 29, 936-944 (2012).
[4] N. Guérineau et al., "Dewar-cooler-integrated MWIR spectrometer for high rates and high-dynamic range measurements", Proc. SPIE 9482 (2015).
[5] N. Guérineau, E.Le Coarer, Y.Ferrec, F.De La Barrière, « Fourier transform multi-channel spectral imager », patent n° FR2017/051777, 6/30/2017
Microscopie
RIM: Illumination speckle pour la microscopie de fluorescence super-résolue
J. Idiera, S. Labouesseb, A. Sentenacb, M. Allainb, A. Negashb, T. Mangeatc, S. Bourguignona, P. Liua
aLS2N, Nantes, France
bInstitut Fresnel, Marseille, France
cCBI, Toulouse, France
Depuis les années 2000, la microscopie SIM fournit une modalité d'imagerie de fluorescence rapide avec une capacité théorique de super-résolution (SR) approchant un facteur 2 (en axial et en latéral). Le principe est d'éclairer successivement l'objet par des grilles de lumière harmoniques parfaitement contrôlées et de combiner linéairement les images obtenues. Cependant, cette technique est très sensible aux distorsions d'éclairement, ce qui limite fortement l'imagerie d'objets épais ou denses. Plus récemment, une évolution de SIM a été proposée, remplaçant les illuminations connues par des illuminations speckles dont seule la statistique est contrôlée [Mudry 2012, Oh 2013, Labouesse 2017]. La robustesse de cette statistique vis-à-vis de la diffusion de la lumière dans l'épaisseur des objets justifie cette nouvelle démarche, ce que confirme d'excellents résultats obtenus empiriquement au Centre de Biologie Intégrative de Toulouse [Mangeat 2018].
Au-delà de ces résultats pratiques, l'objectif de la présentation est d'abord d'examiner la capacité théorique de SR permise par cette démarche intrinsèquement statistique, puis de discuter des possibilités algorithmiques pour calculer effectivement des images super-résolues pour un coût numérique acceptable.
- Un premier résultat mathématique montre que l'exploitation de la corrélation spatiale des images fournit une capacité théorique de SR pouvant approcher un facteur 2 [Idier 2018]. Cependant, exploiter la corrélation spatiale complète n'est pas réaliste du point de vue calculatoire.
- Un nouveau résultat mathématique montre que l'exploitation de la variance suffit pour approcher le même niveau de SR. Ce résultat ouvre la voie à la mise en oeuvre d'algorithmes en O(N^2 log N) opérations par itération pour reconstruire N pixels, voire O(N log N) en approchant un opérateur par sa version de rang réduit.
[Mudry 2012] E. Mudry, K. Belkebir, J. Girard, J. Savatier, E. Le Moal, C. Nicoletti, M. Allain, A. Sentenac. Structured illumination microscopy using unknown speckle patterns. Nature Photonics, 6 (5): 312-315, 2012.
[Oh 2013] J.-E. Oh, Y.-W. Cho, G. Scarcelli, Y.-H. Kim. Sub-Rayleigh imaging via speckle illumination. Opt. Lett., 38 (5): 682-684, mars 2013.
[Labouesse 2017] S. Labouesse, A. Negash, J. Idier, S. Bourguignon, T. Mangeat, P. Liu, A. Sentenac, M. Allain. Joint reconstruction strategy for structured illumination microscopy with unknown illuminations. IEEE Trans. Image Proc., 26(5):1-14, mai 2017.
[Mangeat 2018] T. Mangeat, J. Idier. A versatile 3D superresolution speckle imaging for a wide range of biological applications : from bacteria to tissue. Mifobio workshop, Seignosse, sept. 2018
[Idier 2018] J. Idier, S. Labouesse, P. Liu, M. Allain, S. Bourguignon, A. Sentenac. On the super-resolution capacity of imagers using unknown speckle illuminations. IEEE Trans. Comput. Imag., 4 (1): 87-98, mars 2018.
Study on tensor and matrix models for super-resolution fluorescence microscopy
H. Goularta, L. Blanc-Férauda, E. Debreuvea, S. Schaubb
aUniversité Côte d'Azur, CNRS, Laboratoire I3S, Sophia Antipolis, France
bUniversité Côte d'Azur, CNRS, Institut de biologie Valrose, Nice, France
Super-resolution techniques for fluorescence microscopy are invaluable tools for studying phenomena that take place at sub-cellular scales, thanks to their capability of overcoming light diffraction. Yet, achieving sufficient temporal resolution for imaging live-cell processes remains a challenging problem. In this context, carefully designing the acquisition procedure is of vital importance for guaranteeing that the data satisfies the constraints which are subsequently exploited by the super-resolution algorithm. In particular, by exploiting the independent temporal fluctuations (blinking) of fluorophores, one can reconstruct super-resolved images from short-duration acquisitions employing standard equipment and harmless excitation levels.
In this work, we discuss three sparse model estimation techniques that follow this principle for estimating the spatial distribution of fluorophores and their overall intensities. The first one is based on a sparse tensor model which arises when one considers a separable point-spread function, in addition to the temporal diversity. The second technique relies on a matrix-based formulation which promotes structured sparsity via a continuous approximation of the cardinality function. Finally, we consider also a recently introduced sparse model that is formulated in the correlation domain, which allows explicitly constraining the fluorophores to have uncorrelated blinking patterns.
The studied techniques are compared with other state-of-the-art methods.
Optimisation de masques de phase binaires pour l'augmentation de la profondeur de champ en imagerie de la molécule unique
O. Lévêque, C. Kulcsár, F. Goudail
Laboratoire Charles Fabry, CNRS, Institut d'Optique Graduate School, France
La démarche de co-conception consiste à concevoir un système d'imagerie en prenant en compte à la fois le modèle de formation de l'image, les propriétés de l'optique et les algorithmes de traitement permettant d'en extraire l'information utile [1]. Cette méthodologie est utilisée en imagerie pour la biologie avec la microscopie de la molécule unique. Cette technique d'imagerie permet d'estimer de manière très précise la position d'une particule fluorescente isolée dans le champ de la caméra au-delà de la limite de diffraction. En utilisant ce principe, on peut ainsi reconstruire des images dites de super-résolution, présentant des résolutions nanométriques, bien au-delà de la limite de diffraction [2].
Aujourd'hui, avec ce mode d'imagerie, on cherche à imager des milieux de plus en plus épais et de moins en moins transparents. Dans ce contexte, nous proposons une approche cherchant à rendre l'imagerie de molécule unique insensible à sa position axiale. En d'autres termes, afin de rester compatible avec l'imagerie de super-résolution dans le plan, la précision d'estimation de la tâche de diffraction doit être la plus invariante possible le long de l'axe optique, sur la profondeur d'imagerie souhaitée. Depuis plusieurs années, notre équipe co-conçoit des masques de phase placés dans la pupille d'une optique afin d'étendre sa profondeur de champ en imagerie classique [3]. Ces masques produisent une image relativement floutée, mais dont la qualité est indépendante de la position axiale de l'objet. Il faut alors appliquer un traitement de déconvolution pour reconstruire les objets à toutes les profondeurs, et l'optimisation de la fonction de phase du masque repose donc sur un critère de qualité image après déconvolution.
Nous proposons ici de co-concevoir ces masques de phase dans la pupille de l'objectif du microscope afin de générer une tâche image dont la précision d'estimation de sa position est invariante (ou faiblement variable) sur l'axe d'imagerie. D'un point de vue théorique, l'originalité réside dans le fait que le critère d'optimisation est différent : ce critère n'est plus la qualité image après déconvolution mais la précision de localisation d'une molécule individuelle dans le plan. Nos résultats montrent que les masques optimaux sont différents dans les deux cas et que les masques optimaux pour la localisation peuvent augmenter de manière significative la profondeur d'exploration des méthodes d'imagerie de la molécule unique.
[1] D. G. Stork and M. D. Robinson, Theoretical foundations for joint digital-optical analysis of electro-optical
imaging systems, Applied Optics, vol. 47, no. 10, pp. B64-B75, 2008.
[2] E. Betzig, G. H. Patterson, R. Sougrat, O. W. Lindwasser, S. Olenych, J. S. Bonifacino, M. W. Davidson,
J. Lippincott-Schwartz, and H. F. Hess, Imaging intracellular fluorescent proteins at nanometer resolution,
Science, vol. 313, no. 5793, pp. 1642-1645, 2006.
[3] F. Diaz, F. Goudail, B. Loiseaux, and J.-P. Huignard, Comparison of depth-of-focus-enhancing pupil masks based
on a signal-to-noise-ratio criterion after deconvolution, JOSA A, vol. 27, no. 10, pp. 2123-2131, 2010.
Optimisation de la stratégie d'acquisition pour l'estimation de la localisation et de l'épaisseur de tissus épithéliaux en microscopie confocale de fluorescence
M.-A. Burcklen, F. Galland, L. Le Goff
Aix Marseille Univ, CNRS, Centrale Marseille, Institut Fresnel, Marseille, France
Modalités innovantes pour l'imagerie biomédicale
La microscopie ptychographique de Fourier est-elle complémentaire à la microscopie de Mueller ?
A. Bozhok
Université de Strasbourg, Laboratoire ICube, Illkirch, France
Lorsqu'une onde lumineuse traverse un échantillon, elle subit un retard de phase lié au chemin optique emprunté. Ce déphasage est proportionnel au produit de l'indice de réfraction et de l'épaisseur de l'échantillon et ne peut pas être mesuré à l'aide de la microscopie optique classique. Il peut toutefois être obtenu par diverses techniques d'imagerie computationnelle.
Par ailleurs, l'indice de réfraction d'un milieu optiquement anisotrope, et donc la vitesse de propagation de la lumière, peut dépendre de son état de polarisation. Dans les matériaux biréfringents, cela provoque un décalage de phase, appelé retardance, entre les composantes de polarisation du champ électrique oscillant.
Le déphasage optique et le retard polarimétrique sont couramment utilisés pour examiner les tissus biologiques. Nous étudions ici la corrélation éventuelle et la complémentarité des informations extraites par deux modalités optiques : la microscopie ptychographique de Fourier et la microscopie de Mueller.
La ptychographie de Fourier est une technique d'imagerie computationnelle récente qui fournit des images à haute résolution et à large champ de vue. Elle permet de plus d'obtenir une image en intensité et une image en phase de l'échantillon. La ptychographie de Fourier est basée sur le principe d'échantillonnage de l'éclairage et peut être mise en place par une simple modification matérielle de la microscopie optique standard couplée à un traitement numérique des images acquises.
La microscopie de Mueller acquiert la matrice de Mueller de l'échantillon en chaque pixel et à plusieurs longueurs d'onde.
Dans cette présentation, nous présenterons l'instrument ptychographique, les procédures de reconstruction d'images, ainsi que le fonctionnement du microscope de Mueller. Enfin, nous comparerons les résultats obtenus par les deux dispositifs dans le cadre de l'analyse de lames histologiques, afin de valider expérimentalement la complémentarité des informations obtenues, en l'occurrence, la phase et les retardances linéaire et circulaire.
Imagerie laser Doppler computationnelle de la rétine
M. Atlan
Institut Langevin, UMR 7587 & Institut de la Vision, CIC 1423, Paris, France
La pratique médicale ophtalmologique est bouleversée depuis 10 ans par l'utilisation de la tomographie de cohérence optique dont les évolutions récentes sont favorisées par l'émergence des approches computationnelles. Leurs applications diagnostiques pour la médecine générale ne font que commencer. L'institut Langevin et le Centre d'Investigation Clinique 1423 de l'hôpital des Quinze-Vingts sont à la pointe de ce mouvement, en développant depuis 5 ans un partenariat entre médecins et physiciens, pour la réalisation de systèmes d'imagerie optique innovants dont les applications multiples, aussi bien en ophtalmologie qu'en médecine générale sont évaluées dans le cadre d'études cliniques.
Les maladies du système vasculaire, comprenant en particulier les complications du diabète, des occlusions, et de l'hypertension artérielle, sont parmi les principales causes de mortalité dans les pays développés. Ces maladies affectent en particulier les petits vaisseaux, c'est-à-dire la microcirculation, pour lesquels les méthodes diagnostiques sont très limitées. Le retentissement rétinien de l'hypertension artérielle est prédictif du risque de complications cardiovasculaires, illustrant la fonction de l'oeil comme témoin de la micro vascularisation générale. Les complications du diabète ou de l'hypertension artérielle peuvent entraîner un remodelage microvasculaire pouvant se manifester par des zones d'occlusion ou de dilatation de veines et de capillaires et par le développement de néovaisseaux, pouvant accompagner une cécité partielle ou totale. Pour ces enjeux médicaux, aucune méthode de cartographie de la microperfusion sanguine dans de larges gammes de vitesses d'écoulements n'est disponible.
L'une de nos activités de recherche a pour but d'accélérer la transition vers l'imagerie cohérente computationnelle du flux sanguin rétinien et choroïdien en temps réel à l'hôpital des Quinze-Vingts. Pour y parvenir, nous avons recours à un laser dans le proche infrarouge pour illuminer la rétine des patients et collecter sur une caméra utrarapide des interférogrammes acquis à la cadence de 75 kHz. L'interférométrie est réalisée dans l'axe avec bras de référence séparé, en régime de fort gain hétérodyne. A partir de là, tout n'est plus que calcul numérique pour construire les images. Nous avons transféré dans le domaine numérique les fonctions traditionnellement analogiques de mise au point, de compensation du mouvement des yeux, ainsi que de compensation des aberrations de loeil. En révélant les fluctuations locales d'amplitude et de phase du champ optique reconstruit, nous réalisons des images et vidéos Doppler du flux sanguin du fond doeil avec une résolution spatiale de quelques microns et une résolution temporelle de l'ordre de quelques millisecondes.
Imagerie quantitative temps-réel et multispectral dans le domaine fréquentiel spatio-temporel
E. Aguénounon, S. Ségaud, L. Baratelli, M. Torregrossa, F. Dadouche, J. Angelo, W. Uhring, S. Gioux
Université de Strasbourg, Laboratoire ICube, Illkirch, France
Dans le secteur de la santé, l'utilisation des méthodes de mesure optiques a montré un fort potentiel pour améliorer la planification des opérations, le guidage du geste chirurgical et pour la surveillance postopératoire. Parmi les nombreuses méthodes de mesure mises au point, les méthodes d'imagerie du domaine de l'optique diffuse ont démontré des capacités de mesure quantitative de létat fonctionnel et structurel des tissus vivants sur un large champ de vue. L'une de ces méthodes appelée Spatial Frequency Domain Imaging (SFDI) utilise la modulation spatiale de la lumière (c.-à-d. un motif structuré de lumière), et à partir de quelques images acquises (généralement 6 images) permet de déterminer les propriétés optiques à une longueur d'onde d'un échantillon de tissu vivant. En répétant ces acquisitions à plusieurs longueurs d'onde, la méthode permet de mesurer des paramètres fonctionnels tels que l'oxyhémoglobine, la désoxy-hémoglobine, l'eau et les lipides, ainsi que les paramètres structurels du tissu. Cependant, la nécessité d'acquérir plusieurs images à plusieurs longueurs d'onde et d'en extraite les paramètres est depuis longtemps une des principales limites de l'utilisation de la technologie SFDI dans les blocs opératoires.
Pour surmonter cette limitation, nous avons d'abord introduit Single Snapshot of Optical Properties (SSOP), une méthode SFDI spécifique permettant d'extraire les propriétés optiques à partir d'une seule image acquise en utilisant le filtrage dans le domaine Fourier au prix d'une légère dégradation de la résolution des images en sortie. Cependant, alors qu'une seule image est nécessaire pour extraire les propriétés optiques à une seule longueur d'onde, l'acquisition multispectrale est effectuée séquentiellement soit en utilisant une roue à filtre optique, un filtre
optique accordable, ou avec une caméra multispectrale. Dans ce cadre, nous avons proposé récemment une méthode d'acquisition temps réel permettant de s'affranchir de certaines des limitations classiques de l'acquisition séquentielle utilisant la modulation spatio-temporelle de la lumière et le traitement sur processeur graphique (GPU).
Enfin pour l'évaluation de l'état des tissus en temps réel, de nombreuses contributions ont été faites dans le but d'accélérer la méthode de résolution du problème inverse. Notamment par l'utilisation d'une table de correspondance pré-calculée, en utilisant des techniques de machine learning ou de deep learning ou encore en effectuant le traitement sur processeur graphique. En utilisant les méthodes développées, nous démontrons que nous pouvons extraire les propriétés optiques (absorption et scattering) d'un tissu à deux longueurs d'onde (665nm et 860nm), et déduire de ces mesures le taux d'oxygénation du tissu en 1,6 millisecondes sur des images de 1 mégapixel.
Approche « problèmes inverses » régularisée en tomographie à rayon X pour une géométrie inverse multi-source optimisée
F. Joliveta, C. Fourniera, M. Garcina, L. Zdeborovab, A. Brambillaa
aCEA, LETI, Univ. Grenoble Alpes, MINATEC Campus, Grenoble, France
bInstitut de physique théorique, Université Paris Saclay, CNRS, CEA, Gif-sur-Yvette, France
Une architecture « Cone Beam Computed Tomography » (CBCT) conventionnelle est constituée d?une seule source
et d?un grand détecteur afin d?acquérir un sinogramme complet de l?objet (Figure 1.a). Par opposition, une géométrie
inverse (en tomographie) utilise plusieurs sources distribuées permettant d?acquérir avec un petit détecteur plusieurs sinogrammes tronqués de l?objet (Figure 1.b). Ce type d?architecture est communément appelée « Multi Source Inverse Geometry Computed Tomography » (MS-IGCT). 1 Pour des raisons technologiques, financières et dans certains cas, de dose, utiliser peu de sources tout en gardant une taille du détecteur réduite est un enjeu essentiel. Cependant la reconstruction de l?objet demande alors de résoudre un problème de données manquantes qui est mal-posé et mal conditionné. Nous proposons donc une méthode « problèmes inverses » régularisée permettant de reconstruire un volume objet à partir des sinogrammes acquis via une architecture MS-IGCT optimisée. 2 La philosophie de ces travaux consiste à répondre aux questions suivantes : Quel algorithme de reconstruction nous permet d?exploiter au mieux les données incomplètes acquises avec une géométrie inverse optimisée ? Combien de sources sont-elles nécessaires pour une taille de détecteur fixée ? Nous démontrons les performances de l?algorithme proposé lorsque nous réduisons la taille du détecteur ainsi que le nombre de sources. À partir de données simulées et données expérimentales obtenues avec un banc d?acquisition motorisé permettant d?émuler la géométrie inverse, nous comparons les reconstructions obtenues par la méthode proposée avec celles obtenues par une méthode de rétroprojection filtrée et une méthode de maximum de vraisemblance sous contrainte de positivité.
Références
1 B. De Man, S. Basu, P. Fitzgerald, et al., ?Inverse geometry ct : The next-generation ct architecture ?,? in 2007 IEEE Nuclear Science Symposium
Conference Record, 4, 2715?2716, IEEE (2007).
2 F. Jolivet, C. Fournier, and A. Brambilla, ?A fast gradient-based algorithm for image reconstruction in inverse geometry ct architecture with
sparse distributed sources,? in 15th International Meeting on Fully Three-Dimensional Image Reconstruction in Radiology and Nuclear Medi-
cine, 11072, 110721N, International Society for Optics and Photonics (2019).
Date : 2019-10-24
Lieu : TelecomParisTech
Thèmes scientifiques :
B - Image et Vision
Inscriptions closes à cette réunion.
Accéder au compte-rendu de cette réunion.
(c) GdR IASIS - CNRS - 2024.