Co-conception : capteurs hybrides et algorithmes pour des systèmes innovants

Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.

Inscriptions closes à cette réunion.

Inscriptions

32 personnes membres du GdR ISIS, et 30 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 100 personnes.

Annonce

Journée co-organisée avec le GdR MIA et le GDR MaDICS via l'action ImHyp.

La conception de systèmes d'acquisition d'images a connu un renouveau grâce aux approches "co-conçues" pour lesquelles le dispositif d'imagerie, de détection ou de mesure est étroitement associé aux algorithmes employés pour traiter les données.

Dans de nombreux domaines, tels que la photographie numérique, la microscopie, la télédétection, l'astronomie ou l'imagerie radar, de nouveaux dispositifs d'acquisition sont développés pour dépasser les performances des systèmes traditionnels, en termes de "qualité image", d'encombrement, de poids, de consommation d'énergie ou pour ajouter de nouvelles fonctionnalités aux caméras et instruments d'acquisition d'images et de vidéos. La conception de ces nouveaux instruments repose souvent sur une approche pluridisciplinaire pour modéliser et optimiser simultanément les paramètres de l'instrument et les traitements numériques en tenant compte des contraintes de l'application visée. La conception conjointe conduit à développer de nouveaux instruments dits "non conventionnels" ou "hybrides", pour lesquels l'instrument et les traitements sont indissociables.

Ces journées sont ouvertes à plusieurs thématiques, qui comprennent entre autres la liste suivante

• les nouvelles modalités d'imagerie non-conventionnelle, par exemple
  • imagerie plénoptique, light-field, restauration du front d'onde
  • imagerie multi-canaux (polarimetric and hyper-spectral imaging), multi-modale (imagerie photo-acoustique)
  • imagerie cohérente et interférométrique
  • microscopie confocale et nanoscopie
  • photographie computationnelle, synthèse d'ouverture, flutter-shutter, masques d'ouverture et de phase, bracketing & fusion multi-images, HDR, etc.
  • imagerie 3D, multi-stéréo, etc.
• des nouveaux algorithmes associés à ces instruments&nbp;:
  • problèmes inverses en optique
  • compressed sensing pour imagerie non-conventionnelle
  • sur-résolution, déconvolution aveugle, etc.
• la co-conception système - traitement, notamment :
  • la modélisation de la performance des systèmes, en lien avec leurs fonctionnalités
  • l'optimisation conjointe des paramètres d'un système et sa chaîne de traitement pour une fonctionnalité donnée
  • les nouvelles problématiques, les enjeux et questions encore ouvertes

L'objectif de cette rencontre est de favoriser les échanges entre tous les acteurs (industriels, académiques) de toutes les disciplines intéressées par ces nouvelles approches au travers :

• de présentations orales
• de posters
• de démonstrations
• de discussions informelles

Merci de nous faire parvenir vos propositions (max. 1 page par résumé) en spécifiant le format de présentation préféré (oral, poster, démonstration) par courriel, au plus tard le 15 septembre 2017 aux coordonnées suivantes :

Pauline Trouvé ONERA pauline.trouve@onera.fr	Yohann Tendero Telecom ParisTech yohann.tendero@telecom-paristech.fr
Andrés Almansa CNRS - MAP5, Université Paris Descartes andres.almansa@parisdescartes.fr	Matthieu Boffety Institut d'Optique matthieu.boffety@institutoptique.fr

Programme

Durée des exposés : 15 minutes + 5 minutes de questions

9h - 9h30 : Accueil et café

9h30 - 9h40 : Introduction

9h40 - 10h40 : Imagerie multi-spectrale et télédétection

ImSPOC : Imaging Spectrometer on Chip
E. Le Coarer
Institut de Planétologie et d'Astrophysique de Grenoble, France

Démélange spectral d'images hyperspectrales en présence de pixels purs
J. Cohen et N. Gillis
UMONS, Mons, Belgique

Pansharpening of compressed acquisitions
M. Dalla Mura et L. Condat
GIPSA-LAB, Grenoble, France

10h40 - 11h20 : Session Poster

11h20 - 12h20 : Caractérisation d'instruments et qualité image

Implémentation temps-réel de stabilisation numérique pour l'observation de la Terre à haute-résolution
C. Thiebaut^a, S. Petit-Poupart^a, J.M. Delvit^a, M. Bruno^a, C. Latry^a, E. Bousquet^b et G. Laurent^c
a CNES, Toulouse, France
^b MAGELLIUM, Ramonville-Saint-Agne, France
^c CS, Toulouse, France

Critère Coin-Point pour l'évaluation des imageurs à traitement d'images non-linéaires
S. Landeau^a, L. Pigois^a, J.-P. Foing^b, G. Deshors^b et G. Swiathy^c
a DGA, Paris, France
^b DGA, Bruz, France
^c DGA, Balma, France

Image quality benchmark of computational bokeh
B. Neveu, J.B. Jourdain, C. Viard, F. Guichard et W. Hauser
DXO, Boulogne-Billancourt, France

12h20 - 14h10 : Pause Déjeuner

14h10 - 14h50 : Imagerie sans lentille

Imagerie de phase avec un microscope holographique sans lentille compact
F. Soulez^a et M. Rostykus^b
a CRAL, Université de Lyon, Lyon, France
^b LAPD, EPFL, Lausanne, Suisse

Auto-étalonnage d'un dispositif d'holographie couleur sans lentille et étude de performance
F. Jolivet, O. FLasseur, F. Momey, L. Denis et C. Fournier
Université de Lyon, Lyon, France

14h50 - 15h30 : Acquisition comprimée

Prise en compte de contraintes expérimentales dans la conception de motifs pour caméra mono-pixel
F. Rousset, F. Peyrin et N. Ducros
CREATIS, Université de Lyon, Lyon, France

Imagerie polarimétrique à deux pixels sans polariseur par échantillonnage compressif
J. Fade^a, E. Perrotin^a et J. Bobin^b
a Institut Foton, Université de Rennes 1, Rennes, France
^b CEA, IRFU,Service d'Astrophysique-SEDI, Gif-sur-Yvette, France

15h30 - 15h40 : Pause

15h40 - 16h20 : Light-Field

Efficient Light-Field Segmentation and Over-Segmentation
N. Sabater
Technicolor, Rennes, France

Architectures et apports de systèmes de vision "light-field" pour le domaine de la vision
C. Riou, B. Collichio, J.P. Lauffenburger et C. Cudel
Laboratoire MIPS, Université de Haute Alsace, France

16h20- 18h : Session Poster

Liste des posters

Dématriçage multispectral basé sur l'utilisation de l'intensité
S. Mihoubi, O. Losson, B. Mathon et L. Macaire
Laboratoire CRIStAL, Université de Lille, Villeneuve d'Ascq, France

Patch non-local Kalman filters for video denoising
T. Ehret et P. Arias
CMLA, ENS Paris Saclay, Cachan, France

Comparaison de deux systèmes plénoptiques
C. Herzog^a,c,, G. Dovillaire^a, X. Granier^b,c,d, F. Harms^a, X. Levecq^a, E. Longo^e, L. Mignard-Debise^b,c, P. Zeitoun^e et O. de La Rochefoucauld^a
a Imaging Optics, Orsay/Bordeaux, France
^b Laboratoire Photonique, Numérique et Nanosciences, Institut d'Optique Graduate School, Bordeaux, France
^c Inria, Bordeaux, France
^d Laboratoire Bordelais de Recherche en Informatique, Bordeaux, France
^e Laboratoire d'Optique Appliqué, ENSTA-CNRS-Ecole Polytechnique-Université Paris-Saclay, Palaiseau, France

Conservative scale recomposition for multiscale denoising (the devil is in the high frequency detail)
G. Facciolo^a,b N. Pierazzo^b,c et J.M. Morel^a
a CMLA, ENS Paris Saclay, Cachan, France
^b DXO, Boulogne, France
^c Google, Zurich, France

Compressive clustering of high dimensional datasets with 1-bit random sketching
V. Schellekens et L. Jacques
ISPGroup, ICTEAM, UCLouvain, Belgique

A 1-bit Quantized Compressive Scheme for Radar
T. Feuillen, L. Vandenhorpe et L. Jacques
Ecole Polytechnique de Louvain, Louvain, Belgique

Optimization of IR flash LIDAR sensor for navigation and 3D imaging
V. Saraiva Parahyba et R. Perrier
CEA-LETI, Grenoble, France

Correction des effets de relief en spectro-imagerie aéroportée
C. Barbanson^a,b, A. Almansa^c, Y. Ferrec^a et P. Monasse^d
a ONERA, Palaiseau, France
^b Télécom Paris-Tech, Département Signal et Image, Paris, France
^c MAP5, Université Paris-Descartes, Paris, France
^d LIGM, Ecole des Ponts, UPE, Champs-sur-Marne, France

Status of the development of a proton imaging system
S. Deffet^a, F. Vander Stappen^b, P. Farace^c et B. Macq^a
a ICTEAM, Université catholique de Louvain, Louvain-La-Neuve, Belgique
^b Ion Beam Applications (IBA), Louvain-La-Neuve, Belgique
^c Proton Therapy Unit, Hospital of Trento, Trento, Italy

Reconstruction d'images hyperspectrales à faible coût pour un imageur pilotable à double dispersion
I. Ardi^b,c, H. Carfantan^a, S. Lacroix^b et A. Monmayrant^b
a IRAP, Université de Toulouse, Toulouse, France
^c LAAS-CNRS, Université de Toulouse, France

Estimation de profondeur monoculaire par apprentissage adversaire
M. Carvalho^a, B. Le Saux^a, P. Trouvé-Peloux^a, F. Champagnat^a et A. Almansa^b
a ONERA, Palaiseau, France
^b MAP5, Université Paris-Descartes, Paris, France

Simulation and robotics implementation of Light-Field camera
M. Balcilar et B. Stanciulescu
Mines Paris-Tech, Paris, France

Première démonstration d'imagerie polarimétrique de Mueller in vivo du col utérin
J.Vizet^a, J. Rehbinder^a, S. Deby^a, S. Roussel^a, A. Nazac^b, R. Soufan^c, C. Genestié^c, C. Haie-Meder^d, H. Fernandez^e, F. Moreau^a et A. Pierangelo^a
a LPICM, UMR CNRS 7647, Ecole polytechnique, 91128 Palaiseau, France
^b Department of Obstetrics and Gynecology, University Hospital Brugmann, Université Libre de Bruxelles, Bruxelles, Belgique
^c Institut Gustave Roussy, Service d'anatomie pathologique gynécologique, Villejuif, France
^d Institut Gustave Roussy, Service de Curiethérapie, Villejuif, France
^e Service de Gynécologie Obstétrique, CHU de Bicêtre AP-HP, Le Kremlin-Bicêtre, France

Automatic 3D Reconstruction from Multi-Date Satellite Images
G. Facciolo^a,, C. de Franchis^a et E. Meinhardt-Llopis^a
a CMLA, ENS Paris Saclay, Cachan, France

Face recognition from Lytro Images
V. Chiesa, J.-L. Dugelay
EURECOM, Campus SophiaTech

Résumés des contributions

ImSPOC : Imaging SPectrometer on Chip

E. Le Coarer
Institut de Planétologie et d'Astrophysique de Grenoble, France

ImSpoc est un développement d'un spectro-imageur extrêmement compact entre l'ONERA et l'université de Grenoble-Alpes qui vient d'être lauréat d'un financement H2020 pour la télédétection du CO2 depuis l'espace. Le design de l'instrument est issu d'une démarche de co-conception entre les modèles d'atmosphère et une instrumentation originale qui permet de réduire d'un facteur 100 le poid de la charge utile à performance similaires.

Démélange spectral d'images hyperspectrales en présence de pixel purs

J. Cohen et N. Gillis
UMONS, Mons, Belgique

Les progrès technologiques liés aux capteurs optiques multi-canaux ont permis l'acquisition par télédetection d'images dites hyperspectrales, présentant une bonne résolution spatiale dans de nombreuses bandes de fréquences. Il est maintenant possible de détecter à distance la présence de matériaux spécifiques sur une certaine scène en analysant les signatures spectrales contenues dans de telles images. Afin d'exploiter toute l'information portée par les images hyperspectrales, et notamment au niveau de pixels contenant plusieurs matériaux, de nombreuses méthodes de démélange spectral ont vu le jour dans la communauté traitement du signal. Dans cette présentation, nous discutons de l'état de l'art en la matière (méthodes géométriques, approches continues, méthodes bayésiennes). En particulier, nous discuterons du cas où des pixels purs sont présents dans l'image, pour lequel nous présenterons un algorithme alterné projeté qui allie la rapidité des méthodes géométriques et la robustesse des approches continues.

Pansharpening of compressed acquisitions

M. Dalla Mura et L. Condat
GIPSA-LAB, Grenoble, France

1. Introduction

In remote sensing, pansharpening refers to a particular problem of data fusion [1], in which a broadband image of high spatial resolution is combined (fused) with a multispectral, or even a hyperspectral, image composed of several spectral bands but of lower spatial resolution [2, 3]. This fusion process aims at estimating an image featuring both the spatial resolution of the panchromatic and the spectral bands of the multispectral image. The acquisition of a panchromatic and a multispectral image in bundle from two sensors mounted on the same platform is a common configuration that can be found in many very high spatial resolution optical remote sensing satellites for Earth observation (e.g., Quickbird, WorldView and SPOT). The literature offers a wide range of techniques addressing the problem of pansharpening, ranging from simple component substitution or multiresolution strategies [2] to more advanced variational techniques [4]. In this work we investigate an alternative acquisition strategy, which consists in carrying out a compressive sampling jointly on the panchromatic and multispectral image. The samples from the two acquisitions are thus stored into a single one band image having the same number of pixels of the panchromatic image. We envision this compression to be done on-board either with an ad-hoc optical design or using embedded electronics. The compression will allow to significantly reduce the burden of data downlink, at the expense of a more laborious analysis done at the ground segment for restoring the informative content of the multimodal acquisitions. The compressed multimodal image has thus to undergo a process of reconstruction of the missing information and fusion between the two modalities. We propose to address this problem jointly with a variational approach. We present preliminary results obtained simulating the proposed scheme on real remote sensing images.

2. Proposed Methodology

In the following we will work with variables that have been represented in lexicographic order i.e., unfolding an image by concatenating its columns (or rows). Let us consider a panchromatic image as a broadband acquisition with a relatively high spatial resolution, which is represented by the vector x p in Rn p with n p the number of pixels. The platform under consideration acquires almost simultaneously a multispectral image, Xm in R b×nm composed of nm := n p /r pixels (where r is a scale factor) with b spectral distinct bands (e.g., obtained using spectral filters).

In this work we aim at compressing the two acquisitions into a vector y in Rn p . The downlink transmission would then had to send only n p values per acquisition instead of np (1 + r b ) as in the conventional acquisition mode. The compression can be expressed as a transformation A : Rn p × Rb×nm in Rn p , i.e.,

y = A(xp,Xm). In this work we investigate different compressed sampling strategies that can be implemented by A, namely random sampling based on binary masks and linear combinations of the inputs.

References

[1] M. Dalla Mura, S. Prasad, F. Pacifici, P. Gamba, J. Chanussot, and J. A. Benediktsson, Challenges and opportunities of multimodality and data fusion in remote sensing, Proceedings of the IEEE, vol. 103, no. 9, pp. 1585-1601, 2015.

[2] G. Vivone, L. Alparone, J. Chanussot, M. Dalla Mura, A. Garzelli, G. A. Licciardi, R. Restaino, and L. Wald, A critical comparison among pansharpening algorithms, IEEE Transactions on Geoscience and Remote Sensing, vol. 53, no. 5, pp. 2565-2586, 2015.

[3] L. Loncan, L. B. de Almeida, J. M. Bioucas-Dias, X. Briottet, J. Chanussot, N. Dobigeon, S. Fabre, W. Liao, G. A. Licciardi, M. Simoes et al., Hyperspectral pansharpening: A review, IEEE Geoscience and remote sensing magazine, vol. 3, no. 3, pp. 2746, 2015.

[4] X. He, L. Condat, J. M. Bioucas-Dias, J. Chanussot, and J. Xia, A new pansharpening method based on spatial and spectral sparsity priors, IEEE Transactions on Image Processing, vol. 23, no. 9, pp. 4160-4174, 2014.

Implémentation temps-réel de stabilisation numérique pour l'observation de la Terre à haute-résolution

C. Thiebauta, S. Petit-Pouparta, J.M. Delvita, M. Brunoa, C. Latrya, E. Bousquetb et G. Laurentc
a CNES, Toulouse, France.

b MAGELLIUM, Ramonville-Saint-Agne, France

c CS, Toulouse, France

Pour augmenter le rapport signal à bruit des images d'un satellite d'observation de la Terre haute-résolution, les détecteurs TDI (Time Delay Integration) sont généralement utilisés. Un TDI synchronise les charges transférées avec la vitesse du satellite pour augmenter virtuellement le temps de pose et ainsi le rapport signal à bruit. L'image résultante de ce type de détecteur est une combinaison d'un balayage dans le sens de défilement du satellite sur son orbite et d'un balayage électronique dans le sens perpendiculaire à la trace. Le signal obtenu provient de la sommation des signaux des différents étages TDI. Dans ce papier, nous présentons une implémentation embarquée de recalage d'images pour améliorer les performances en termes de rapport signal à bruit et netteté d'un détecteur TDI classique. En effet, à l'heure actuelle, le nombre d'étages TDI sommés est limité à cause de la non-stabilité du satellite à haute-fréquence qui peut induire du flou de bougé sur l'image finale. Pour ne plus contraindre le nombre de lignes à accumuler, le CNES propose une solution dans le brevet [1]. Cette solution consiste à calculer en temps réel les perturbations subies entre chaque ligne TDI et à utiliser cette information pour recaler ces images avant sommation numérique en lieu et place de la sommation analogique dans un TDI classique. On peut ainsi augmenter de manière considérable le nombre de lignes accumulées. Par exemple, les performances d'un TDI 100 lignes seront atteintes en recalant 10 sous-TDI de 10 lignes chacun, chaque sous-TDI ayant un comportement classique analogique (pas de recalage des lignes). En découpant le TDI en plusieurs sous-TDI, la quantité de données augmente d'autant, il n'est alors pas possible d'envisager de les traiter au sol - cela reviendrait à envoyer 10 images au sol. Le traitement doit avoir lieu à bord du satellite en temps réel à la fréquence de chaque ligne d'un sous-TDI. Un capteur dédié aux mesures de décalages est ajouté dans le plan focal : le capteur de bougé. Ce capteur voit une partie du paysage du capteur principal, possiblement avec une résolution dégradée et à une fréquence inférieure à la fréquence d'intégration de la mission principale. Un algorithme temps réel calcule le décalage entre deux images successives du capteur de bougé : c'est l'algorithme de calcul de bougé. Cela permet de connaître à tout moment les perturbations subies par le satellite pendant la prise de vue. Ensuite, chaque ligne délivrée par un sous-TDI est recalée avec la première ligne du premier sous-TDI, puis ces lignes recalées sont sommées. La qualité de l'image finale dépend donc des performances de l'algorithme de calcul de bougé et de l'étape de recalage par ré-échantillonnage. Cette qualité peut être mesurée par analyse visuelle de l'image finale ou quantitativement avec des critères de fidélité telles que le rapport Signal à Bruit ou la netteté de l'image (mesure de FTM : Fonction de Transfert de Modulation). Dans cette présentation, nous présentons les algorithmes de calcul de bougé et de compensation de bougé (recalage des images) ainsi que leurs performances et leur complexité d'implémentation. L'algorithme de calcul de bougé est basé sur une méthode de flots optiques rigides [2, 3]. Pour l'étape de compensation de bougé, les performances de plusieurs filtres d'interpolation seront présentées ainsi que leur complexité d'implémentation. Enfin, le CNES a développé un banc de démonstration qui permet d'évaluer, par mesure, l'ensemble des performances capteurs/algorithmes afin de dimensionner un futur composant qui intégrera l'ensemble des fonctionnalités de prise de vue et de traitements algorithmiques. Une présentation de ce banc et du système envisagé sera faite dans cet exposé papier.

[1] A. Materne, O. Puig, P. Kubik. CNES Patent, FR2976754, 21/12/2012.

[2] A tight multiframe registration problem with application to Earth observation satellite design, M. Rais, C. Thiebaut, J.M. Delvit, J.M. Morel, in Proc. of IEEE International Conference on Imaging Systems and Techniques, 2014.

[3] Fast gradient-based algorithm on extended landscapes for wave-front reconstruction of Earth observation satellite, C. Thiebaut, L. Perraud, J.M. Delvit, C. Latry, in Proc. SPIE 9909, Adaptive Optics Systems V, 99096V, July 27, 2016.

Critère Coin-Point pour l'évaluation des imageurs à traitement d'images non-linéaire

S. Landeaua, L. Pigoisa, J.-P. Foingb, G. Deshorsb et G. Swiathyc
a DGA, Paris, France

b DGA, Bruz, France

c DGA, Balma, France

La modélisation de performance de DRI des systèmes d'imagerie optroniques s'attache à caractériser la capacité de résolution de détails dans l'image. Aujourd'hui, des traitements numériques d'images sont systématiquement utilisés conjointement au système optoélectronique pour en corriger les défauts ou pour exploiter d'infimes signaux de détection visant à en augmenter la performance. Pour caractériser ces traitements aux propriétés adaptatives et non-linéaires, il devient nécessaire de stimuler les imageurs avec des mires de test ayant des propriétés similaires à celles des images de scènes réelles auxquelles l'imageur sera confronté, en termes de plage dynamique, de contours, de texture et de points singuliers. Dans cet article est présentée une approche basée sur un critère de résolution en Coins-Points (CP), issue de la Probabilité de Résolution Correcte (PRC) des mires fractales binaires. Le principe fondamental tient en la perception respectueuse de l'orientation CP d'une valeur minoritaire d'un pixel parmi les valeurs majoritaires d'un bloc de 2x2 pixels. La procédure d'évaluation tient à considérer l'image originale sans dégradation comme sa transformée en distribution de CP multi-résolution, prenant le rôle de Vérité Terrain (VT). Après recalage de l'image dégradée sur l'originale, la dégradation se mesure statistiquement par comparaison entre la VT et transformation en CP de l'image dégradée, en termes de PRC localisée et dans la région d'intérêt. Après la définition du critère CP et de la procédure d'évaluation appliquée à des cas de traitements non linéaires, comme la mesure du nombre de CP résolus sur la cible, la transformation en CP et sa transformation inverse, qui permet la reconstruction d'une image perçue au sens des CP. Il est ensuite présenté une comparaison avec le critère classique de Johnson dans le cas d'une dégradation linéaire de flou et de bruit. L'évaluation d'un système d'imagerie intégrant un affichage d'image et une perception visuelle est considérée, en proposant un schéma d'analyse intégrant une mesure en CP pour la partie non linéaire (formation d'image) et des méthodes classiques pour la partie linéaire (affichage). Enfin, une application à l'imagerie couleur est proposée pour laquelle le choix de l'espace colorimétrique se pose en fonction du type de traitement d'amélioration d'image utilisé.

Image quality benchmark of computational bokeh

B. Neveu, J.B. Jourdain, C. Viard, F. Guichard et W. Hauser
DXO, Boulogne-Billancourt, France

With the recent release of several smartphones featuring computational bokeh, either from dual- or from single-camera technologies, it became very important to establish new testing methodologies to evaluate the strengths and weaknesses of these devices to aid device manufacturers in choosing the best technology and consumers in choosing their device. We have developed a testing apparatus and methodology to evaluate the image quality of the bokeh of different devices, focusing on both the quality of the bokeh (depth of field, shape), as well as on artifacts induced by the challenge for algorithms to accurately differentiate the face of a subject from the background, especially on complex transitions such as curly hair. Our benchmark shows that the depth of field of the best mobile devices is as shallow as that of full frame DSLRs, but also many artifacts in computational bokeh that are inexistent with the optical bokeh of DSLRs.

Imagerie de phase avec un microscope holographique sans lentille compact

F. Souleza, M. Rostykusb
a CRAL, Université de Lyon, Lyon, France

b LAPD, EPFL, Lausanne, Suisse

L'imagerie de phase permet d'observer des objets transparents (eg des échantillons biologiques) sans avoir recours à un marquage. Pour cela, le contraste de phase et le contraste interférentiel (DIC) sont des modalités très populaires mais qui ne sont malheureusement pas quantitatives. La microscopie holographique en donnant accès à la phase et à l'amplitude de l'onde diffractée permet des mesures quantitatives de l'épaisseur optique de l'échantillon. A la différence des microscopes holographiques traditionnels volumineux et onéreux, un montage en ligne et sans lentille permet d'avoir un dispositif grand champ très compact pouvant être installé dans un incubateur. Toutefois l'image de phase avec type de montage n'est plus directement accessible et nécessite des algorithmes de reconstruction perfectionnés.

Nous présenterons un dispositif compact pour l'imagerie de phase comprenant l'illumination, l'échantillon et le détecteur dans un cube d'environs 2 cm de côté ne comprenant ni lentille ni partie mécanique mobile. L'illumination par le coté de 9 VCSEL permet de générer des hologrammes avec 9 angles d'illumination différents. Ces 9 hologrammes ne sont pas exploitables directement et doivent être combinés par un algorithme dédié permettant de reconstruire l'image de l'objet en phase et en amplitude. Les différents angles d'illumination permettent d'une part de lever l'indétermination de phase et donc de supprimer l'image jumelle ; d'autre part d'améliorer la résolution en faisant de la synthèse d'ouverture. Pour illustrer cela, nous montrerons des résultats sur des données réelles où l'on résout des éléments de 4.38 microns alors que les pixels de la caméra font 5.2 microns et cela avec un champ reconstruit de 17 mm^2.

Refs:

Manon Rostykus, Ferréol Soulez, Michael Unser, and Christophe Moser, "Compact lensless phase imager," Opt. Express 25, 4438-4445 (2017)

Ferréol Soulez, Éric Thiébaut, Antony Schutz, André Ferrari, Frédéric Courbin, and Michael Unser, "Proximity operators for phase retrieval," Appl. Opt. 55, 7412-7421 (2016)

Auto-étalonnage d'un dispositif d'holographie couleur sans lentille et étude de performance

F. Jolivet, O. FLasseur, F. Momey, L. Denis et C. Fournier
Université de Lyon, Lyon, France

La microscopie sans lentille couleur, également appelée holographie numérique en ligne couleur, est une méthode d'imagerie 3D quantitative utilisée dans plusieurs domaines comme l'imagerie biomédicale et la microfluidique [1, 2, 3]. Pour développer des systèmes compacts et bas-coût, les longueurs d'ondes des sources lumineuses utilisées (diode LASER ou LED) ne sont connues que de façon imprécise, en particulier en raison de leur dépendance à la température et à la tension d'alimentation. Cette imprécision est la source de biais lors de la phase de reconstruction. Nous avons récemment proposé d'utiliser une approche inverse paramétrique pour réaliser l'auto-étalonnage d'une con#guration d'holographie numérique couleur [4]. Ce processus fournit une estimation précise des longueurs d'ondes centrales des spectres des sources. Nous montrons que la prise en compte de cette information améliore la reconstruction régularisée (MAP) d'hologrammes couleur de mire de résolution.

[1] D. Tseng, O. Mudanyali, C. Oztoprak, S. O. Isikman, I. Sencan, O. Yaglidere, and A. Ozcan, Lensfree microscopy on a cellphone, Lab on a Chip , vol. 10, no. 14, pp. 17871792, 2010.

[2] J. Garcia-Sucerquia, Color digital lensless holographic microscopy : laser versus led illumination, Applied optics , vol. 55, no. 24, pp. 6649-6655, 2016.

[3] P. Tankam, P. Picart, D. Mounier, J. M. Desse, and J.-c. Li, Method of digital holographic recording and reconstruction using a stacked color image sensor, Applied optics , vol. 49, no. 3, pp. 320#328, 2010.

[4] O. Flasseur, C. Fournier, N. Verrier, L. Denis, F. Jolivet, A. Cazier, and T. Lépine, Self-calibration for lensless color microscopy, Applied Optics , vol. 56, no. 13, pp. F189-F199, 2017.

Prise en compte de contraintes expérimentales dans la conception de motifs pour caméra mono-pixel

F. Rousset, F. Peyrin et N. Ducros
CREATIS, Université de Lyon, Lyon, France

La caméra mono-pixel (single-pixel camera, SPC) [1] permet de réaliser des systèmes d'imagerie performants peu coûteux pour différents types d'applications allant de la vidéo au domaine biomédical. Le montage optique associé est composé d'un filtre spatial modulant la lumière (spatial light modulator, SLM) et d'un détecteur ponctuel. Ce dernier acquiert la projection de l'image de la scène observée sur le motif chargé au niveau du SLM. Le post-traitement des mesures obtenues en considérant plusieurs motifs permet de remonter à l'image de l'objet [1, 2, 3].

Quelle que soit la technique d'acquisition/restauration des images employée, les motifs à envoyer au SLM comportent des valeurs négatives, ce qui ne peut pas être physiquement mis en oeuvre sur un SLM. De plus, un courant d'obscurité au niveau du détecteur perturbe les mesures, ce qui nécessite un traitement dédié préalablement à la restauration d'images. Nous proposons ici de concevoir des motifs à valeurs positives tenant compte de ces contraintes expérimentales et des motifs à valeurs négatives désirés.

L'approche classique consiste à décomposer un motif en sa partie positive et sa partie négative (pos/neg) [2, 3]. Une autre approche consiste à décaler (shift) chaque valeur du motif pour que tous ses éléments deviennent positifs [1]. Dans les deux cas, la soustraction de deux mesures permet l'obtention de la mesure désirée en annulant le courant d'obscurité. En pratique, la méthode shift est fortement affectée par le bruit tandis que pos/neg double le nombre de mesures à réaliser et donc le temps d'acquisition. Nous proposons de chercher une unique transformation qui permet à la fois de passer d'un vecteur de mesure réalisable au vecteur de mesure désiré, mais également d'un motif réalisable au motif désiré. Nous montrons que ce problème peut être résolu par un algorithme de factorisation en matrices semi non-négatives [4, 5] (SNMF, semi non-negative matrix factorization) auquel est ajouté notre contrainte particulière.

Nous présentons des résultats d'acquisitions SPC expérimentales avec la méthode SNMF, pos/neg et shift pour la technique d'acquisition/restauration des images ABS-WP [3].

[1] M. F. Duarte and al. IEEE Signal Processing Magazine, vol. 25, pp. 83-91, March 2008.

[2] Z. Zhang and al. Nature communications, vol. 6, 2015.

[3] F. Rousset and al. IEEE Transactions on Computational Imaging, vol. 3, pp. 36-46, March 2017.

[4] D. D. Lee and H. S. Seung Nature, vol. 401, pp. 788-791, 1999.

[5] C. Ding and al. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, pp. 45-55, Jan 2010.

Imagerie polarimétrique à deux pixels sans polariseur par échantillonnage compressif

J. Fadea, E. Perrotina et J. Bobinb
a Institut Foton, Université de Rennes 1, Rennes, France.

b CEA, IRFU,Service d'Astrophysique-SEDI, Gif-sur-Yvette, France

Nous proposons un concept original d'imagerie compressive de contraste de polarisation basée sur l'utilisation d'une matrice de micro­miroirs (DMD) et de deux détecteurs mono­pixel [1]. La sensibilité polarimétrique du montage proposé est due à une imperfection des miroirs réflechissants, qui est ici exploitée pour former un problème de reconstruction original, combinant un problème d'échantillonage compressive (Compressed Sensing) et une tâche de séparation de sources. Nous démontrons qu'une approche en deux temps résolvant chaque problème successivement peut être surpassée par une méthode de reconstruction jointe dédiée, implémentée à travers un algorithme FISTA repondéré. Une amélioration supplémentaire de la qualité de reconstruction à faible RSB est obtenue en incluant des contraintes physiques spécifiques à l'imagerie polarimétrique, qui sont implémentée dans le processus de reconstruction itératif via un algorithme Generalized Forward­ Backward (GFB). Le principe de la mesure et la qualité de reconstruction sont validés pas des simulations numériques sur des signaux 1D puis des images [1].

[1] J. Fade, E. Perrotin, and J. Bobin. Two ­pixel polarimetric camera by compressive sensing. submitted to Inverse Problems, HAL preprint : hal­01546101, 2017.

Efficient Light-Field Segmentation and Over-Segmentation

N. Sabater
Technicolor, Rennes, France

Light field acquisition devices allow capturing scenes with unmatched post-processing possibilities. However, the huge amount of high dimensional data poses challenging problems to light field processing and editing. In order to enable light field processing with a tractable complexity we address the problem of light field segmentation and over-segmentation.

Our first contribution is a novel graph representation for interactive light field segmentation using Markov Random Fields (MRF). The greatest barrier to the adoption of MRF for light field processing is the large volume of input data. The proposed graph structure exploits the redundancy in the ray space in order to reduce the graph size, decreasing the running time of MRF-based optimization tasks. Concepts of free rays and ray bundles with corresponding neighborhood relationships are defined to construct the simplified graph-based light field representation. We then propose a light field interactive segmentation algorithm using graph-cuts based on such ray space graph structure, that guarantees the segmentation consistency across all views. Our experiments with several datasets show results that are very close to the ground truth, competing with state of the art in light field segmentation methods in terms of accuracy and with a significantly lower complexity. They also show that our method performs well on both densely and sparsely sampled light fields.

Our second contribution focus on super-rays, which is a grouping of rays within and across views, as a key component of a light field processing pipeline. The proposed approach is simple, fast, accurate, easily parallelizable, and does not need a dense depth estimation. We demonstrate experimentally the efficiency of the proposed approach on real and synthetic datasets, for sparsely and densely sampled light fields. As super-rays capture a coarse scene geometry information, we also present how they can be used for real time light field segmentation and correcting refocusing angular aliasing.

Bibliography:

M. Hog, N. Sabater and C. Guillemot. Light field segmentation using a ray-based graph structure. ECCV-16

M. Hog, N. Sabater and C. Guillemot. Super-rays for Efficient Light Field Processing. Journal of Selected Topics in Signal Processing. To appear.

N. Sabater, G. Boisson, B. Vandame, P. Kerbiriou, F. Babon, M. Hog, R. Gendrot, T. Langlois, O. Bureller, A. Schubert, V. Allié. Dataset and Pipeline for Multi-view Light-Field Video. 2nd Light-Field Workshop at CVPR 2017.

Architectures et apports de systèmes de vision "light-field" pour le domaine de la vision

C. Riou, B. Collichio, J.P. Lauffenburger et C. Cudel
Laboratoire MIPS, Université de Haute Alsace, France

Les systèmes de vision plénoptiques, ou light-field d'une façon générale, se développent dans le domaine de la vision. Notre équipe s'intéresse à ce thème, et étudie particulièrement ses apports en vision industrielle. La présentation qui est proposée consiste à résumer deux résultats récents obtenus.

Dans un premier temps, un dispositif de vision multi-vues, constitué d'un capteur image et de 4 mini-lentilles, a été étudié pour générer des images refocalisées numériquement, calibrée en distance. Le,calibrage permet de disposer d'un jeu images refocalisées à différentes distances, et de travailler en vision 3D de façon alternative, comparé aux autres systèmes de vision 3D. Quelques exemples d'applications sont proposés dans le contexte du contrôle par vision, notamment sur des échantillons de pièces mécaniques.

Dans un second temps, nous avons étudié la un dispositif optique, capable de transformer une caméra standard en un système d'acquisitions multivues. Ce dispositif est prévu pour être inséré dans le chemin optique entre l'objectif principal et le capteur image d'une caméra. Après une étude de faisabilité, nous nous sommes attachés à caractériser le système en fonction de sa géométrie, afin par exemple, d'être en mesure de calculer un facteur de grossissement, des taux de recouvrement entre les vues et également la résolution en profondeur du dispositif.

Dématriçage multispectral basé sur l'utilisation de l'intensité

S. Mihoubi, O. Losson, B. Mathon et L. Macaire
Laboratoire CRIStAL, Université de Lille, Villeneuve d'Ascq, France.

Une image multipsectrale est composée d'images en niveaux de gris appelées composantes spectrales. Chaque composante spectrale comporte l'information de reflectance de la scène dans une fine bande du spectre du visible. Cette connaissance de la reflectance spectrale des objets est utile dans de nombreux domaines tel que l'art, l'agriculture, le recyclage... L'EquipEx IrDIVE dispose d'une caméra Snapshot permettant d'acquérir une image brute, dite MSFA, dans laquelle le niveau d'une seule composante spectrale est disponible en chaque pixel. Une procédure de dématriçage est alors nécessaire pour estimer une image multispectrale pleinement définie. Nous estimons l'intensité de l'image multispectrale à partir de l'image MSFA, Puis nous l'utilisons dans un algorithme de dématriçage. Les résultats expérimentaux montrent que notre méthode de dématriçage surpasse les autres visuellement et en terme de PSNR pour un temps de calcul raisonnable.

Patch non-local Kalman filters for video denoising

T. Ehret et P. Arias
CMLA, ENS Paris Saclay, Cachan, France

To process each frame, current state-of-the-art patch-based approaches to video denoising require access to a number of frames in a temporal neighborhood, for example 5 frames before and after the target frame. The results are highly superior to those obtained when each frame is processed independently, but at the expense of a higher per-frame computational cost, rendering such algorithms completely impractical for real-time applications. To address this issue, we propose to denoise the video via a recursive temporal filtering of its 2D patches along motion trajectories (estimated from the noisy input). We assume a simple linear Gaussian model for the evolution of each patch along its trajectory, which results in a Kalman filter acting on each patch trajectory. The model parameters are estimated using spatial self-similarity (by assuming that similar patches share the same parameters) and/or recursive temporal averaging along the trajectory (by assuming that the dynamics of the patch vary smoothly in time). The resulting algorithm achieves good results with high temporal consistency, and can be faster than the frame-by-frame with a still image denoising method.

Comparaison de deux systèmes plénoptiques

C. Herzoga,b,c, G. Dovillairea, X. Granierb,c,d, F. Harmsa, X. Levecqa, E. Longoe, L. Mignard-Debiseb,c, P. Zeitoune et O. de La Rochefoucaulda

a Imaging Optics, Orsay/Bordeaux, France.

b Laboratoire Photonique, Numérique et Nanosciences, Institut d'Optique Graduate School, Bordeaux

c Inria Bordeaux

d Laboratoire Bordelais de Recherche en Informatique, Bordeaux

e Laboratoire d'Optique Appliqué, ENSTA-CNRS-Ecole Polytechnique-Université Paris-Saclay, Palaiseau

La tomographie par rayons X permet l'acquisition d'images en 3 dimensions (3D). Elle est un outil indispensable pour le diagnostic médical. Cependant, cette percée s'est faite au prix d'une très forte augmentation de la dose de rayons X absorbée par les patients car chaque acquisition 3D requiert de très nombreuses images en 2D. Les travaux actuels portent donc sur la réduction de la dose absorbée par le patient lors de l'examen. Depuis quelques années se développe l'imagerie plénoptique qui permet l'acquisition du champ lumineux (« light-field ») représentant un échantillonnage de l'ensemble des rayons lumineux atteignant le capteur. Cet échantillonnage est spatial (position sur le capteur) et directionnel (direction d'incidence sur le capteur). Le traitement numérique des données brutes permet de reconstruire l'échantillon à partir d'une seule acquisition, et ce à des plans de profondeurs différentes. Il permet ainsi une reconstruction en 3D. Cette approche devrait permettre une diminution de la dose absorbée par l'échantillon ou la personne, une acquisition contenant déjà des éléments d'information 3D. Il existe deux principaux systèmes d'imagerie plénoptique, chacun associé à un algorithme de reconstruction spécifique. Le système dit 1.0 (« Traditional plenoptic camera ») a été popularisé par Ren Ng en 2005 [1,2]. Le système dit 2.0 a été présenté par Lumsdaine et Georgiev en 2008 [3,4] (« Focused plenoptic camera »). Afin de développer un système plénoptique adapté à nos besoins, ces deux systèmes ont été étudiés d'un point de vue expérimental et numérique (algorithme de reconstruction). Nous présenterons ici une comparaison de ces deux systèmes. Cette comparaison nous a permis de choisir la géométrie, les paramètres expérimentaux et l'algorithme de reconstruction les plus adaptés à nos échantillons.

Références:

[1] Ng R., Digital light field photography. PhD thesis, Stanford University, 2006.

[2] Ng R., Levoy M., Brédif M., Duval G., Horowitz M. and Hanrahan P., Light field photography with a hand-held plenoptic camera. Computer Science Technical Report CSTR, 2(11), 2005.

[3] Lumsdaine A. and Georgiev T., Full resolution lightfield rendering. Indiana University and Adobe Systems, Tech. Rep, 2008.

[4] Lumsdaine A. and Georgiev T., The focused plenoptic camera. In Computational Photography (ICCP), 2009 IEEE International Conference on, pages 1-8. IEEE, 2009.

Conservative scale recomposition for multiscale denoising (the devil is in the high frequency detail)

G. Faccioloa,b, N. Pierazzob,c et J.M. Morela
a CMLA, ENS Paris Saclay, Cachan, France

b DXO, Boulogne, France

c Google, Zurich, France

In this talk we will revisit the multiscale denoising principle. Multiscale denoising algorithms are based on the assumption that the lower frequencies are better denoised at coarse scales. This leads to the common pyramid processing in which low frequencies are copied from the coarse scale restorations. Our main observation is that denoising methods tend to damage high frequency details in the image, which in the recomposed pyramid result in frequency cut-off artifacts. We propose a simple solution consisting of a "conservative recomposition" of the scales that only retains the lower frequencies of each scale, with the obvious exception of the scale at the highest resolution. We demonstrate that this principle applies to most denoising methods and can be generalized to any pyramid structure. Joint work with Nicola Pierazzo and Jean-Michel Morel.

Compressive clustering of high dimensional datasets with 1-bit random sketching

V. Schellekens et L. Jacques
ISPGroup, ICTEAM, UCLouvain, Belgique

Machine learning algorithms, such as the k-means clustering, typically require several passes on a dataset of learning examples (e.g., signals, images, data volumes). These must thus be all acquired, stored in memory, and read multiple times, which becomes prohibitive when the number of examples becomes very large. On the other hand, the machine learning model learned from this data (e.g. the centroids in k-means clustering) is usually simple and contains relatively few information compared to the size of the dataset. Inspired by the field of Compressed Sensing where similar observations are made about the dimension of signals, Keriven et al have proposed a new technique to reduce the size of a very large dataset by summarizing it into a single object called the sketch. This sketch can be seen a very concise representation of the dataset distribution that still contains enough information for the target machine learning application. To construct this summary, the sketch computes the complex exponential of random projections of the learning examples (reminiscent of the Random Fourier features of Rahimi and Recht), before a pooling step, i.e., a summation of these transformations over the set of learning examples. This way, this non-linear sketching operator constitutes actually a random sampling of the characteristic function of dataset (empirical) distribution. The size of the resulting sketch is thus independent of the dataset size and has so far been used successfully in Gaussian Mixture Model estimation and clustering problems by Keriven et al. This work considers the possibility to define a new sketching operator that replaces the complex exponential with a universal quantization function (i.e., a square wave), in the context of k-means clustering with the sketch. The idea of this modification of the sketch is inspired by 1-bit embeddings of signals with the universal quantization, that preserve the local distances of high- dimensional vectors. This new sketch has the advantage of being a step closer to the hardware implementation of a sensor capturing the sketch of a dataset directly instead of acquiring all the signals sequentially. However, this modification of the sketch operator presents new challenges for the centroid retrieval algorithms due to the discontinuous nature of the universal quantization operation, and raises questions regarding the selection of the parameters of this new sketch. New algorithms that account for this discontinuity are proposed. Up to an increasing of the sketch length compared to the unquantized scheme, experimental results show that the quantized sketch, combined with adapted algorithms and sketch parameters, allows for accurate clustering results. The reason for this increase of the sketch dimension is discussed and potential solutions are proposed.

A 1-bit Quantized Compressive Scheme for Radar

T. Feuillen, L. Vandenhorpe et L. Jacques,

Ecole Polytechnique de Louvain, Louvain, Belgique

This work studies a 1-bit quantized compressive sensing (QCS) scheme of a radar signal receiver that could enable novel systems with reduced complexities or cheaper design compared to high resolution strategies. In particular, the range of a sparse set of targets is estimated with a dense or randomized frequency modulated continuous wave (FMCW) modulation with an acquisition process limited to only two 1-bit Analog to Digital Converters (ADCs) per antenna, one for each ?I? and ?Q? channels (i.e., the real and the imaginary band of the recorded signal).

Extensive simulations on the corresponding (random) radar measurement model show first that close sparse target configurations are associated to close quantized observations up to some small distortions. This observation, however, does not entail a perfect distinctive mapping of each vectors in the quantized space. A counter example is presented for the case of distinct extremely sparse vectors where the quantized data are identical.

A quantized version of compressive sampling matching pursuit (COSAMP) is then used for the estimation of a sparse set of targets from complex QCS radar observations. A comparison by means of Monte Carlo simulations for different level of signal-to-noise ratio, sparsity and sampling rate (the measurement number) between the proposed 1-bit QCS framework and the full resolution scheme is provided.

Finally, the feasibility of the QCS approach is studied over three different experimental setups in real conditions, with various sizes and quality. Measurements in an anechoic chamber using a vector network analyser (VNA) are performed for targets at small ranges. Then, measurements using a commercial radar and a target simulator able to simulate large ranges are provided. The last setup consists of real targets in a outside environment, which demonstrates the practicality of the proposed method.

Optimization of IR flash LIDAR sensor for navigation and 3D imaging

V. Saraiva Parahyba et R. Perrier
CEA-LETI, Grenoble, France

The purpose of my work is the optimization of an IR Flash LIDAR sensor for navigation and 3D imaging. The principle of operation of the LIDAR in question is a direct time-of-flight measurement, which allows the observation of the range information in a scene using a matrix of avalanche photodiodes and providing 3D imaging. This sensor permits the acquisition of 3D information (range) and 2D information (intensity, gray-scale) with a single pulse emitted by an eye-safe laser. In possession with this information, we are aiming to improve the system accuracy by applying data-fusion techniques. The application envisioned is spatial exploration, specially autonomous navigation for safe landing in extraterrestrial bodies.

How to capture a good photo of the Mona Lisa during a busy museum day ?

A. Buades, G. Haro, E. Meinhardt-Llopis, E. López et J.M. Morel
CMLA, ENS Paris Saclay, Cachan, France

The problem.

Taking good photographs of paintings is notoriously difficult. There are several reasons for that. First, it is often impossible to place the camera exactly in front of the canvas so that the image appears well-centered. Second, museums usually use subdued lighting, so that images are dark and noisy. Third, there are often punctual sources of light that create a lot of reflections and shadows, and these effects are worsened when there is a glass covering the canvas. Finally, commodity cameras simply do not have enough resolution to capture all the details of moderately-sized paintings. The common, high-tech, solutions. When conservators need a good-quality image they have two different options, and each of them is rather expensive. The first option is to scan the painting, by removing it from its support. The second option is to close the room and install diffuse lighting equipment to take the photograph in good conditions using a high resolution camera. If the desired resolution is not possible with a single image, several close-up frontal views are stitched together in a later processing step.

The proposed, low-tech, algorithm.

We propose a different approach, based on the fusion of several low-quality images of the same painting. Thus, we describe a method to produce a single, high resolution, clean and well-lit image, out of many low-resolution noisy images taken in bad lighting conditions. The algorithm is a combination of several elementary operation in image processing. First, we register all the images into a common reference frame. Then, we compute a statistically robust fusion of the image gradients at each point. Finally we solve a Poisson equation to recover an image from the gradient field. Notice that the robust fusion allows to recover a whole image even if each of the images in the input collection is incomplete, due to occlusions by e.g. people walking in front of the camera.

Correction des effets de relief en spectro-imagerie aéroportée

C. Barbansona,b, A. Almansac, Y. Ferreca et P. Monassed
a ONERA, Palaiseau, France

b Télécom Paris-Tech, Département Signal et Image, Paris, France

c MAP5, Université Paris-Descartes, Paris, France

d LIGM, Ecole des Ponts, UPE, Champs-sur-Marne, France

Nous présentons une série de traitements appliqués aux images d'un spectro-imageur à transformée de Fourier statique. En effet, ce type d'instrument acquiert une séquence dense d'images qu'il faut recaler pour construire les spectres. Cependant, cette étape souffre d'erreurs, liées aux effets du relief sur les images. Nous proposons donc d'obtenir un modèle numérique d'élévation à partir des images du spectro-imageur. Pour cela, nos traitements comportent trois étapes. D'abord, nous décomposons l'image afin d'en retirer les franges d'interférences, utiles pour la fonction spectrale de l'instrument, mais gênantes pour les traitements stéréoscopiques. Ensuite, nous abordons les traitements stéréoscopiques en deux temps : l'utilisation des images des plans épipolaires pour obtenir une carte éparse, puis la densification de cette carte par minimisation d'une

énergie. Sieleters est un spectromètre à transformée de Fourier statique développé par l'ONERA [Cou+15]. Il comporte un interféromètre de Michelson, placé en amont de l'objectif d'imagerie, qui fait interférer l'image de la scène. L'image obtenue en sortie est donc la superposition de la scène à des franges d'interférence rectilignes. Celles-ci sont fixes, et le défilement de la scène est assuré par le déplacement de l'avion. Chaque ligne de l'image a donc une même valeur de différence de marche. L'avion suit une trajectoire rectiligne, et alors tout point au sol est vu sur chacune des lignes de l'image, c'est-à-dire sous différents états d'interférence. On peut alors reconstruire un interférogramme pour chaque élément de la scène, et leur spectre par transformée de Fourier. Si la scène présente du relief, alors les correspondances entre les différentes images associées pour la construction de l'interférogramme sont incorrectes, et le spectre est erroné.

Les franges sur les images de Sieleters, très contrastées à certains endroits, perturbent les traitements stéréoscopiques. Afin de correspondre au mieux au modèle de formation d'image, qui correspond à une modulation des fréquences de la scène par les fréquences des franges, la solution adoptée est de décomposer l'image suivant un modèle multiplicatif tel que : w = u(1 + v) où w est l'image mesurée par l'instrument, u est la partie contenant les fréquences de la scène et v est la composante contenant les fréquences des franges.

La résolution de ce problème a été publiée dans [Son+17]. La méthode des images des plans épipolaires a d'abord été développée dans [BBM87]. Elle se base sur une extension de la contrainte épipolaire : lorsque la trajectoire de l'appareil de prise de vue est linéaire, les plans épipolaires sont confondus entre toutes les paires d'images. On peut alors construire une nouvelle image à partir de chacun de ces plans : l'image des plans épipolaires (EPI). Il s'agit d'une image spatiotemporelle : l'un des axes décrit le temps, l'autre correspond à la direction du déplacement de l'instrument. Ce que l'on observe sur l'EPI sont donc les trajectoires des points de la scène en fonction de la position de la caméra selon l'axe de déplacement. La pente de ces trajectoires fournit la disparité de l'objet. On peut alors obtenir une carte éparse. Afin d'obtenir un modèle numérique de surface continu, nous proposons de densifier la carte éparse. Pour cela, nous reprenons la méthode de [KMT14] et l'adaptons au cas multi-vues.

Bibliographie

[BBM87] R. Bolles et al. Epipolar-Plane Image Analysis : An Approach to Determining Structure From Motion. In : International Journal of Computer Vision 1.1 (1987), p. 755.

[Cou+15] C. Coudrain et al. SIELETERS, an airborne infrared dual-band spectro-imaging system for measurement of scene spectral signatures. eng. In : Opt Express 23.12 (juin 2015), p. 16164-16176.

[KMT14] V. Kolmogorov et al. Kolmogorov and Zabihs Graph Cuts Stereo Matching Algorithm. In :Image Processing On Line 4 (2014), p. 220-251. doi : 10.5201/ipol.2014.97.

[Son+17] D. Soncco et al. Fast and Accurate Multiplicative Decomposition for Fringe Removal in Interferometric Images. In : IEEE Transactions on Computational Imaging (2017).

Status of the development of a proton imaging system

S. Deffeta, F. Vander Stappenb, P. Faracec et B. Macqa
a ICTEAM, Université catholique de Louvain, Louvain-La-Neuve, Belgique.

b Ion Beam Applications (IBA), Louvain-La-Neuve, Belgique

c Proton Therapy Unit, Hospital of Trento, Trento, Italy

Purpose: Thanks to the finite range of the protons a , proton-therapy is of undeniable therapeutic interest. However, proton treatment planning suffers from uncertainties in the computation of the protons range, a major source of which resides in the conversion of the planning CT into proton stopping powers. As a means of measuring the proton energy loss along the path of the beam, proton radiography has benefited from a recent body of research that demonstrated its clinical potential to significantly reduce the range uncertainty. A new prototype of proton imaging system was developed based on multi-layer ionization chambers b . The detector acquires proton radiographs, the pixels of which consist of depth-dose profiles. Using this third dimension of the image, our team develop innovative post-processing tools aiming at reducing the dose to be delivered to the patient while maintaining excellent accuracy.

Methods: In order to mitigate patient misalignment, a specific registration algorithm was implemented to align the acquired proton radiographs on the 3D planning CT. The proposed method optimizes a cost function which performs a comparison between the acquired data and the one simulated based on a proton propagation model. A robustness analysis of the registration algorithm was conducted with respect to three confounding factors (measurement noise, CT calibration errors and spot spacing) for two methodologies: one based on dual orthogonal projections and the other one on a single projection. In a recent and still ongoing work, the same propagation model was also used to increase, in post processing, the spatial resolution as well as to perform some deblurring via a sparse representation of the underlying physical quantity of interest: the integrated stopping power.

Results and Discussion: Measurements performed on anthropomorphic phantoms demonstrated the ability of the device to generate range error maps between the acquired data and the ones predicted using a treatment planning system. The data were shown to be very sensitive to any small misalignment, demonstrating the crucial need for an accurate registration method. The method that we propose to mitigate this confounding factor showed a typical registration accuracy of 0.2 mm for translations and 0.2° for rotations even with a resolution as low as 5 mm. Finally, the preliminary results on a deconvolution and super-resolution introduce an important trade-off between the dose that should be delivered to the patient and the accuracy on the integrated stopping power estimation.

a) WD Newhauser, R Zhang, The physics of Proton Therapy, Phys Med Biol. 2015 60(8): R155-R209

b) PFarace, R Righetto, A. Meijers, Pencil beam proton radiography using a multilayer ionization chamber, Phys Med Biol. 2016 61(11): 4078-87

Reconstruction d'images hyperspectrales à faible coût pour un imageur pilotable à double dispersion

I. Ardia,b, H. Carfantana, S. Lacroixb et A. Monmayrantb

a IRAP, Université de Toulouse, Toulouse, France

b LAAS-CNRS, Université de Toulouse, France

Contexte: L'imagerie hyperspectrale (HS), c'est-à-dire l'acquisition d'une image avec un très grand nombre de bandes spectrales (typiquement plusieurs centaines), a des applications dans des domaines variés. Les procédés technologiques classiques d'imagerie HS procèdent par balayage spatial ou spectral, ils ne sont donc pas instantanés et sont restreints à l'acquisition de scènes statiques, où l'imageur est soit lui-même statique, soit en mouvement précisément contrôlé dans le cas du balayage spatial. Pour remédier à ce problème, de nombreux dispositifs dits « instantanés » (snapshot) ont été proposés. Certains nécessitent des systèmes optiques complexes, qui comprennent par exemple une série d'imageurs montés derrière une série de miroirs dichroïques ou de filtres spectraux. D'autres exploitent des algorithmes de reconstruction utilisant un mélange spatio-spectral du cube obtenu grâce à un système optique défini une fois pour toutes à la conception. Les algorithmes de reconstruction nécessitent alors des hypothèses sur la scène, et sont coûteux en ressources de calcul. De plus, ces systèmes nécessitent une calibration spatio-spectrale précise.

Contribution : Un nouveau concept d'imageur hyperspectral a été proposé au sein du LAAS [1] dont la configuration est modifiable en temps réel par la commande d'une matrice de micro-miroirs à deux positions (réflexion ou réjection du signal lumineux) effectuant un filtrage spatial (Spatial Light Modulator, SLM). Le SLM peut donc être exploité pour jouer le rôle de multiples fentes, dont la largeur, donc la résolution spectrale, et la position sont entièrement pilotables. L'intérêt de ce nouveau concept d'imageur est qu'il permet de spécifier dynamiquement, au moment de l'acquisition, les résolutions spectrales en toute zone du cube hyperspectral. L'objectif à terme est de rendre ce dispositif adaptatif, c'est-à-dire capable d'adapter sa configuration au cours des acquisitions au contenu hyperspectral de la scène observée. Dans un premier temps, nous nous intéressons ici à la reconstruction d'une image HS à partir d'un faible nombre d'acquisitions dans des configurations différentes du SLM, pour un coût de calcul restreint. Nous avons pour cela développé un modèle numérique du dispositif à partir duquel le problème de reconstruction général pour plusieurs acquisitions a été établi. Le procédé d'acquisition du dispositif implique une perte inéluctable de l'information spatio-spectrale et par conséquent l'impossibilité reconstruire l'image HS par une simple inversion du problème. Nous avons donc considéré une reconstruction avec une pénalisation quadratique pour son faible coût calculatoire. En effet, ce choix permet une reconstruction par une inversion matricielle directe dans le cas d'une pénalisation spatiale mono-dimensionnelle [2]. Lors du passage à une régularisation spatiale bidimensionnelle, l'inversion reste possible pour un coût raisonnable par une méthode itérative, grâce aux propriétés du dispositif (co-localisation), malgré la grande dimension des matrices. Enfin, pour pallier la perte de résolution due à la régularisation quadratique, nous avons considéré une contrainte de préservation de contours spatiaux de l'objet observé, disponibles aisément à partir de l'acquisition d'une image panchromatique.

Résultats : Nous présentons quelques résultats de simulations pour illustrer la méthode de reconstruction, avec régularisation mono et bidimensionnelle. Nous évaluons le gain de précision obtenu par l'ajout de la contrainte de préservation de contours puis de la pénalisation bidimensionnelle. Nous exhibons, dans le cas de la pénalisation bidimensionnelle, les différentes stratégies d'utilisation que permet l'algorithme d'inversion itératif et les éventuelles améliorations en terme de temps de calcul et de précision qu'elles peuvent apporter. Enfin nous présentons les schémas d'exploitation des données HS reconstruites afin d'optimiser les acquisitions ultérieures par rapport à l'objet observé.

[1] S. McGregor, S. Lacroix and A. Monmayrant, Adaptive hyperspectral imager: design, modeling, and control. Journal of Optics, 17(8), Aug. 2015.

[2] I. Ardi, H. Carfantan, S. Lacroix and A. Monmayrant, Reconstruction d'images hyperspectrales à faible coût pour un imageur pilotable à double dispersion. Colloque GRETSI, sept. 2017.

Estimation de profondeur avec apprentissage adversaire

M. Carvalhoa, B. Le Sauxa, P. Trouvé-Pelouxa, F. Champagnata et A. Almansab

a ONERA, Palaiseau, France

b MAP5, Université Paris-Descartes, Paris, France

L'estimation de profondeur monoculaire est un problème majeur de la vision par ordinateur. Des tâches comme la segmentation et la détection d'objets, la reconnaissance 3D et la compréhension d'une scène peuvent bénéficier de la prédiction de profondeur précise. Les approches traditionnelles pour l'estimation de cartes de profondeur demandent plusieurs capteurs et ont souvent des limitations selon l'environnement (soleil, texture). Récemment, le machine learning obtient résultats étonnants sur de nombreuses applications en vision par ordinateur. Nous proposons alors l'exploration de ces méthodes. Le récent succès des réseaux convolutifs en vision par ordinateur a mené plusieurs travaux ([1, 2, 3,4]) à exploiter les aspects géométriques de la scène avec une seul image pour estimer la structure 3D avec l'apprentissage profond. Les approches existantes se basent sur un réseau convolutif à une ou plusieurs échelles qui cherche à minimiser une fonction de coût pré-définie. Le principal défi consiste alors à définir la fonction de perte adéquate pour la régression, ou classification. Les réseaux génératifs adversaires (GANs), proposés originairement par [5], ont la particularité de ne pas avoir besoin d'une fonction de perte spécifique pour la tâche en question (segmentation, estimation de la profondeur). Les GANs consistent en deux réseaux avec des objectifs adversaires. Le premier, le générateur, doit apprendre à générer des cartes de profondeur à partir d'une image en couleur. Le deuxième, le discriminateur, substitue la définition au préalable d'une fonction de perte qui doit être minimisé (perte L1, L2). Ce deuxième réseau doit apprendre à définir si une carte de profondeur mise à son entrée appartient à la vérité terrain, ou à des images provenues du générateur. Nos premières expériences portent sur des images issues de caméras classiques. Nous utilisons la base de données NYUv2 [6], qui contient des images en intérieur (indoor) prises par un capteur RGB-D (Kinect). Un générateur du type codeur-décodeur est entraîné avec des images RGB et les informations de profondeur correspondantes sous forme de cartes de profondeur. Nos résultats montrent la capacité du réseau à apprendre la structure globale de l'image et à prédire des profondeurs cohérentes. Le principal avantage de notre méthode est la définition implicite de la fonction de perte par apprentissage d'une métrique dans l'espace des images. Nous menons une analyse pour optimiser la combinaison d'information globale et d'indices locaux pour la prédiction. Ces travaux seront étendus à des images issues de capteurs à faible profondeur de champ, afin de bénéficier d'une information de profondeur, contenue dans le flou de défocalisation. Enfin notre approche sera appliquée à des capteurs non-conventionnels dont le flou de défocalisation est optimisé pour renforcer sa variation avec la profondeur.

RÉFÉRENCES

[1] D. Eigen and R. Fergus, Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture, ICCV, 2016.

[2] F. Liu, C. Shen, and G. Lin, Depth from Single Monocular Images, 2015.

[3] P. Wang, X. Shen, Z. Lin, S. Cohen, B. Price, and A. L. Yuille, Towards unified depth and semantic prediction from a single image, in CVPR, 2015.

[4] A. Chakrabarti, J. Shao, and G. Shakhnarovich, Depth from a single image by harmonizing overcomplete local network predictions, NIPS, 2016.

[5] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, Generative adversarial nets, NIPS, 2014.

[6] N. Silberman, D. Hoiem, P. Kohli, and R. Fergus, Indoor Segmentation and Support Inference from RGBD Images, in ECCV, 2012.

Simulation and robotics implementation of Light-Field camera

M. Balcilar et B. Stanciulescu

Mines Paris-Tech, Paris, France

To present basics of plenoptic camera, our plenoptic camera simulation and our slam implementation by Raytrix and Lytro plenoptic cameras are the main aims of this proposed presentation.

In order to measure distance in robotics applications, two types of camera have been used. The cameras which have an infrared light source and measure distance in order to principle of infrared light travel time called active cameras. In markets, there are plenty of low-cost active camera which can be use in indoor robotics implementations. with recent technology, we can measure every single pixel's depth information just up to 5 meters, On the other hand, passive cameras are based on stereo vision that can be calculate estimated depth with image matching which was taken different point of views. With these cameras, although we just estimate high variation pixel's depth, it can be work up to 20 meters. That is why these camera are more appropriate for outdoor applications.

Plenoptic Camera (Light Field Camera) is a kind of passive camera which have thousands of micro lens behind the main lens and in connection to this, it produces thousands of micro images. The depth estimation mechanism of plenoptic camera is based on stereo matching of these thousands of micro images. Up to now, There are 3 different Plenoptic Camera type in the literature. These are Traditional Plenoptic Camera (Plenoptic 1.0), Focused Plenoptic Camera (Plenoptic 2.0) and Multi-focused Plenoptic Camera.

We have used Physically Based Rendering (PBRT), which is very well-known framework, especially by the researchers who are focusing on Virtual Reality and Optics, to develop our simulation model. Although it has not GPU support, it describes both the mathematical theory behind a modern photorealistic rendering system as well as its practical implementation. With our project, desired plenoptic camera parameters are defined by text based interface.

Thank to developed plenoptic engine in the scope of this project, we can estimate depth information and reconstruct refocused image by the way of processing of raw image that is output of the simulation. Disparity match in plenoptic raw images is a bit different from traditional stereo vision methods. Baseline distance between two consequent microimages is so small is the main problem of plenoptic depth estimation. To solve this problem, subpixel methods were implemented under frequency domain. On the other hand, to use more than one couple of microimage, we can increase depth estimation precision in spite of computational cost.

Simultaneous localization and mapping (SLAM) is the computational problem of constructing or updating a map of an unknown environment while simultaneously keeping track of a robot's location within it. Visual Slam means SLAM with just one or more cameras but no gyros, accelerometers ..etc. Our developed SLAM method is a variation of LSD : Large-Scale Direct Monocular SLAM which is well-known by robotics community.

Première démonstration d'imagerie polarimétrique de Mueller in vivo du col utérin

J.Vizeta, J. Rehbindera, S. Debya, S. Roussela, A. Nazacb, R. Soufanc, C. Genestiéc, C. Haie-Mederd, H. Fernandeze, F. Moreaua et A. Pierangeloa

a LPICM, UMR CNRS 7647, Ecole polytechnique, 91128 Palaiseau, France

b Department of Obstetrics and Gynecology, University Hospital Brugmann, Université Libre de Bruxelles, Bruxelles, Belgique

c Institut Gustave Roussy, Service d'anatomie pathologique gyn écologique, Villejuif, France

d Institut Gustave Roussy, Service de Curiethérapie, Villejuif, France

e Service de Gynécologie Obstétrique, CHU de Bicêtre AP-HP, Le Kremlin-Bicêtre, France

Le cancer du col utérin représente un problème de santé majeur car il demeure, de nos jours, le deuxième cancer le plus fréquent chez la femme et dans le monde, emportant avec lui plus de 275000 vies par an. Une technique courante dans la stratégie de dépistage de ce cancer, nommée # colposcopie # , consiste à examiner le col utérin avec un microscope à longue distance de travail (nommé colposcope), après application d'acide acétique et d'iodine. Cette technique permet généralement d'améliorer le contraste visuel entre les zones saines et précancéreuses mais elle souffre malheureusement de graves lacunes : les résultats qu'elle procure sont peu reproductibles, et leur interprétation dépend fortement du praticien hospitalier. L'imagerie polarimétrique de Mueller est une technique toute indiquée pour améliorer grandement les performances de la colposcopie. Elle est la plus sophistiquée de toutes les techniques d'analyse polarimétriques en optique, car elle est la seule capable de rendre compte de tous les changements que peut produire un milieu sur les états de polarisation de la lumière. Sa capacité à rendre compte de la structure des tissus biologiques à des échelles microscopiques a été éprouvée avec succès pendant les deux dernières décennies sur un grand nombre de tissus biologiques ex vivo, jusqu'à devenir un outil très prometteur pour l'aide au diagnostic précoce de certaines pathologies, dont le cancer du col utérin [1, 2]. Toutefois, malgré ce potentiel, sa mise en oeuvre opérationnelle pour l'imagerie sur des tissus biologiques in vivo est restée jusqu'à aujourd'hui un défi technique irrésolu, car elle nécessite en premier lieu la prise de seize images d'intensité dans un temps extrêmement réduit (de l'ordre de la seconde) afin de s'affranchir des flous de bougé dus aux mouvements involontaires d'un patient (exemple : respiration). Par ailleurs, les polarimètres de Mueller sont des instruments généralement volumineux, ce qui les rend difficilement compatibles avec les exigences de l'imagerie d'organes internes du corps humain par voie optique.

Dans cette communication, nous présentons les toutes premières images polarimétriques de Mueller de col utérin réalisées in vivo sur des patients humains, dans des conditions réelles de bloc opératoire [3]. Ces images, riches d'informations sur la structure des tissus analysés, ont été obtenues avec des temps d'acquisition de 1,6 s grâce à un tout premier prototype d'un colposcope sur lequel a été greffé un polarimètre de Mueller miniaturisé qui sera également décrit pendant la conférence.

Les auteurs remercient l'Institut National du Cancer (INCa) pour son soutien financier à ce travail dans le cadre du projet PAIR Gynéco.

Références

[1] A. Pierangelo et al., Polarimetric imaging of uterine cervix : a case study, Opt. Express, vol. 21, no. 12, pp. 14120-14130 (2013).

[2] J. Rehbinder et al., Ex vivo Mueller polarimetric imaging of the uterine cervix : a first statistical evaluation, J. Biomed. Opt.,vol. 21, no. 7, p. 71113 (2016).

[3] J. Vizet et al., In vivo imaging of uterine cervix with a Mueller polarimetric colposcope, Sci. Rep., vol. 7, no. 1, p. 2471 (2017).

Automatic 3D Reconstruction from Multi-Date Satellite Images

G. Faccioloa,, C. de Franchis et E. Meinhardt-Llopis

a CMLA, ENS Paris Saclay, Cachan, France

We propose an algorithm for computing a 3D model from several satellite images of the same site. The method works even if the images were taken at different dates with important lighting and vegetation differences. We show that with a large number of input images the resulting 3D models can be as accurate as those obtained from a single same-date stereo pair. To deal with seasonal vegetation changes, we propose a strategy that accounts for the multi-modal nature of 3D models computed from multi-date images. Our method uses a local affine camera approximation and thus focuses on the 3D reconstruction of small areas. This is a common setup in urgent cartography for emergency management, for which abundant multi-date imagery can be immediately available to build a reference 3D model. A preliminary implementation of this method* was used to win the IARPA Multi-View Stereo 3D Mapping Challenge 2016. Experiments on the challenge dataset are used to substantiate our claims.

Face recognition from Lytro Images

V. Chiesa, J-L. Dugelay

EUROCOM, Campus SophiaTech

Objective

Recently light field cameras are becoming more affordable and popular thanks to higher capabilities with respect to regular cameras in capturing information of a scene. With the aim of investigating the potential of Lytro sensor [1] on face recognition, preliminary analysis on IST-EURECOM Light Field Database (LFFD) [2] are presented.

Materials and Methods

Taking advantages of different representations of light field data, images are rendered as multiview images, RGB combined with depth map or still multifocused images. Face recognition baseline methods are tested on all representations. Two experiments are conducted on six significant face variations acquired during 2 sessions: neutral face, one emotion (smiling face), one action (open mouth), one different illumination (high illumination level) and two occlusions (hand on mouth and sunglasses). In experiment 1, only the neutral faces acquired during the first session are considered as training set, while in experiment 2, neutral expression for both the sessions is used as gallery.

Results

Results of face recognition on central view, RGB and most on focus image show a good recognition rate for all methods except for PCA-based method when applied on face variation with occlusions. Compared with experiments conducted on single RGB images, performances on depth images alone are lower because the proposed algorithms are more suitable for textured images. Fusion between RGB and depth images improves face recognition when 3D occlusions occur. On the contrary, the fusion of multiview data or combination of images focused at different levels do not generate significant improvements.

Conclusions

The different performances of face recognition algorithms on multiview images, RGB combined with depth map and multifocused images prove how much data representation influences processing steps and performances. Hence, for optimal performances of face recognition from Lytro images both data modeling and processing have to be revisited.

Face recognition; Light field; Depth map; Multiview; Multifocused

References:

[1] https://www.lytro.com/

[2] A. Sepas-Moghaddam, V. Chiesa, P. Lobato Correia, F. Pereira, J-L. Dugelay, The IST-EURECOM light field face database, IWBF 2017, 4-5 April 2017, Coventry, UK