Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.
Inscriptions closes à cette réunion.
37 personnes membres du GdR ISIS, et 35 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 80 personnes.
Le développement des technologies numériques notamment autour de l'image, est un enjeu important pour la préservation, la restauration, l'étude, la création et la diffusion des objets, monuments, \oelig;uvres, documents issus du domaine artistique et culturel. Réciproquement, les problèmes soulevés par ces problématiques posent de nouveaux challenges à la communauté scientifique de la vision par ordinateur et du traitement de l'image comme en témoignent l'augmentation des publications et la présence de sessions spéciales dans des conférences de référence de ces domaines.
Après l'engouement suscité et le succès rencontré par la première journée organisée autour de cette thématique (plus de 40 participants), nous proposons d'organiser une deuxième journée avec pour ambition de rassembler les chercheurs « traiteurs de signal / d'image » et les experts issus des instituts d'art, musées et autres structures dont les travaux de recherche sont centrés sur cette thématique. Les présentations regroupant des chercheurs des deux communautés seront fortement appréciées (idée proposée lors de la discussion en fin de la première journée).
Les thématiques visées par cette journée concerneront toutes les méthodes d'acquisition, de traitement et d'analyse de contenu dans le contexte spécifique de l'art et du patrimoine comme par exemple les méthodes liées à :
Les travaux présentés pourront faire état des spécificités propres au patrimoine culturel (comme la rareté des données, ou leur fragilité par exemple). Les exposés permettront ainsi aux autres chercheurs de découvrir des méthodes nouvelles qui pourraient éventuellement s'adapter à leur champ d'application, ou bien de proposer des méthodes qui pourraient répondre aux domaines spécifiques abordés dans cette journée.
Un exposé long sera présenté par Livio De Luca, Directeur de recherche, directeur de lUMR CNRS/MCC MAP - Modèles et simulations pour l'Architecture et le Patrimoine, Marseille.
Les personnes souhaitant présenter leurs travaux sont priées d'envoyer un résumé d'une page maximum (format pdf) avant le 28 févier 2018 aux organisateurs :
Livio De Luca
UMR CNRS/MCC MAP, Marseille
Adrian Lecoutre, Benjamin Negrevergne, Florian Yger
LAMSADE, CNRS, Université Paris-Dauphine
The artistic style (or artistic movement) of a painting is a rich descriptor that captures both visual and historical information about the painting. Correctly identifying the artistic style of paintings is crucial for indexing large artistic databases such as the one recently released by the Metropolitan Museum [met08].
In the RASTA project, we demonstrated how to use residual neural networks in combination with a deep retraining procedure to address the problem. The resulting approach outperforms previous work by almost 10% on 25 different artistic styles. It was presented to ACML 2017[LNY17] and a demo is available online:
http://www.lamsade.dauphine.fr/~bnegrevergne/webpage/software/rasta/rasta-web/src/frontend
In the presentation, we will briefly expose the details of the training procedure and discuss several reasons that may explain why it is particularly adequate for the task of artistic style recognition. We will also provide qualitative evaluation of the results based on recent feedback we have received form artists. Finally, we will discuss a variety of applications that can be built upon the embedding learned by our neural networks.
Judging by the keen interest of the general public and by the recent publications on this topic (two other papers [SW17, MCS17] being published at the same time as ours), we believe that this is a timely application of deep learning, and that it will provide food for thought to the audience.
References
[LNY17] Adrian Lecoutre, Benjamin Negrevergne, and Florian Yger. Recognizing art style automatically in painting with deep learning. In Asian Conference on Machine Learning, pages 327?342, 2017.
[MCS17] Hui Mao, Ming Cheung, and James She. Deepart: Learning joint representations of visual arts. In Proceedings of the ACM Conference on Multimedia, pages 1183?1191. ACM, 2017.
[met08] The Met Makes Its Images of Public-Domain Artworks Freely Available through New Open Access Policy. http://www.metmuseum.org/press/news/2017/open-access, 2008. [Online; accessed 14-February-2017].
[SW17] Gjorgji Strezoski and Marcel Worring. Omniart: Multi-task deep learning for artistic data analysis. arXiv preprint arXiv:1708.00684, 2017.
Patrice Abry1, Stéphane G. Roux1, Nicolas Tremblay1, Pierre Borgnat1, Stéphane Jaffard2, Herwig Wendt3, Béatrice Vedel4, Andrew G. Klein5, C. Richard Johnson6, Paul Messier7, Jim Coddington8 and Lee Ann Daffner8
1 Laboratoire de Physique, ENS de Lyon, France
2 LAMA, Université Paris-Est Créteil, France
3 IRIT, Université de Toulouse, France
4 LMBA, Université de Bretagne Sud, France
5 Western Washington University, USA
6 Cornell University, USA
7 Yale University, USA
8 MoMA, USA
La texture de la surface du papier photographique constitue son attribut essentiel, au centre des procédures de production et commercialisation, comme des choix de son usage.
Ainsi, la caractérisation des textures d'impressions photographiques peut-elle fournir aux professionnels de l'étude d'oeuvres d'art un ensemble d'informations pertinentes relativement aux intentions esthétiques du photographe ou à ses pratiques et techniques professionnelles.
Dans la pratique actuelle, la caractérisation de la texture du papier photographique repose essentiellement sur la longue expérience et la qualité de l'analyse visuelle d'un ensemble de professionnels associés à des institutions détentrices de collections, tels que les conservateurs. Les inévitables variabilités inter-individus et même intra-individu, combinées aux tailles souvent impressionnantes des collections font naître le besoin significatif d'étudier les éventuels apports de procédures automatisées et informatisées pour la caractérisation et la classification d'impressions photographiques. Récemment, P. Messier et ses collaborateurs ont mis au point une technique par éclairage rasant de "mesure de texture", qui en rend compte par des jeux d'ombres portées.
Le présent travail s'efforce de quantifier les bénéfices et limitations, pour la caractérisation de la texture d'impressions photographiques, de l'utilisation combinée de cette procédure de mesure de texture avec des outils avancés de traitement statistique de l'image, construits sur une collection de représentations multiéchelles anisotropes de celle-ci.
L'intuition sous-jacente aux représentations multiéchelles, un outil formel développé initialement pour l'analyse de rugosité ou d'irrégularité dans des applications physiques puis biomédicales, repose sur l'analyse de la même texture à plusieurs échelles (ou résolutions) simultanément et réside dans un changement de paradigme : l'information n'est pas dans ce qui est vu indépendamment à chaque échelle, mais dans la façon dont ce qui est vu change quand on varie l'échelle d'analyse.
Dans ce travail, ce nouvel outil de traitement statistique de l'image est adapté pour et appliqué à l'analyse de deux jeux de données différents de papiers photographiques. Pour démontrer la faisabilité de l'entreprise, l'outil est d'abord mis en oeuvre à une jeu de données de référence de papiers photographiques historiques (argent-gélatine), de taille modeste (120 photographies) mais qui combine à dessein plusieurs niveaux de similarité. Ensuite, il est appliqué à un jeu de données de grandes tailles (2491 photographies) présentant un contenu culturel important rassemblé par le Musée d'Art Moderne de New York (MoMA).
Les résultats encourageants obtenus par cette procédure totalement automatisée et non-supervisée pour la caractérisation et la classification d'impressions photographiques sont interprétés en étroite collaboration avec des professionnels de l'étude des oeuvres d'art avec comme objectifs d'évaluer la pertinence d'incorporer de prochaines versions de ces outils dans les pratiques de recherche en histoire de l'art et en humanités numériques.
Mots-clé: papier photographique, texture, Analyse en ondelettes multiéchelle et anisotrope, classification automatique et numérisée, base de données de texture, histoire de l'art numérique, humanités numériques, traitement d'images pour la recherche en histoire de l'art.
Références
https://www.irit.fr/~Herwig.Wendt/data/SPMAG2015.pdf
http://perso.ens-lyon.fr/patrice.abry/ARTICLES_PDF/14Johnson.pdf
http://perso.ens-lyon.fr/patrice.abry/ARTICLES_PDF/AbryWendtJaffard2013
Florent Laroche1, Harvey Rowson2
1 Laboratoire des Sciences du Numérique de Nantes 2 Société DeltaCAD
Le projet ANR ReSeed (REtro-conception SémantiquE d'objEts patrimoniaux Digitaux) rassemble différents partenaires institutionnels, académiques et industriels, dans le but de construire de nouvelles façons de capitaliser, d'analyser et de valoriser notre patrimoine en utilisant les outils numériques tant de la 3D que des bases de données mettant en relation la sémantique des objets. La récente démocratisation du "virtuel" a permis à de nombreuses équipes de recherche de s'emparer de ces nouveaux outils et également d'engager des démarches en ce sens. Pour autant, des problématiques se posent : Quelle(s) nouvelle(s) méthodologie(s) ? Quel périmètre pour les outils numériques ? Quels formats de données interopérables ? Quels nouveaux métiers ? Comment valider les résultats ? Définir cette vision du patrimoine numérique de demain est l'objectif de ce projet ANR interdisciplinaire porté par 4 laboratoires CNRS (UMR ou EA), tant au sein d'écoles d'ingénieurs que d'universités, 2 entreprises privées ainsi que le Ministère de la Culture et le Musée des arts et métiers.
Plus d'informations ici : http://www.reseed.fr
Dans ce cadre, nous souhaitons organiser une rencontre sous la forme de journées d'études sur la thématique de l'utilisation du numérique (modélisation 3D, bases de données, ...), comme outil d'étude et d'aide à la décision dans l'analyse de la valeur patrimoniale , tant des sites bâtis que des instruments et des machines, entendus comme composants unitaires ou comme systèmes complexes (social, économique, technique, scientifique, ...).
Ces deux journées d'études permettront de dresser l'état de l'art en France dans ces domaines. Il ne s'agit pas d'établir simple compilation des exemples de recherche en cours mais d'envisager comment, à moyen et long terme, cette problématique scientifique de pérennisation et de transmission de la connaissance technique, scientifique et industrielle requiert une vision prospective sur les outils et méthodes, entre autres ceux issus de l'ingénierie. L'accent sera également mis sur les processus interdisciplinaires indispensables, et les technologies utilisées par ou développées pour les Humanités Numériques dans le domaine patrimonial et muséologique.
Cet appel à communications est destiné à tous les chercheurs et experts tant issus du patrimoine et de la muséologie que des sciences du numérique pour venir présenter leurs expériences, échanger et ainsi se mettre en miroir du projet ANR ReSeed. Envoyer quelques lignes + un titre / email avant le 15/2/2018.
Dates : 31 mai - 1 juin 2018
Lieu : Auditorium de la Médiathèque de l'architecture et du patrimoine - 94220 Charenton-le-Pont
Gratuité pour les communicants et les auditeurs
Contact : florent.laroche@ls2n.fr
Christophe Rigaud
Laboratory L3i, La Rochelle
Les musées de la bande dessinée tels que le CIBDI (Cité Internationale de la Bande Dessinée), le Kyoto International Manga Museum et le Digital Comic Museum ont déjà numérisé plusieurs milliers d'albums de BD dont certains sont désormais dans le domaine public. Malgré le marché grandissant des bandes dessinées numériques, peu de recherches ont été menées pour tirer parti de la valeur ajoutée apportée par ces nouveaux médias.
Étant à l'intersection de plusieurs sous-domaines de recherche du domaine de la vision par ordinateur, cette thématique combine leurs difficultés (e.g. image complexe, images de documents semi-structurés et mixtes). Dans cet exposé, nous passons en revue et illustrons ces défis afin de donner au lecteur un aperçu des dernières avancées de la recherche dans ce domaine et des questions encore sans réponses. Afin de couvrir un champ d'étude le plus large possible, nous présentons deux approches différentes pour l'analyse d'images de bandes dessinées. La première approche vise à décrire les images de manière plutôt intuitive, en essayant d'imiter notre système de compréhension humain, en partant des éléments visuels simples vers les plus complexes. Des éléments dit "simples" tels que des cases, les bulles et le texte sont détectés en premier, suivis par les queues des bulles, puis la position des personnages à partir de la direction pointée par les queues et ainsi de suite. La seconde approche introduit un système basé sur la connaissance du domaine qui combine un traitement de haut niveau et de bas niveau pour construire un système évolutif pour la compréhension d'images de bande dessinée. Nous avons construit un système composé d'un moteur d'inférence et de deux modèles de domaines, l'un concernant le domaine de la bande dessinée et l'autre, le traitement d'image. Le tout étant structuré dans une ontologie. Ce système expert combine les avantages de la première approche mais permet aussi d'obtenir une description sémantique de plus haut niveau et une cohérence globale accrue. Nous pouvons par exemple déduire l'ordre de lecture, la sémantique liée à la forme des bulles, les relations entre les bulles et les personnages, l'interaction entre les personnages de bande dessinée, etc.
Jean Carrive
INA, Paris
Le projet ANTRACT, Analyse Transdisciplinaire des Actualités Filmées (1945-1969), est un projet de recherche financé par l'Agence nationale de la recherche (ANR) qui a démarré en janvier 2018. Piloté par Pascale Goetschel, historienne et directrice du Centre d'histoire sociale du XXe siècle (CHS) de l'Université Paris 1, il réunit des chercheurs du CSH, l'Institut national de l'audiovisuel (INA) et des partenaires des sciences technologiques et des humanités numériques : Eurecom pour l'analyse d'image, le Laboratoire d'Informatique de l'Université du Mans (LIUM) et la société Voxolab pour l'analyse de la parole, l'Institut d'Histoire des Représentations et des Idées dans les Modernités (IHRIM) pour l'analyse textométrique.
Le corpus soumis à l'étude et analyse croisée des partenaires concerne la collection de l'Ina, dite des "Actualités françaises". Cette collection regroupe les documents de presse filmée projetés chaque semaine, entre 1945 et 1969, dans les salles de cinéma sous la forme d'un journal d'actualités en images. Plus de 24 000 documents pour 1262 journaux filmés qui composent un récit animé de l'évolution de la France contemporaine et de son regard sur le reste du monde. Ces documents sont assortis d'une très riche documentation (transcription manuelle des commentaires et descriptions? plan à plan " par exemple). Les angles d'analyse sont multiples, faits sociaux, représentations médiatiques, dimension mémorielle, pour lesquels les outils d'exploitation et analyse de données multimédias massives confronteront ou serviront les hypothèses et problématiques formulées par les historiens.
Ainsi, telle qu'elle est promue par le projet, l'approche transdisciplinaire s'inscrit dans le mouvement actuel des Humanités numériques. Elle s'appuie sur des outils innovants : détection et analyse systématique de contenus textuels et audiovisuels, analyse de l'image, de la vidéo et du son, transcription automatique de la parole et analyse textométrique. Cette instrumentation du corpus offrira aux chercheurs SHS des moyens d'observation et des cadres d'analyse renouvelés. Pour les chercheurs-ingénieurs, l'enjeu portera sur l'amélioration des technologies d'analyse existantes ainsi que sur la mise en oeuvre d'outils spécifiquement adaptés dans leur fonction et leur interface tant aux documents traités qu'aux usages prescrits par les historiens. Il s'agit ainsi par exemple, pour la transcription automatique, d'adapter les modèles (modèles acoustiques, vocabulaires et modèles de langage) aux spécificités du corpus et pour l'analyse d'image d'identifier les scènes et les objets, ainsi que de croiser les informations extraites avec la documentation et les entités nommées issues de la transcription. Une analyse de l'utilisation de ces images par la télévision sera également menée, en partant d'une analyse automatique des diffusions d'extraits du corpus dans les fonds d'archives télévisées de l'INA.
A l'issue des 36 mois consacrés au projet, les résultats seront mis à disposition le plus largement possible. Le corpus enrichi des données et métadonnées produites sera rendu accessible à la communauté scientifique et technologique. Dans la mesure du possible, les modules logiciels seront proposés en open source et un portail grand public sera ouvert.
Henri Maître
LTCI - Telecom ParisTech, Paris
Depuis 3 ans, une abondante littérature (par exemple [1, 2, 3]) propose d'évaluer la beauté des images à l'aide de réseaux de neurones profonds (RNP) entraînés sur des bases de données spécialisées comme AVA [4]. Ces travaux font suite à d'autres travaux (par exemple [5, 4, 6] qui abordaient le même problème avec des approches plus classiques de reconnaissance des formes et d'apprentissage automatique. Au contraire de ces méthodes anciennes qui essayaient d'exploiter la littérature dédiées à l'esthétique, les méthodes à base de RNP ne s'appuient que sur les connaissances exprimées dans les annotations des images de la base.
Sans le rappeler généralement, ces travaux participent à un débat de plus de 20 siècles sur l'esthétique et ses ressorts. Ce débat oppose les "objectivistes" qui, à la suite de Platon, considèrent que la beauté est un attribut de l'objet ou de la personne observée, qu'elle est universelle et intemporelle, aux "subjectivistes" qui à la suite des philosophes des Lumières (Diderot, Locke, Hume) pensent que la beauté n'est qu'une émotion ressentie par l'observateur, qu'elle change d'un être à un autre et d'un instant à l'autre.
Les tenants de RNP ont clairement choisi le camp des objectivistes, tandis que la communauté scientifique en général (neurologues, psychologues, sociologues) adoptent aujourd'hui plus volontiers une démarche fortement inspirée par les subjectiviste [7, 8, 9, 10, 11].
La psychologie expérimentale et la physiologie des voies visuelles nous ont apporté de nombreuses lumières sur les mécanismes de la perception et les premières étapes de traitement de l'information. La neuro-biologie, et en particulier les travaux issus de l'imagerie par résonance magnétique fonctionnelle (IRMf), permet ensuite de témoigner des mécanismes cérébraux profonds : ceux liés à l'émotion, à la mobilisation de la conscience et à l'élaboration des décisions. Ces outils qui se sont beaucoup penchés sur l'évaluation de la beauté, au point de susciter un champ nouveau appelé ?neuro-esthétique? [12, 13, 14, 15, 16], a-t-il permis de trancher le débat entre objectivistes et subjectivistes ? Apporte-t-il un éclairage nouveau à la communauté de l'IA qui cherche à copier les fonctions esthétiques ?
Nous nous intéresserons à ce point particulier. Nous indiquerons quelles directions il nous faudrait prendre pour que la démarche d'IA actuellement adoptée aboutisse à des résultats véritablement convaincants. Nous montrerons aussi quels biais il faut s'attendre à observer dans nos résultats futurs si nous devons nous contenter de nos connaissances actuelles en matière de facultés cérébrales et et si nous ne nous consacrons plus qu'à l'amélioration des performances des outils de reconnaissance des formes et d'intelligence artificielle.
Références
[1] Y. Kao, R. He, and K. Huang, Deep aesthetic quality assessment with semantic information, IEEE Transactions on Image Processing, vol. 26, no. 3, pp. 1482?1495, (2017).
[2] S. Ma, J. Liu, and C. CW, Alamp: Adaptive layout-aware multi-patch deep convolutional neural network for photo aesthetic assessment. arXiv:1704.00248, april 2017.
[3] H. Talebi and P. Milanfar, NIMA : Neural image assessment. arXiv:1709.0541v1, Sept 2017.
Maxime Ferrera1, Pauline Trouvé-Peloux1, Julien Moras1 et Vincent Creuze2
1 ONERA, Palaiseau
2 LIRMM, CNRS/Université de Montpellier
L'utilisation de robots pour l'archéologie sous-marine est en plein essor en raison de l'intérêt croissant pour les épaves profondes, mieux conservées (obscurité, température, absence d'aléas climatiques...) et pour la plupart épargnées par le pillage. Certaines équipes d'archéologues, telles celle du Département des Recherches Archéologiques Subaquatiques et Sous-Marines (DRASSM, Ministère de la Culture), ont recours à l'utilisation de mini robots sous-marins, également appelés ROV (Remotely Operated Vehicle), pour la cartographie des sites archéologiques et le prélèvement d'objets. Cette présentation commencera par quelques exemples concrets issus de campagnes récentes du DRASSM, illustrant l'intérêt des robots sous-marins, notamment en ce qui concerne la reconstruction 3D par photogrammétrie, mais aussi la nécessité de disposer au fond de systèmes de localisation temps-réel très précis.
Dans la deuxième partie de la présentation, nous détaillerons une méthode d'égo-localisation visuelle pour robot sous-marin. L'objectif est d'estimer la pose du robot (position 3D + orientation) par rapport au site archéologique, à tout instant, à partir des données provenant d'un système de vision monoculaire.
La localisation à partir d'une caméra en milieu sous-marin a fait l'objet de relativement peu de travaux, en comparaison avec la localisation en milieu terrestre ou en milieu aérien. Les méthodes de SLAM visuel terrestre ou aérien ayant désormais atteint une certaine maturité, nos travaux se sont donc d'abord focalisés sur l'analyse de leurs performances en milieu sous-marin, puis sur la proposition d'une nouvelle méthode d'odométrie visuelle, tenant compte des contraintes spécifiques du milieu sous-marin. Nous illustrerons les avantages de notre approche en l'appliquant sur des données simulées mais également sur des séquences réelles issues des campagnes d'expérimentation.
Luca Calatroni
CMAP, École Polytechnique
Les données d'imagerie du patrimoine culturel (CH) acquises dans différentes régions spectrales sont souvent utilisées pour inspecter les caractéristiques de surface et de subsurface du matériel utilisé. En raison de la configuration expérimentale, ces images peuvent souffrir d'inhomogénéités d'intensité, ce qui peut empêcher les restaurateurs de distinguer les propriétés physiques de l'objet en cours de restauration. De plus, en imagerie multimodale, le transfert d'informations entre les modalités est souvent utilisé pour intégrer le contenu de l'image.
Pour résoudre des problèmes similaires survenant lors de l'utilisation de techniques d'imagerie CH diagnostique basées sur le mode de réflexion, d'émission et de fluorescence dans la gamme optique et thermique nous appliquons le modèle mathématique d'osmose des images consideré dans [7, 6, 2, 5].
Essentiellement, le modèle consiste en une équation différentielle partielle aux dérivées partielles de type diffusion-transport qui peut être modifiée de manière flexible pour plusieurs applications d'intégration de données telles que le clonage, l'enlèvement d'ombre et bien d'autres.
Pour un calcul numérique efficace, nous utilisons des techniques stables de splitting des opérateurs discretisés. Nous testons nos méthodes sur des ensembles de données d'oeuvres d'art : les mesures thermiques de la peinture murale "Monocromo" de Leonardo Da Vinci [4], l'imagerie UV-VIS-IR d'une ancienne icône russe et l'ensemble de données Archimède Palimpsest.
Je présenterai également des résultats plus récents contenus dans [3] où des modèles mathématiques variationnelles sont utilisés pour restaurer l'information dans images avec de grandes zones endommagées. Nous montrerons l'application de ces modelés á deux images de manuscrits enluminés de proprieté du Musée Fitzwilliam (Cambrige, Royaume-Uni). Afin de résoudre le problème d'inpainting correspondant, nous proposons un algorithme combiné pour la détection semi-supervisée des zones endommagées et utilisons l'approche de correspondance de patches étudiée dans [1] pour transférer les informations dans les régions manquantes, en permettant la récupération de contenu et aussi la préservation de texture.
References
[1] Arias, P., Facciolo, G., Caselles, V., Sapiro, G., A Variational Framework for Exemplar-Based Image Inpainting, International Journal of Computer Vision, 93 (3), 319-347, (2011).
[2] Calatroni, L., Estatico, E., Garibaldi, N., Parisotto, S. ADI splitting methods for image osmosis models, Journal of Physics: Conference Series, NCMIP 2017, (2017).
[3] Calatroni, L., D'Automne, M., Hocking, R., Parisotto, S., Schönlieb, C.-B. , in preparation, (2018).
[4] Daffara, C., Parisotto, S. Ambrosini, D.: Multipurpose, dual-mode imaging in the 3-5 µm range (MWIR) for artwork diagnostics: A systematic approach. In Optics and Lasers in Engineering, vol. 104, 266-273 (2018).
[5] Parisotto, S., Calatroni, L., Daffara, C. Digital Cultural Heritage imaging via osmosis filtering, submitted, arXiv preprint
[6] Vogel, O., Hagenburg, K., Weickert, J., Setzer, S.: A Fully Discrete Theory for Linear Osmosis Filtering. In LNCS Space and Variational Methods in Computer Vision, (Springer), 7893, 368-379, (2013).
[7] Weickert, J., Hagenburg, K. Breuß, Vogel, O.: Linear Osmosis Models for Visual Computing. In LNCS EMMCVPR, Springer, 8081, 26-39, (2013).
Arnaud Bletterer1 , Frédéric Payan1 , Marc Antonini1 , Anis Meftah2
1 Université Côte d'Azur, CNRS, I3S, 2000 route des Lucioles, 06903 Sophia Antipolis, France
2 Cintoo3D, Green Side, Bat 5, 06410 Biot Sophia Antipolis France
Avec l'évolution des systèmes d'acquisition, les nuages de points 3D sont devenus une structure quasi-incontournable pour la représentation digitale de scènes réelles. Les systèmes actuels sont capables de capturer avec une bonne fidélité des scènes fortement détaillées. Cette précision implique la présence d'une densité très importante de points, nécessaire à l'acquisition de ces détails. De tels nuages de points sont alors extrêmement complexes à manipuler, que ce soit pour la visualisation, la mesure, ou pour n'importe quel traitement subséquent.
Nous présentons une méthode de ré-échantillonnage de nuages de points massifs (plus de 1 milliard de points), issus de captures de scènes complexes (contenant de nombreuses occlusions). Nous manipulons la surface sous-jacente aux nuages de points par morceaux, en considérant la connectivité de chaque acquisition grâce à des cartes de profondeur. Au final, notre méthode produit un échantillonnage en disques de Poisson maximal de la surface acquise, quel que soit le nombre d'acquisitions, et la taille des cartes.
Pour valider notre méthode, des résultats expérimentaux sur des données synthétiques ont été effectués, attestant de la qualité de bruit bleu des distributions générées, caractéristique des échantillonnages en disques de Poisson. Nous présentons ensuite des résultats quantitatifs (utilisation mémoire et temps de calcul), puis qualitatifs, sur des numérisations 3D issues du patrimoine culturel, obtenues à partir de LiDARs terrestres.
Abderrahim Elmoataz
Université de Caen Normandie, GREYC CNRS/UNICAEN /ENSICAEN
La présentation proposée est composée de deux parties.
La première partie traite du recalage d'images 2D pour la construction de panoramas de la tapisserie de Bayeux. Une numérisation récente de la tapisserie a permis d'obtenir une couverture complète sous forme d'une série de 86 images, de taille 8000 x 6000 pixels chacune environ, sous différentes modalités : lumière directe, réflexion infrarouge et fluorescence ultraviolet. Il s'agit donc de construire d'une manière automatique des panoramas à partir de ces images.
La première partie traite également de la résolution de problèmes de recalage d'images particulières sur ces panoramas, comme les images de calques utilisée lors de la campagne antérieures sur la tapisserie de Bayeux ou du recalage d'images historiques issues de différente campagne d'étude antérieures. Ce travail en traitement d'images s'inscrit dans le cadre du volet "Études" du projet de restructuration du Musée de la Tapisserie de Bayeux mené par le Musées de Bayeux avec plusieurs partenaires de la région Normandie.
La deuxième partie de la présentation sera consacrée à certaines tâches de traitement d'images sur nuages de points 3D et leur application pour la valorisation du patrimoine historique. Ces tâches pouvant aller de la restauration, retouches coloration au recalage de nuages de points. On présentera un formalisme permettant de réaliser ces tâches d'une manière très simple avec plusieurs exemples.
Références
A Elmoataz, F Lozes, M Toutain Nonlocal pdes on graphs: From tug-of-war games to unified interpolation on images and point clouds Journal of Mathematical Imaging and Vision, 2017
F. Lozes, A. Elmoataz, O. Lezoray, PDE-based Graph Signal Processing for 3D Color Point Clouds: Opportunities for Cultural Heritage, IEEE Signal Processing Magazine, Special Issue on Signal Processing for Art Investigation,vol. 32, n°4, pp 103-111, 2015
Camille Simon Chane1 , Henri Boutin2 , Jean-Philippe Echard3
1 ETIS, UMR 8051, Universite Paris Seine, Universite Cergy-Pontoise, ENSEA, CNRS
2 Sorbonne Université, Ircam, Sciences et Technologies de la Musique et du Son
3 Musée de la musique, Cité de la musique - Philharmonie de Paris, Centre de Recherche sur la Conservation (USR 3324, CNRS, MNHN, MCC)
Le "Davidoff", un violon d'Antonio Stradivari (Crémone, 1708, coll. Musée de la musique) a été l'objet d'une importante restauration, réalisée par l'Atelier Cels (Paris) au laboratoire de recherche et restauration du Musée de la musique. Les interventions ont permis de remettre en état de jeu ce violon exceptionnel, et de rendre leur lisibilité aux surfaces de bois vernies, notamment sur la table d'harmonie. Ce projet a été l'occasion d'évaluer les potentiels de trois techniques -métrologie 3D, imagerie mulispectrale, holographie acoustique- pour la documentation des différents états d'un violon au cours d'une restauration.
Nous avons appliqué l'imagerie multispectrale au suivi du nettoyage de la table d'harmonie. Imager un tel objet présente plusieurs difficultés : il s'agit d'une surface non plane (la table d'harmonie est voûtée, sculptée dans la masse du bois) et brillante dans les zones vernies. La présence de la touche, en surplomb d'une partie de la table, peut également engendrer des zones d'ombre. Il est donc difficile d'appliquer un éclairage diffus, homogène et sans reflet sur toute la surface de l'instrument. Les acquisitions avant et après restauration, ont de surcroît été effectuées à six semaines d'intervalle, et il a été difficile de conserver inchangées les positions relatives de l'instrument, des sources lumineuses et du système d'acquisition.
Le premier apport de ce travail est d'évaluer à quel point des acquisitions multispectrales avant et après restauration sont comparables entre elles. Nous obtenons un recalage spatial globalement satisfaisant (une fraction de millimètre, pour un objet imagé de 355 mm de long). La calibration multispectrale permet d'obtenir des cubes hyperspectraux comparables entre 390 nm et 730 nm.
Nous nous intéressons ensuite aux apports de l'imagerie multispectrale dans la documentation d'une restauration. Celle-ci permet d'une part de cartographier précisément les retouches et nettoyages. Ces cartes complètent utilement le rapport d'intervention, pourtant très minutieux, établi par le restaurateur en s'appuyant sur des photographies couleur et sous UV. D'autre part, la comparaison des spectres avant et après restauration permet de quantifier l'impact des interventions sur la réflectance des zones traitées. Enfin, nous émettons des recommandations pour de futures acquisitions de ce type.
Virginio Cantoni, Mauro Mosconi, Alessandra Setti
Dipartimento di Ingegneria Industriale e dell'Informazione, Università di Pavia, Italy
Computing power and rendering technologies are mature enough to perform tasks that can support Digital Humanities with functions and applications of outstanding innovative potential. For example, 3D reconstruction can be an additional tool in museums and archaeological sites, or a very good way of offsetting traditional history adding everyday details in 3D digitally rebuilt historical contexts. Historical-artistic knowledge and advanced technology skills can be a fruitful and fertile combination. The availability of powerful and flexible technologies and tools that are easy to use allow new information that becomes available and verifiable from time to time to be readily incorporated. New knowledge and acquisitions can lead to new hypotheses allowing an ever higher degree of completeness, means that what is reproduced is conceived as something which, in a non-definitive way, is ?alive', albeit ready to evolve. The development of digital strategies supports viewers' creativity and commitment, presenting cultural artifacts in a new way, and promoting participatory experiences in museums, galleries and exhibitions. In fact, multimedia and new digital communication technologies stimulate new models of cultural heritage management and are designed to make every single appointment unique, by integrating knowledge about the findings, strengthening multimodal visits through impactful experiences and encouraging self-motivated learning. These innovations involve multiple levels and relate to artifacts that cannot be touched, or which are no longer available, but whose existence can nevertheless be relived virtually, and support also accessibility to people with disabilities.
In particular, we present a specific application of 3D reconstruction and modeling: the reconstruction of the city of Pavia (Italy) as it was in the 16 th century. It is the result of the final projects of the students attending the course in Computer Vision of the University of Pavia's Masters degree in Computer Science and Engineering, in the a.y. 2015/16, supervised by researchers of the Computer Vision and Multimedia laboratory (CVML). The 3D virtual reconstruction is mainly derived from the fresco attributed to Bernardino Lanzani of 1522, located in the church of San Teodoro in Pavia. The creation of 3D realities from 2D paintings is an ill posed problem, nevertheless it is possible to reconstruct an object's spatial configuration on the basis of the perspective law strictly followed by Lanzani when modeled the view. In fact, some buildings still exist and exact size and location are consequently known. On this basis, the dimensions and the spatial position of those that were destroyed or renovated over the following five centuries can be estimated.
To reproduce the virtual environment down to the last detail, as close as possible to the one that really existed, the project has been split in three main tasks: reproduction of salient religious buildings, reproduction of salient civilian buildings, and reproduction of people and common objects. We modeled a hundred buildings with good overall accuracy, postponing those built in the second half of the century to an interactively available version, interpreting the end of the century. The texture characterizing some of still remaining historic buildings has been faithfully reproduced thus providing a really photorealistic representation. Moreover, the reconstruction obtained is dynamic since, in keeping with the selected period of time, the city of Pavia's architecture can be viewed in terms of its changing shapes and colors in different ages. Besides being able to see cultural artifacts that no longer exist, there are two further praiseworthy features: the 3D reconstruction allows a virtual analysis to be performed on artifacts that cannot be touched and also gives the disabled a chance to tour Pavia virtually. This specific 3D reconstruction has three goals: 1) creation of an interactive virtual environment of 16th century Pavia in which buildings, churches and other landmarks are individually represented; 2) reproduction of different views so that the viewer can move around freely, touring the city as depicted in the fresco of San Teodoro; 3) development of an app for smartphones and tablets providing access to information about the area displayed, which, in particular, compares still existing buildings to those which have been reconstructed virtually.
Nicolas Gonthier, Yann Gousseau, Saïd Ladjal
LTCI, Télécom ParisTech
Le domaine de l'analyse d'image a connu ces dernières années une progression fulgurante, grâce au renouveau d'outils relativement anciens de l'intelligence artificielle, notamment les réseaux de neurones profonds [GBC16]. En particulier, les réseaux convolutionnels ont permis d'obtenir des performances inédites en terme de reconnaissance d'objets, au prix d'apprentissages supervisés massifs [RDS + 14].
Dans le cadre de la classification d'oeuvres d'art graphiques, les bases sont souvent petites et, surtout, faiblement annotées. De plus la variabilité peut être très grande au sein d'une même classe comme on peut le voir figure 1. Dans ce contexte, le transfert d'apprentissage peut être une méthode intéressante pour réaliser une tâche de classification. Celui-ci consiste à appliquer le résultat de la résolution d'une tâche d'apprentissage à une autre tâche. Dans notre cas, nous utilisons sur des bases de peinture des réseaux entraînés pour la classification sur des bases d'images photographiques.
Nous avons tout d'abord étendu les résultats de [CZ16] sur le transfert d'apprentissage pour la classification de peintures, en utilisant des réseaux de neurones plus récents et plus performants.
Nous nous sommes ensuite intéressés à la classification de peintures sur une base propre (images issues de Wikimedia Commons) et portant sur des classes plus adaptées à l'histoire de l'art (anges, Marie, ruines, etc.). Notons qu'il s'agit parfois de classes dont on ne peut avoir d'exemples issus d'autres modalités. Nous avons alors montré qu'il était possible d'obtenir de bons résultats de classification avec seulement une centaine d'exemples annotés.
L'étape la plus évidente après la classification d'images est la détection. Il s'agit alors non plus seulement d'être capable de dire si oui ou non une image contient un ange mais aussi de le localiser dans l'image. Des progrès ont été fait récemment sur cette problématique [RHGS15]. Ces réseaux ont l'avantage d'opérer sur des images plus grandes mais aussi de fournir une information de localisation des objets. Nos travaux en cours portent sur une proposition méthodologique pour réaliser du transfert d'apprentissage à l'aide de réseaux de neurones profonds destinés à faire de la détection.
[CZ16] Elliot J. Crowley and Andrew Zisserman. The Art of Detection. In European Conference on Computer Vision, pages 721?737. Springer, 2016.
[GBC16] Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.
[RDS + 14] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. ImageNet Large Scale Visual Recognition Challenge. arXiv :1409.0575 [cs], September 2014.
[RHGS15] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networks. arXiv :1506.01497 [cs], June 2015.
Jean-Emmanuel Deschaud
MINES ParisTech
Avec la simplification d'usage des techniques de photogrammétrie et de lasergrammétrie, les archéologues produisent de plus en plus de données sous forme de nuages de points d'objets ou de scènes. Pour visualiser ou étudier ces données, les points sont généralement transformés en un maillage mais cette transformation altère souvent la géométrie.
Au lieu de construire un maillage, nous proposons une méthode de rendu direct du nuage de points bruts avec une technique de remplissage en espace image. La reconstruction en espace image n'altère pas les données nuage et permet un meilleur rendu de la géométrie de l'objet ou de la scène numérisée.
Notre méthode de reconstruction en espace image est basée sur une structure pyramidale de traitement permettant de conserver des fréquences d'affichages élevées malgré la taille des nuages des points.
Nous avons testé notre méthode sur des objets complexes réels et des scènes extérieures en démontrant une qualité de visualisation supérieure à l'état de l'art en rendu de nuage de points tout en gardant un taux d'affichage très élevé.
Date : 2018-03-29
Lieu : Salle 25-26/105, université Pierre et Marie Curie, Paris VI - Jussieu
Thèmes scientifiques :
B - Image et Vision
Inscriptions closes à cette réunion.
(c) GdR IASIS - CNRS - 2024.