Contexte Les architectures de type State Space Model (SSM), comme Mamba [Gu 2023], ont récemment émergé, en raison de leur efficacité de calcul et de leurs excellentes performances dans la modélisation de longues séquences, en traitement du langage notamment. Mamba permet en particulier d’éviter la complexité quadratique causée par le calcul de la self-attention dans les Transformers. Le coeur de Mamba étant essentiellement conçu pour traiter des données séquentielles 1D, des stratégies ont été proposées pour l’adaptation aux images (VMamba [Liu et al 2024], Vision Mamba [Zhu et al 2024]). Cependant, les potentiels et limites de ce type d'architecture encore nouveau ne sont pas bien connus.

Objectifs du stage L'objectif principal sera donc d'explorer le potentiel et d'évaluer l'efficacité des architectures du type Mamba, en comparaison avec les architectures CNN classiques et les Transformers, sur des jeux de données d'images médicales, pour des tâches de classification et de segmentation. En particulier, on commencera par évaluer ce type d’architectures pour la classification d’images via MedMAMBA [Yue et al 2024], que l’on expérimentera sur MedMNIST. Ensuite, pour la segmentation d’images on évaluera l’architecture UMamba (hybridant UNet et Mamba, [Ma et al 2024]) sur le dataset LITS (segmentation du foie en imagerie CT), que l’on comparera aux approches état de l’art comme nnUNet et UNETR. Poursuite en thèse de doctorat possible.

Mots clés: Segmentation d’images médicales, deep learning, réseau de neurones convolutifs, transformers

Profil recherché — Niveau Master 2 ou ingénieur (ou équivalent) en informatique ou mathématiques appliquées ou science des données (ou disciplines similaires)
— Bonnes compétences en Deep Learning, notamment en CNN et Transformers.
— Bonnes compétences en programmation par Python

Candidature Merci d’envoyer votre CV et relevés de notes aux encadrantes :

— Zoé Lambert LITIS – EA 4108, zoe.lambert@univ-rouen.fr

— Caroline Petitjean, LITIS – EA 4108 caroline.petitjean@univ-rouen.fr

Lieu du stage: Laboratoire d'informatique, de traitement de l'information et des systèmes (LITIS), Université de Rouen Normandie.

=======================

Références:

• Original Mamba [Gu 2023] Gu, A., Dao, T.: Mamba: Linear-time sequence modeling with selective state spaces. arXiv preprint arXiv:2312.00752 (2023)

• Mamba based vision models: [Zhu et al 2024] Lianghui Zhu, Bencheng Liao, Qian Zhang, Xinlong Wang, Wenyu Liu, and Xinggang Wang, Vision mamba: Efficient visual representation learning with bidirectional state space model. arXiv preprint arXiv:2401.09417, 2024.

[Liu et al 2024] Yue Liu, Yunjie Tian, Yuzhong Zhao, Hongtian Yu, Lingxi Xie, Yaowei Wang, Qixiang Ye, and Yunfan Liu. Vmamba: Visual state space model. arXiv:2401.10166, 2024.

• Medical image classification [Yue et al 2024] Yue, Y., & Li, Z. (2024). Medmamba: Vision mamba for medical image classification. arXiv preprint arXiv:2403.03849.

• Medical image segmentation [Ma et al 2024] J Ma, F Li, B Wang - U-mamba: Enhancing long-range dependency for biomedical image segmentation. arXiv preprint arXiv:2401.04722, 2024