L’intelligence artificielle stimule la microscopie à super-résolution

L'intelligence artificielle (IA) générative est peut-être mieux connue grâce aux applications de création de texte ou d'images telles que ChatGPT ou Stable Diffusion. Mais son utilité au-delà de cela est démontrée dans des domaines scientifiques de plus en plus différents.

Dans leurs travaux récents, publiés sur le arXiv serveur de préimpression et dont la présentation est prévue lors de la prochaine Conférence internationale sur les représentations d'apprentissage (ICLR), des chercheurs du Centre for Advanced Systems Understanding (CASUS) du Helmholtz-Zentrum Dresden-Rossendorf (HZDR) en collaboration avec des collègues de l'Imperial College de Londres et L'University College London a fourni un nouvel algorithme open source appelé Modèle de diffusion variationnelle conditionnelle (CVDM).

Basé sur l’IA générative, ce modèle améliore la qualité des images en les reconstruisant à partir du hasard. De plus, le CVDM est moins coûteux en termes de calcul que les modèles de diffusion établis et peut être facilement adapté à diverses applications.

Avec l’avènement du big data et des nouvelles méthodes mathématiques et scientifiques des données, les chercheurs visent à décrypter des phénomènes encore inexplicables en biologie, en médecine ou en sciences de l’environnement en utilisant des approches de problèmes inverses. Les problèmes inverses consistent à retrouver les facteurs causals conduisant à certaines observations. Vous disposez d'une version en niveaux de gris d'une image et souhaitez récupérer les couleurs. Il existe généralement plusieurs solutions valables ici, comme, par exemple, le bleu clair et le rouge clair semblent identiques dans l'image en niveaux de gris. La solution à ce problème inverse peut donc être l’image avec la chemise bleu clair ou celle avec la chemise rouge clair.

L'analyse d'images microscopiques peut également constituer un problème inverse typique. « Vous avez une observation : votre image microscopique. En appliquant quelques calculs, vous pouvez alors en apprendre davantage sur votre échantillon qu'il n'y paraît au premier abord », explique Gabriel della Maggiora, Ph.D. étudiant à CASUS et auteur principal de l'article ICLR.

Les résultats peuvent être des images de plus haute résolution ou de meilleure qualité. Cependant, le chemin qui sépare les observations, c'est-à-dire les images microscopiques, des « super-images » n'est généralement pas évident. De plus, les données d’observation sont souvent bruitées, incomplètes ou incertaines. Tout cela ajoute à la complexité de la résolution de problèmes inverses, ce qui en fait des défis mathématiques passionnants.

La puissance des modèles d'IA génératifs comme Sora

L’IA générative est l’un des outils puissants permettant de résoudre les problèmes inverses. Les modèles d'IA générative apprennent en général la distribution sous-jacente des données dans un ensemble de données de formation donné. Un exemple typique est la génération d’images. Après la phase de formation, les modèles d’IA génératifs génèrent des images complètement nouvelles, mais cohérentes avec les données de formation.

Parmi les différentes variantes de l’IA générative, une famille particulière appelée modèles de diffusion a récemment gagné en popularité parmi les chercheurs. Avec les modèles de diffusion, un processus itératif de génération de données part du bruit de base, un concept utilisé en théorie de l'information pour imiter l'effet de nombreux processus aléatoires qui se produisent dans la nature.

Concernant la génération d'images, les modèles de diffusion ont appris quelles dispositions de pixels sont courantes et inhabituelles dans les images de l'ensemble de données d'entraînement. Ils génèrent la nouvelle image souhaitée petit à petit jusqu'à ce qu'une disposition des pixels coïncide au mieux avec la structure sous-jacente des données d'entraînement.

Le modèle de conversion texte-vidéo Sora de la société américaine de logiciels OpenAI est un bon exemple de la puissance des modèles de diffusion. Un composant de diffusion implémenté donne à Sora la possibilité de générer des vidéos qui semblent plus réalistes que tout ce que les modèles d'IA ont créé auparavant.

Mais il y a un inconvénient. « Les modèles de diffusion sont connus depuis longtemps comme étant coûteux en calcul à former. Certains chercheurs les ont récemment abandonnés précisément pour cette raison », explique le Dr Artur Yakimovich, chef d'un groupe de jeunes chercheurs CASUS et auteur correspondant de l'article de l'ICLR.

« Mais de nouveaux développements tels que notre modèle de diffusion variationnel conditionnel permettent de minimiser les « exécutions improductives », qui ne conduisent pas au modèle final. En réduisant l'effort de calcul et donc la consommation d'énergie, cette approche peut également rendre les modèles de diffusion plus respectueux de l'environnement à former. « 

Un entraînement intelligent fait l’affaire, et pas seulement dans le sport

Les « essais improductifs » constituent un inconvénient important des modèles de diffusion. L'une des raisons est que le modèle est sensible au choix du programme prédéfini contrôlant la dynamique du processus de diffusion : ce programme régit la manière dont le bruit est ajouté, trop peu ou trop, au mauvais endroit ou au mauvais moment – il existe de nombreuses possibilités. des scénarios qui se terminent par un échec de la formation.

Jusqu'à présent, ce calendrier a été défini comme un hyperparamètre qui doit être ajusté pour chaque nouvelle application. En d’autres termes, lors de la conception du modèle, les chercheurs estiment généralement le calendrier qu’ils ont choisi par essais et erreurs.

Dans le nouvel article, les auteurs ont intégré le calendrier dès la phase de formation afin que leur CVDM soit capable de trouver par lui-même la formation optimale. Le modèle a alors donné de meilleurs résultats que d’autres modèles reposant sur un planning prédéfini.

Entre autres, les auteurs ont démontré l’applicabilité du CVDM à un problème scientifique : la microscopie à super-résolution, un problème inverse typique. La microscopie à super-résolution vise à dépasser la limite de diffraction, limite qui restreint la résolution en raison des caractéristiques optiques du système microscopique.

Pour surmonter cette limite de manière algorithmique, les data scientists reconstruisent des images à plus haute résolution en éliminant à la fois le flou et le bruit des images enregistrées à résolution limitée. Dans ce scénario, le CVDM a donné des résultats comparables, voire supérieurs, à ceux des méthodes couramment utilisées.

« Bien sûr, il existe plusieurs méthodes pour accroître la signification des images microscopiques, certaines d'entre elles s'appuyant sur des modèles d'IA génératifs », explique Yakimovich. « Mais nous pensons que notre approche possède de nouvelles propriétés uniques qui laisseront un impact dans la communauté de l'imagerie, à savoir une flexibilité et une vitesse élevées avec une qualité comparable, voire meilleure, par rapport à d'autres approches de modèles de diffusion.

« De plus, notre CVDM fournit des indications directes là où il n'est pas très sûr de la reconstruction, une propriété très utile qui ouvre la voie à la résolution de ces incertitudes dans de nouvelles expériences et simulations. »

Gabriel della Maggiora présentera le travail sous forme d'affiche lors de la Conférence internationale annuelle sur les représentations d'apprentissage (ICLR) le 8 mai lors de la session d'affiches 3 à 10h45. Une courte conférence préenregistrée sur le journal est disponible sur le site Web. La conférence est organisée cette année pour la première fois depuis 2017 toujours en Europe, notamment à Vienne (Autriche). Que ce soit sur place ou en visioconférence, un pass payant est requis pour accéder au contenu.

« L'ICLR utilise un processus d'évaluation par les pairs en double aveugle via le portail OpenReview », explique Yakimovich. « Les critiques sont accompagnées de notes suggérées par des pairs ; seuls les articles très bien notés sont acceptés. L'acceptation de notre article équivaut donc à une haute estime de la part de la communauté. »