De nouvelles images de microscopie de mines de code dans des articles scientifiques
L'apprentissage profond est une forme d'intelligence artificielle qui transforme la société en apprenant aux ordinateurs à traiter les informations à l'aide de réseaux de neurones artificiels qui imitent le cerveau humain. Il est désormais utilisé dans la reconnaissance faciale, les voitures autonomes et même dans les jeux complexes comme Go. En général, le succès de l’apprentissage profond dépend de l’utilisation de grands ensembles de données d’images étiquetées à des fins de formation.
Une mine d’or potentielle d’images étiquetées réside dans la littérature scientifique, avec plus d’un million d’articles publiés chaque année. La plupart comportent de nombreuses figures intégrées au texte. À ce jour, ces chiffres ne se prêtent pas aux modèles d’apprentissage profond. Cela est dû en partie à leur configuration complexe. Chaque figure contient généralement plusieurs images, graphiques et illustrations intégrés. Il manquait également un moyen adéquat pour rechercher dans la littérature des images correspondant à un contenu spécifique.
Pour relever ce défi, des chercheurs du Laboratoire national d'Argonne du Département américain de l'énergie (DOE) et de l'Université Northwestern ont créé le programme EXSCLAIM ! outil logiciel. Le nom signifie extraction, séparation et annotation en langage naturel basée sur des légendes d'images.
Les résultats sont publiés dans la revue Motifs.
« Les images générées par des microscopes électroniques jusqu'au milliardième de mètre constituent l'un des types de chiffres les plus importants dans la littérature sur la science des matériaux », a déclaré Maria Chan, scientifique au Centre des matériaux à l'échelle nanométrique d'Argonne, un établissement utilisateur du Bureau scientifique du DOE. « Ces images sont essentielles à la compréhension et au développement de nouveaux matériaux dans de nombreux domaines différents. Notre objectif avec EXSCLAIM ! est de libérer le potentiel inexploité de ces données d'imagerie. »
Qu'est-ce qui définit EXSCLAIM! à part son accent unique sur une approche requête-ensemble de données, similaire à la façon dont une invite est utilisée avec des outils d'IA générative tels que ChatGPT et DALL-E. Il est ainsi capable d'extraire des images individuelles avec un contenu très spécifique à partir de figures, car il classe le contenu de l'image et reconnaît le degré d'agrandissement. Il peut ensuite créer des étiquettes descriptives pour chaque image. Cet outil logiciel innovant devrait devenir un atout précieux pour les scientifiques qui étudient de nouveaux matériaux à l'échelle nanométrique.
« Alors que les méthodes existantes ont souvent du mal à résoudre le problème de la disposition composée, EXSCLAIM! utilise une nouvelle approche pour résoudre ce problème », a déclaré l'auteur principal Eric Schwenker, ancien étudiant diplômé d'Argonne. « Notre logiciel est efficace pour identifier les limites nettes des images et excelle dans la capture de dispositions d'images irrégulières. »
EXCLAMATION ! a déjà démontré son efficacité en construisant un ensemble de données de microscopie électronique auto-étiquetées de plus de 280 000 images de nanostructures. Bien qu'initialement développé autour des images de microscopie des matériaux, EXSCLAIM! est adaptable à tout domaine scientifique qui produit de grands volumes d’articles avec images. Le logiciel promet ainsi de révolutionner l’utilisation des images scientifiques publiées dans diverses disciplines.
« Les chercheurs disposent désormais d'un puissant outil d'exploration d'images pour améliorer leur compréhension d'informations visuelles complexes », a déclaré Chan.
