L’apprentissage automatique génère un modèle 3D à partir d’images 2D
Le système d’imagerie peut zoomer sur une image pixélisée et combler les pièces manquantes, créant ainsi une représentation 3D continue. Crédit : Université de Washington à Saint-Louis
Des chercheurs de la McKelvey School of Engineering de l’Université de Washington à St. Louis ont développé un algorithme d’apprentissage automatique qui peut créer un modèle 3D continu de cellules à partir d’un ensemble partiel d’images 2D qui ont été prises à l’aide des mêmes outils de microscopie standard que l’on trouve dans de nombreux laboratoires aujourd’hui. .
Leurs conclusions ont été publiées le 16 septembre dans la revue Intelligence des machines naturelles.
« Nous entraînons le modèle sur l’ensemble des images numériques pour obtenir une représentation continue », a déclaré Ulugbek Kamilov, professeur adjoint d’ingénierie électrique et des systèmes et d’informatique et d’ingénierie. « Maintenant, je peux le montrer comme je veux. Je peux zoomer en douceur et il n’y a pas de pixellisation. »
La clé de ce travail était l’utilisation d’un réseau de champs neuronaux, un type particulier de système d’apprentissage automatique qui apprend une cartographie des coordonnées spatiales aux quantités physiques correspondantes. Lorsque la formation est terminée, les chercheurs peuvent pointer vers n’importe quelle coordonnée et le modèle peut fournir la valeur de l’image à cet endroit.
Une force particulière des réseaux de champs neuronaux est qu’ils n’ont pas besoin d’être formés sur de grandes quantités de données similaires. Au lieu de cela, tant qu’il y a un nombre suffisant d’images 2D de l’échantillon, le réseau peut le représenter dans son intégralité, à l’intérieur comme à l’extérieur.
L’image utilisée pour former le réseau est comme n’importe quelle autre image de microscopie. Essentiellement, une cellule est éclairée par le bas ; la lumière le traverse et est capturée de l’autre côté, créant une image.
« Parce que j’ai quelques vues de la cellule, je peux utiliser ces images pour former le modèle », a déclaré Kamilov. Cela se fait en fournissant au modèle des informations sur un point de l’échantillon où l’image a capturé une partie de la structure interne de la cellule.
Ensuite, le réseau fait de son mieux pour recréer cette structure. Si la sortie est erronée, le réseau est modifié. Si c’est correct, cette voie est renforcée. Une fois que les prédictions correspondent aux mesures du monde réel, le réseau est prêt à remplir les parties de la cellule qui n’ont pas été capturées par les images 2D d’origine.
Le modèle contient désormais des informations sur une représentation complète et continue de la cellule. Il n’est pas nécessaire d’enregistrer un fichier image riche en données car il peut toujours être recréé par le réseau de champs neuronaux.
Et, a déclaré Kamilov, non seulement le modèle est une représentation fidèle et facile à stocker de la cellule, mais aussi, à bien des égards, il est plus utile que la vraie chose.
« Je peux mettre n’importe quelle coordonnée et générer cette vue », a-t-il déclaré. « Ou je peux générer des vues entièrement nouvelles sous différents angles. » Il peut utiliser le modèle pour faire tourner une cellule comme une toupie ou zoomer pour voir de plus près ; utiliser le modèle pour effectuer d’autres tâches numériques ; ou même l’introduire dans un autre algorithme.
