Un outil de détection d’objets basé sur des croquis utilisant l’apprentissage automatique pourrait stimuler la détection des tumeurs

Selon des chercheurs de premier plan de l’Université de Surrey, l’enseignement d’outils d’apprentissage automatique pour détecter des objets spécifiques dans une image spécifique et en ignorer d’autres est un « changeur de jeu » qui pourrait conduire à des progrès dans la détection du cancer.

Surrey est sur le point de présenter son outil unique de détection d’objets basé sur des croquis lors de la conférence Computer Vision, Pattern, and Recognition (CVPR) de cette année. L’outil permet à l’utilisateur d’esquisser un objet, que l’IA utilisera comme base pour rechercher dans une image afin de trouver quelque chose qui correspond à l’esquisse, tout en écartant les options plus générales.

Le professeur Yi-Zhe Song dirige cette recherche à l’Institut d’IA centrée sur les personnes de l’Université de Surrey. Il a déclaré: « Le croquis d’un artiste est plein d’indices individuels que les mots ne peuvent transmettre de manière concise, réitérant l’expression » une image vaut mille mots « . Pour les nouveaux systèmes d’IA, de simples mots descriptifs aident à générer des images, mais aucun ne peut exprimer l’individualisme de l’utilisateur ou la correspondance exacte que l’utilisateur recherche.

« C’est là que notre outil basé sur des croquis entre en jeu. L’IA est chargée par l’artiste via des croquis de trouver un objet exact et d’en écarter d’autres. Ce qui peut être incroyablement utile en médecine, en trouvant des tumeurs plus agressives ou en aidant à protéger la conservation de la faune. en détectant des animaux rares. »

Un exemple que les chercheurs utilisent dans leur article à la conférence est l’outil aidant à rechercher une image pleine de zèbres – avec seulement un croquis d’un seul zèbre en train de manger pour diriger sa recherche. L’outil d’intelligence artificielle prend en compte les repères visuels, tels que la pose et la structure, mais fonde les décisions sur les exigences exactes données par l’artiste amateur.

Le professeur Song a déclaré: « La capacité de l’IA à détecter des objets sur la base de croquis amateurs individuels introduit un bond significatif dans l’exploitation de la créativité humaine dans la vision par ordinateur. Elle permet aux humains d’interagir avec l’IA d’un point de vue totalement différent, ne laissant plus l’IA dicter les décisions, mais en lui demandant de se comporter exactement comme indiqué, en gardant l’intervention humaine nécessaire. »