Des chercheurs conçoivent des outils pour détecter automatiquement les catastrophes naturelles à l’aide d’images sur les réseaux sociaux

Une équipe de recherche internationale a conçu un système d’apprentissage en profondeur capable de détecter les catastrophes naturelles à l’aide d’images publiées sur les réseaux sociaux. Les chercheurs ont appliqué des outils de vision par ordinateur qui, une fois formés à l’aide de 1,7 million de photographies, se sont révélés capables d’analyser, de filtrer et de détecter de véritables catastrophes. L’article est publié dans la revue Transactions IEEE sur l’analyse de modèles et l’intelligence artificielle.

L’un des chercheurs du projet, dirigé par le Massachusetts Institute of Technology (MIT), était Àgata Lapedriza, responsable du groupe de recherche AIWELL spécialisé dans l’intelligence artificielle pour le bien-être humain, rattaché au eHealth Center, et membre du Faculté d’informatique, multimédia et télécommunications de l’Universitat Oberta de Catalunya (UOC).

À mesure que le réchauffement climatique progresse, les catastrophes naturelles telles que les inondations, les tornades et les incendies de forêt sont de plus en plus fréquentes et dévastatrices. Comme il n’existe toujours pas d’outils pour prédire où et quand de tels incidents se produiront, il est vital que les services d’urgence et les agences de coopération internationale puissent réagir rapidement et efficacement pour sauver des vies. « Heureusement, la technologie peut jouer un rôle clé dans ces situations. Les publications sur les réseaux sociaux peuvent être utilisées comme source de données à faible latence pour comprendre la progression et les conséquences d’une catastrophe », a expliqué Lapedriza.

Les recherches précédentes se sont concentrées sur l’analyse des publications de texte, mais cette recherche est allée plus loin. Lors d’un séjour au laboratoire d’informatique et d’intelligence artificielle du MIT, Lapedriza a contribué au développement d’une taxonomie d’incidents et de la base de données utilisée pour former des modèles d’apprentissage en profondeur, et a réalisé des expériences pour valider la technologie.

Les chercheurs ont créé une liste de 43 catégories d’incidents, y compris les catastrophes naturelles (avalanches, tempêtes de sable, tremblements de terre, éruptions volcaniques, sécheresses, etc.) ainsi que les accidents impliquant un élément d’intervention humaine (accidents d’avion, accidents de construction, etc.). Cette liste, associée à 49 catégories de lieux, a permis aux chercheurs d’étiqueter les images utilisées pour former le système.

Les auteurs ont créé une base de données, nommée Incidents1M, avec 1 787 154 images qui ont ensuite été utilisées pour entraîner le modèle de détection d’incidents. Parmi ces images, 977 088 avaient au moins une étiquette positive les reliant à l’une des classifications d’incidents, tandis que 810 066 avaient des étiquettes de classe négative. Pendant ce temps, pour les catégories de lieux, 764 124 images avaient des étiquettes de classe positive et 1 023 030 étaient de classe négative.

Éviter les faux positifs

Ces étiquettes négatives signifiaient que le système pouvait être formé pour éliminer les faux positifs ; par exemple, une photographie d’une cheminée ne signifie pas que la maison est en feu, même si elle présente certaines similitudes visuelles. Une fois la base de données construite, l’équipe a formé un modèle pour détecter les incidents « basé sur un paradigme d’apprentissage multitâche et utilisant un réseau neuronal convolutif (CNN) ».

Lorsque le modèle d’apprentissage en profondeur a été formé pour détecter les incidents dans les images, l’équipe a mené une série d’expériences pour le tester, cette fois en utilisant un énorme volume d’images téléchargées à partir des médias sociaux, y compris Flickr et Twitter. « Notre modèle a pu utiliser ces images pour détecter des incidents et nous avons vérifié qu’elles correspondaient à des incidents spécifiques enregistrés, tels que les tremblements de terre de 2015 au Népal et au Chili », a déclaré Lapedriza.

À l’aide de données réelles, les auteurs ont démontré le potentiel d’un outil basé sur l’apprentissage en profondeur pour obtenir des informations à partir des médias sociaux sur les catastrophes naturelles et les incidents nécessitant une aide humanitaire. « Cela aidera les organisations d’aide humanitaire à découvrir plus efficacement ce qui se passe pendant les catastrophes et à améliorer la façon dont l’aide humanitaire est gérée en cas de besoin », a-t-elle déclaré.

Suite à cette réalisation, le prochain défi pourrait être, par exemple, d’utiliser les mêmes images d’inondations, d’incendies ou d’autres incidents pour déterminer automatiquement la gravité des incidents ou même pour les surveiller plus efficacement dans le temps. Les auteurs ont également suggéré que la communauté scientifique pourrait poursuivre la recherche en combinant l’analyse des images avec celle du texte d’accompagnement, pour permettre une classification plus précise.

Fourni par Universitat Oberta de Catalunya