La plupart des IA ont du mal à lire les horloges et les calendriers, les résultats de l’étude

Certains des systèmes d’IA les plus avancés du monde ont du mal à dire l’heure et à résoudre les dates sur les calendriers, suggère une étude.

Bien que les modèles d’IA puissent effectuer des tâches complexes telles que l’écriture d’essais et la génération d’art, ils n’ont pas encore maîtrisé certaines compétences que les humains acquièrent facilement, selon les chercheurs.

Une équipe de l’Université d’Édimbourg a montré que les modèles d’IA de pointe ne sont pas en mesure d’interpréter de manière fiable les positions d’horloge ou de répondre correctement aux questions sur les dates sur les calendriers.

Contrairement à la simple reconnaissance des formes, la compréhension des horloges et des calendriers analogiques nécessite une combinaison de conscience spatiale, de contexte et de mathématiques de base – quelque chose qui reste difficile pour l’IA, dit l’équipe.

Surmonter cela pourrait permettre aux systèmes d’IA de propulser des applications sensibles au temps telles que les assistants de planification, les robots autonomes et les outils pour les personnes souffrant de déficiences visuelles, selon les chercheurs.

L’équipe a testé si les systèmes d’IA qui traitent le texte et les images – connu sous le nom de modèles de langue grand multimodale (MLLMS) – peuvent répondre aux questions liées au temps en regardant une image d’une horloge ou d’un calendrier.

Les chercheurs ont testé divers conceptions d’horloge, y compris certains avec des chiffres romains, avec et sans seconde mains, et différentes cadrans de couleur.

Leurs résultats montrent que les systèmes d’IA, au mieux, ont obtenu des positions d’horloge à moins d’un quart du temps. Les erreurs étaient plus courantes lorsque les horloges avaient des chiffres romains ou des mains d’horloge stylisées. Les systèmes d’IA ne fonctionnaient pas non plus lorsque la seconde main a été supprimée, ce qui suggère qu’il y a des problèmes profonds avec la détection des mains et l’interprétation des angles, dit l’équipe.

Les chercheurs ont demandé aux modèles d’IA de répondre à une gamme de questions basées sur le calendrier, telles que l’identification des vacances et l’élaboration des dates passées et futures. L’équipe a constaté que même le modèle d’IA le plus performant a obtenu des calculs de date mal un cinquième du temps.

Les résultats sont signalés dans un article évalué par des pairs qui sera présenté lors de l’atelier de raisonnement et de planification des modèles de grande langue lors de la treizième conférence internationale sur les représentations de l’apprentissage (ICLR) à Singapour le 28 avril 2025.

Rohit Saxena, de l’École d’informatique de l’Université d’Édimbourg, qui a dirigé l’étude, a déclaré: « La plupart des gens peuvent dire le temps et utiliser les calendriers dès le plus jeune âge. Nos résultats mettent en évidence une lacune importante dans la capacité de l’IA à effectuer ce qui est des compétences très basiques pour les personnes.

Aryo Gema, également de l’École d’informatique, a déclaré: « Aujourd’hui, la recherche sur l’IA met l’accent sur les tâches de raisonnement complexes, mais ironiquement, de nombreux systèmes luttent encore en ce qui concerne les tâches plus simples.