Une nouvelle méthode peut enseigner à l'IA à admettre l'incertitude
Dans des situations à enjeux élevés comme les soins de santé – ou la semaine « Jeopardy! » – Il peut être plus sûr de dire « Je ne sais pas » que de répondre incorrectement. Les médecins, les candidats aux émissions de jeu et les candidats standardisés le comprennent, mais la plupart des applications d'intelligence artificielle préfèrent toujours donner une réponse potentiellement mauvaise plutôt que d'admettre l'incertitude.
Les informaticiens de Johns Hopkins pensent qu'ils ont une solution: une nouvelle méthode qui permet aux modèles d'IA de passer plus de temps à réfléchir à des problèmes et utilise un score de confiance pour déterminer quand l'IA devrait dire « Je ne sais pas » plutôt que de risquer une mauvaise réponse – cruciale pour des domaines à enjeux élevés comme la médecine, le droit ou l'ingénierie.
Le travail apparaît sur le arxiv Le serveur préalable et l'équipe de recherche présenteront ses résultats lors de la 63e réunion annuelle de l'Association for Computational Linguistics, qui se tiendra du 27 juillet au 1er août à Vienne, en Autriche.
« Tout a commencé lorsque nous avons vu que les modèles de grande langue de pointe passent plus de temps à réfléchir à résoudre des problèmes plus difficiles. Nous nous sommes donc demandé – ce temps de réflexion supplémentaire aide également ces modèles à déterminer si un problème a été résolu correctement afin qu'ils puissent signaler cela à l'utilisateur? » dit le premier auteur William Jurayj, un doctorat. Étudiant étudiant en informatique qui est affilié au Center for Language and Speech Processing de la Whiting School of Engineering.
Pour enquêter, l'équipe avait de grands modèles de langue générant des chaînes de raisonnement de différentes longueurs car ils ont répondu à des problèmes mathématiques difficiles, puis ont mesuré comment la longueur de la chaîne a affecté à la fois la réponse finale du modèle et sa confiance en lui. Les chercheurs ont eu les modèles qui ne répondent que lorsque leur confiance a dépassé un seuil donné – ce qui fait que « Je ne sais pas » était une réponse acceptable.
Ils ont constaté que la pensée améliore plus généralement la précision et la confiance des modèles. Mais même avec beaucoup de temps à considérer, les modèles peuvent toujours faire des suppositions sauvages ou donner de mauvaises réponses, surtout sans pénalités pour des réponses incorrectes. En fait, les chercheurs ont découvert que lorsqu'ils fixaient une barre élevée en toute confiance et permettent aux modèles de réfléchir encore plus longtemps, la précision des modèles diminuait en fait.
« Cela se produit parce que la précision des réponses n'est qu'une partie des performances d'un système », explique Jurayj. « Lorsque vous exigez une confiance élevée, laisser le système penser plus longtemps signifie qu'il fournira des réponses plus correctes et des réponses plus incorrectes. Dans certains contextes, les réponses correctes supplémentaires valent le risque. Mais dans d'autres environnements à enjeux élevés, ce n'est peut-être pas le cas. »
Motivé par cette constatation, l'équipe a suggéré trois paramètres de «cotes» différents pour pénaliser les mauvaises réponses: cotes d'examen, où il n'y a pas de pénalité pour une réponse incorrecte; « Péril! » Les chances, lorsque les réponses correctes sont récompensées au même taux que celles incorrectes sont pénalisées; et les cotes à enjeux élevés, où une réponse incorrecte est pénalisée plus durement qu'une réponse correcte n'est récompensée.
Ils ont constaté que, selon des cotes plus strictes, un modèle devrait refuser de répondre à une question s'il n'est pas suffisamment confiant dans sa réponse après avoir dépensé son budget informatique. Et aux seuils de confiance plus élevés, cela signifiera que davantage de questions restent sans réponse, mais ce n'est pas nécessairement une mauvaise chose.
« Une élève peut être légèrement ennuyée d'attendre 10 minutes seulement pour découvrir qu'elle doit résoudre un problème mathématique elle-même parce que le modèle d'IA n'est pas sûr », explique Jurayj. « Mais dans des environnements à enjeux élevés, cela est infiniment préférable à attendre cinq minutes pour une réponse qui semble correcte mais qui ne l'est pas. »
Maintenant, l'équipe encourage la plus grande communauté de recherche sur l'IA à signaler les performances de réponses de questions de leurs modèles à l'examen et « Jeopardy! » Il est probable que tout le monde puisse bénéficier de l'IA avec une confiance mieux calibrée.
« Nous espérons que la communauté de recherche acceptera notre invitation à signaler les performances dans des contextes avec des coûts non nuls pour des réponses incorrectes, car cela motivera naturellement le développement de meilleures méthodes de quantification de l'incertitude », explique Jurayj.
