La façon dont nous parlons aux chatbots affecte leur précision, révèle une nouvelle recherche
Que nous recherchions une assistance client, des recommandations ou simplement posons une question rapide, les chatbots IA sont conçus pour nous donner les réponses que nous recherchons. Mais il se passe bien plus sous la surface. Chaque fois que nous discutons avec eux, ils apprennent de nous pour améliorer leur compréhension et leurs réponses. Et le type de langage que nous utilisons, qu'il soit formel ou informel, affecte directement la qualité de leurs réponses, selon une nouvelle recherche.
En général, les gens adaptent naturellement leur style de conversation à leur interlocuteur. Ainsi, dans une banque, par exemple, lorsque nous parlons à un agent de crédit, nous pouvons utiliser un langage plus formel et compléter des phrases. Mais dans un cadre détendu comme un bar entre amis, nous pourrions utiliser des abréviations et des formulations plus informelles. Fulei Zhang et Zhou Yu d'Amazon voulaient voir si ce même changement de conversation se produisait lorsque les gens parlent à des chatbots plutôt qu'à d'autres humains, et si oui, comment cela affecte les performances d'un chatbot.
Les chercheurs ont comparé des milliers de messages envoyés à des agents humains avec ceux envoyés à des chatbots IA, en se concentrant sur des fonctionnalités telles que la grammaire, le vocabulaire et la politesse. Ils ont constaté que les gens étaient 14,5 % plus polis et formels et 5,3 % plus fluides grammaticalement lorsqu'ils discutaient avec des humains que lorsqu'ils parlaient avec l'IA, sur la base de l'analyse du modèle Claude 3.5 Sonnet.
Ensuite, ils ont formé un modèle d’IA appelé Mistral 7B sur environ 13 000 discussions réelles entre personnes, puis ont testé sa compréhension de plus de 1 300 messages envoyés aux chatbots. Pour élargir la visibilité de l'IA, ils ont également créé des réécritures brutales et polies de ces messages pour simuler différents styles de communication.
Il s’avère que les chatbots formés sur un mélange diversifié de styles de messages, y compris des messages réels et faux, étaient 2,9 % meilleurs pour comprendre l’intention de l’utilisateur que l’IA formée uniquement sur des conversations humaines originales. Les chercheurs ont également tenté d'améliorer la compréhension de Mistral AI en réécrivant les messages informels à la dernière minute pour les rendre plus formels, mais cela a entraîné une baisse de compréhension de près de 2 %.
Ainsi, la meilleure façon de rendre les chatbots plus intelligents est de les former à différents styles de communication, comme l'indiquent les chercheurs dans leur article publié sur le arXiv serveur de préimpression. « L'exposition à diverses variations linguistiques pendant la formation est plus efficace que la normalisation du temps d'inférence. Les modèles doivent apprendre à interpréter divers styles de communication pendant la formation, plutôt que de s'appuyer sur des transformations post-hoc fragiles qui risquent une distorsion sémantique. »
De tels résultats pourraient être essentiels pour améliorer la qualité des réponses des chatbots dans des contextes réels.
Écrit pour vous par notre auteur Paul Arnold, édité par Lisa Lock, et vérifié et révisé par Robert Egan, cet article est le résultat d'un travail humain minutieux. Nous comptons sur des lecteurs comme vous pour maintenir en vie le journalisme scientifique indépendant. Si ce reporting vous intéresse, pensez à faire un don (surtout mensuel). Vous obtiendrez un sans publicité compte en guise de remerciement.
