Pour comprendre l’avenir de l’IA, jetez un œil aux défaillances de Google Translate

Les informaticiens Rich Sutton et Andrew Barto ont été reconnus pour une longue expérience d’idées influentes avec le prix Turing de cette année, le plus prestigieux dans le domaine. L’essai de Sutton en 2019, la leçon amère, par exemple, sous-tend une grande partie de la fiédie d’aujourd’hui autour de l’intelligence artificielle (IA).

Il soutient que les méthodes pour améliorer l’IA qui reposent sur un calcul lourd plutôt que sur les connaissances humaines sont « finalement les plus efficaces et par une grande marge ». C’est une idée dont la vérité a été démontrée à plusieurs reprises dans l’histoire de l’IA. Pourtant, il y a une autre leçon importante dans cette histoire d’il y a une vingtaine d’années que nous devons tenir compte.

Les chatbots AI d’aujourd’hui sont construits sur des modèles de grands langues (LLM), qui sont formés sur d’énormes quantités de données qui permettent à une machine de « raisonner » en prédisant le mot suivant d’une phrase en utilisant des probabilités.

Les modèles de langage probabiliste utiles ont été officialisés par l’American Polymathe Claude Shannon en 1948, citant des précédents des années 1910 et 1920. Les modèles linguistiques de cette forme ont ensuite été popularisés dans les années 1970 et 1980 pour une utilisation par les ordinateurs dans la traduction et la reconnaissance de la parole, dans lesquels les mots prononcés sont convertis en texte.

Le modèle de première langue sur l’échelle des LLMS contemporains a été publié en 2007 et était une composante de Google Translate, qui avait été lancée un an plus tôt. Formé sur des milliers de mots en utilisant plus d’un millier d’ordinateurs, c’est l’ancrée indubitable des LLM d’aujourd’hui, même si elle était techniquement différente.

Il s’appuyait sur des probabilités calculées à partir des dénombrements de mots, tandis que les LLM d’aujourd’hui sont basées sur ce que l’on appelle les transformateurs. Développé pour la première fois en 2017 – également à l’origine pour la traduction – ce sont des réseaux de neurones artificiels qui permettent aux machines de mieux exploiter le contexte de chaque mot.

Les avantages et les inconvénients de Google Translate

La traduction automatique (MT) s’est améliorée sans relâche au cours des deux dernières décennies, motivée non seulement par les avancées technologiques, mais aussi la taille et la diversité des ensembles de données de formation. Alors que Google Translate a commencé par l’offre de traductions entre trois langues en 2006 – l’anglais, le chinois et l’arabe – il prend en charge 249. Pourtant, bien que cela puisse sembler impressionnant, il est en fait moins de 4% des 7 000 langues estimées du monde.

Entre une poignée de ces langues, comme l’anglais et l’espagnol, les traductions sont souvent impeccables. Pourtant, même dans ces langues, le traducteur échoue parfois sur les idiomes, les noms de lieux, les termes juridiques et techniques et diverses autres nuances.

Entre de nombreuses autres langues, le service peut vous aider à obtenir l’essentiel d’un texte, mais contient souvent de graves erreurs. La plus grande évaluation annuelle des systèmes de traduction machine – qui comprend désormais les traductions effectuées par les LLM qui rivalisent avec ceux des systèmes de traduction spécialement conçus – ont terminé de façon louche en 2024 que « MT n’est pas encore résolu ».

La traduction automatique est largement utilisée malgré ces lacunes: jusqu’à 2021, l’application Google Translate a atteint 1 milliard d’installations. Pourtant, les utilisateurs semblent toujours comprendre qu’ils devraient utiliser de tels services avec prudence: une enquête en 2022 auprès de 1 200 personnes a constaté qu’ils utilisaient principalement la traduction machine dans des paramètres à faible enjeux, comme comprendre le contenu en ligne en dehors du travail ou de l’étude. Seulement environ 2% des traductions des répondants impliquaient des enjeux plus élevés, notamment en interaction avec les travailleurs de la santé ou la police.

Effectivement, il existe des risques élevés associés à l’utilisation de traductions machine dans ces paramètres. Des études ont montré que les erreurs de traduction de machines dans les soins de santé peuvent potentiellement causer de graves préjudices, et il y a des rapports selon lesquels il a nui aux cas d’asile crédibles. Cela n’aide pas que les utilisateurs aient tendance à faire confiance aux traductions machine faciles à comprendre, même lorsqu’ils sont trompeurs.

Connaissant les risques, l’industrie de la traduction s’appuie massivement sur des traducteurs humains dans des contextes à enjeux élevés comme le droit et le commerce internationaux. Pourtant, la commercialisation de ces travailleurs a été diminuée par le fait que les machines peuvent désormais faire une grande partie de leur travail, les laissant davantage sur l’assurance de la qualité.

De nombreux traducteurs humains sont des pigistes dans un marché médiatisé par des plateformes avec des capacités de traduction de machines. Il est frustrant d’être réduit à la disparition de la sortie inexacte, sans parler de la précarité et de la solitude endémique au travail de plate-forme. Les traducteurs doivent également affronter la menace réelle ou perçue que leurs rivaux machine les remplaceront éventuellement – les chercheurs se réfèrent à cela comme une anxiété d’automatisation.

Leçons pour les LLM

Le récent dévoilement du modèle d’IA chinois Deepseek, qui semble être proche des capacités des derniers modèles GPT du leader du marché Openai, mais à une fraction du prix, les signaux que les LLM très sophistiqués sont sur la voie de la marchandise. Ils seront déployés par des organisations de toutes tailles à faible coût, tout comme la traduction automatique l’est aujourd’hui.

Bien sûr, les LLM d’aujourd’hui vont bien au-delà de la traduction machine, effectuant une gamme de tâches beaucoup plus large. Leur limitation fondamentale est les données, ayant épuisé la majeure partie de ce qui est déjà disponible sur Internet. Pour toutes ses échelles, leurs données de formation sont susceptibles de sous-représenter la plupart des tâches, tout comme elle sous-représente la plupart des langues pour la traduction automatique.

En effet, le problème est pire avec l’IA générative: contrairement aux langues, il est difficile de savoir quelles tâches sont bien représentées dans un LLM. Il y aura sans aucun doute des efforts pour améliorer les données de formation qui améliorent les LLM dans certaines tâches sous-représentées. Mais la portée du défi éclipse celle de la traduction automatique.

Les optimistes technologiques peuvent épingler leurs espoirs sur les machines en mesure de continuer à augmenter la taille des données de formation en créant leurs propres versions synthétiques, ou à l’apprentissage de la rétroaction humaine via les interactions Chatbot. Ces avenues ont déjà été explorées dans la traduction automatique, avec un succès limité.

Ainsi, l’avenir prévisible pour les LLMS est celui dans lequel ils sont excellents dans quelques tâches, médiocres chez d’autres et peu fiables ailleurs. Nous les utiliserons là où les risques sont faibles, tandis qu’ils peuvent nuire aux utilisateurs sans méfiance dans des paramètres à haut risque – comme cela est déjà arrivé à des laïcs qui ont confiance en la sortie Chatgpt contenant des citations à une jurisprudence inexistante.

Ces LLM aideront les travailleurs humains dans les industries ayant une culture d’assurance qualité, comme la programmation informatique, tout en aggravant l’expérience de ces travailleurs. De plus, nous devrons faire face à de nouveaux problèmes tels que leur menace pour les œuvres artistiques humaines et pour l’environnement. La question urgente: est-ce vraiment l’avenir que nous voulons construire?