Exploration du «point de basculement Jekyll-and-Hyde» dans AI
Les machines d’apprentissage des langues, telles que Chatgpt, sont devenues compétentes pour résoudre des problèmes mathématiques complexes, passer des examens difficiles et même offrir des conseils pour les conflits interpersonnels. Cependant, à quel moment un outil utile devient-il une menace?
La confiance dans l’IA est minée car il n’y a pas de science qui prédit lorsque sa production passe de l’information et basée sur des faits à la production de matériel ou même de conseils trompeurs, erronés, non pertinents ou même dangereux.
Dans une nouvelle étude, les chercheurs de l’Université de George Washington ont exploré quand et pourquoi la production de modèles de gros langues a mal mal. L’étude est publiée sur le arxiv serveur de préimprimée.
Neil Johnson, professeur de physique à l’Université George Washington, et un étudiant diplômé de GW, Frank Yingjie Huo, ont développé une formule mathématique pour identifier le moment où se produit le « point de basculement des » jekyll-and-hyde « . Au point de basculement, l’attention de l’IA a été trop mince et elle commence à pousser la désinformation et d’autres contenus négatifs, dit Johnson.
À l’avenir, Johnson affirme que le modèle pourrait ouvrir la voie aux solutions qui aideraient à garder l’IA digne de confiance et à empêcher ce point de basculement.
Cet article fournit une plate-forme unique et concrète pour les discussions entre le public, les décideurs et les entreprises sur ce qui pourrait mal tourner avec l’IA dans les futurs contextes personnels, médicaux ou sociétaux – et quelles mesures devraient être prises pour atténuer les risques, dit Johnson.
