Quelqu’un a créé une IA qui ne sait rien de ce qui s’est passé après 1930, et elle est plus utile qu’il n’y paraît

L’un des problèmes avec les modèles de langage est qu’il existe une date limite dans les données de formation, c’est-à-dire que le modèle ne connaît pas les événements actuels qui vont au-delà de cette date. Ceci, qui dans certains secteurs peut constituer un problème sérieux, est précisément l’objectif de Talkie-1930, un modèle de langage formé uniquement avec des textes d’avant 1930. Si vous vous êtes déjà demandé ce que ce serait de parler à quelqu’un du passé, il existe une IA pour cela.

Un modèle de langage vintage. C’est ainsi que ces LLM formés avec un contenu historique ont été nommés. Talkie-1930 est un modèle avec 13 milliards de paramètres qui n’a pas accès aux informations modernes et ne peut pas consulter Internet, mais qui a été formé uniquement avec des livres, des journaux et d’autres textes d’avant 1930.

Pour explorer le modèle, les chercheurs ont demandé à Claude de converser avec le modèle et d’évaluer ses réponses. Le modèle montrait une grande connaissance du monde, avec de nombreux détails historiques de l’époque, et une grande capacité à imiter le style des auteurs victoriens tels que Dickens, bien que quelque peu limité dans des formats plus satiriques.

Plus qu’une expérience culturelle. Le talkie est ce qui se rapproche le plus de parler à une personne instruite au début du 20e siècle. Cela transforme le modèle en une fenêtre qui nous permet d’explorer la mentalité et la culture d’une époque passée et d’apprendre comment la société, la politique ou la vie quotidienne étaient décrites à l’époque. Mais au-delà de la curiosité, Talkie-1930 fonctionne également comme un « sujet témoin » pour mieux étudier le fonctionnement de l’IA et réaliser des avancées importantes.

Prédire l’avenir. En étant « gelé » en 1930, Talkie permet de mieux mesurer jusqu’où un modèle peut extrapoler et prédire l’avenir à partir des seuls modèles historiques, sans tricher avec des données ultérieures. Pour tester cette capacité d’anticipation, les chercheurs ont montré jusqu’à 5 000 descriptions d’événements historiques ultérieurs, extraites de la section « Ce jour » du New York Times, et ont mesuré le degré de surprise du modèle.

Le résultat a été que le modèle a montré davantage de surprise dans les décennies qui ont suivi la date limite des données, en particulier dans les années 1950 et 1960, mais son degré de surprise s’est ensuite stabilisé. Selon les chercheurs, cela suggère que les performances prédictives s’améliorent à mesure que l’horizon temporel s’allonge, mais ils soulignent qu’il sera nécessaire de former des modèles plus anciens pour pouvoir bien les mesurer.

Invention. Demis Hassabis, PDG de Google DeepMind, a récemment soulevé une question très intéressante lors d’une conférence : si une IA avec une limite de connaissance jusqu’en 1911 pourrait atteindre la théorie de la relativité qu’Einstein a découverte en 1915. En ce sens, des modèles comme Talkie-1930 sont un outil très intéressant pour observer sa capacité à générer de nouvelles idées pouvant conduire à des découvertes.

Aucune pollution. C’est l’un des problèmes que rencontrent les modèles formés avec de grands corpus de données actuelles, dans lesquels les données d’évaluation elles-mêmes ont également tendance à s’infiltrer et finissent par surestimer leurs capacités. Avec les modèles vintage, il n’y a pas de contamination et cela permet de réaliser des expériences très précises, comme par exemple voir si l’on est capable d’apprendre à programmer sans avoir de connaissances préalables en informatique. Talkie-1930 est open source et disponible sur Github.

Images | Simseo

À Simseo | Une macro-expérience a tenté de savoir si l’on différenciait les images réelles de celles générées par l’IA. La réponse n’est pas optimiste