Tout le monde s'amuse avec ChatGPT, mais personne ne sait comment cela fonctionne réellement

Tout le monde s’amuse avec ChatGPT, mais personne ne sait comment cela fonctionne réellement

Crédit : Shutterstock

ChatGPT est le chatbot intelligent artificiellement le plus récent et le plus impressionnant à ce jour. Il est sorti il ​​y a deux semaines et en seulement cinq jours, il a atteint un million d’utilisateurs. Il est tellement utilisé que ses serveurs ont atteint sa capacité plusieurs fois.

OpenAI, la société qui l’a développé, fait déjà l’objet de discussions en tant que tueur potentiel de Google. Pourquoi rechercher quelque chose sur un moteur de recherche alors que ChatGPT peut écrire un paragraphe entier expliquant la réponse ? (Il y a même une extension Chrome qui vous permet de faire les deux, côte à côte.)

Mais que se passe-t-il si nous ne connaissons jamais la sauce secrète derrière les capacités de ChatGPT ?

Le chatbot tire parti d’un certain nombre d’avancées techniques publiées dans la littérature scientifique ouverte au cours des deux dernières décennies. Mais toutes les innovations qui lui sont propres sont secrètes. OpenAI pourrait bien essayer de construire un fossé technique et commercial pour empêcher les autres d’entrer.

Ce qu’il peut (et ne peut pas faire)

ChatGPT est très capable. Envie d’un haïku sur les chatbots ? Bien sûr.

« Chatbots, oh si sages / Traitement sans fin / Réponses du vide. »

Que diriez-vous d’une blague sur les chatbots ? Aucun problème.

« Pourquoi le chatbot a-t-il traversé la route ? Pour passer de l’autre côté… de votre écran ! »

ChatGPT peut faire beaucoup d’autres trucs. Il peut écrire code informatique selon les spécifications d’un utilisateur, rédiger des lettres commerciales ou des contrats de location, rédiger des devoirs et même réussir des examens universitaires.

Tout aussi important est ce que ChatGPT ne peut pas faire. Par exemple, il a du mal à faire la distinction entre la vérité et le mensonge. C’est aussi souvent un menteur persuasif :

Q : Quel est le mammifère marin le plus rapide ?

R : Le mammifère marin le plus rapide est le voilier.

Q : Le voilier n’est pas un mammifère.

R : Vous avez raison, le voilier n’est pas un mammifère. Je m’excuse pour l’erreur. Le mammifère marin le plus rapide est le faucon pèlerin.

ChatGPT est un peu comme la saisie semi-automatique sur votre téléphone. Votre téléphone est formé sur un dictionnaire de mots afin qu’il complète les mots. ChatGPT est formé sur la quasi-totalité du Web et peut donc compléter des phrases entières, voire des paragraphes entiers.

Cependant, il ne comprend pas ce qu’il dit, juste quels mots sont les plus susceptibles de venir ensuite.

Ouvert uniquement par nom

Dans le passé, les progrès de l’IA se sont accompagnés de publications évaluées par des pairs.

En 2018, par exemple, lorsque l’équipe Google Brain a développé le réseau neuronal BERT sur lequel la plupart des systèmes de traitement du langage naturel sont désormais basés (et nous pensons que ChatGPT l’est également), les méthodes ont été publiées dans des articles scientifiques évalués par des pairs et le code était open source.

Et en 2021, AlphaFold 2 de DeepMind, un logiciel de repliement de protéines, était Science’s Percée de l’année. Le logiciel et ses résultats étaient open source afin que les scientifiques du monde entier puissent les utiliser pour faire progresser la biologie et la médecine.

Suite à la sortie de ChatGPT, nous n’avons qu’un court article de blog décrivant son fonctionnement. Il n’y a eu aucune allusion à une publication scientifique d’accompagnement, ou que le code sera open-source.

Pour comprendre pourquoi ChatGPT pourrait être gardé secret, vous devez comprendre un peu l’entreprise qui se cache derrière.

OpenAI est peut-être l’une des entreprises les plus étranges à émerger de la Silicon Valley. C’était constitué en association à but non lucratif en 2015 pour promouvoir et développer une IA « conviviale » d’une manière qui « bénéficie à l’humanité dans son ensemble ». Elon Musk, Peter Thiel et d’autres personnalités technologiques de premier plan ont promis 1 milliard de dollars américains pour atteindre ses objectifs.

Leur pensée était que nous ne pouvions pas faire confiance aux entreprises à but lucratif pour développer une IA de plus en plus performante et alignée sur la prospérité de l’humanité. L’IA devait donc être développée par une association et, comme son nom l’indique, de manière ouverte.

En 2019 OpenAI transformé en une entreprise à but lucratif plafonnée (avec des investisseurs limités à un rendement maximum de 100 fois leur investissement) et a pris un investissement de 1 milliard de dollars américains de Microsoft afin qu’elle puisse évoluer et rivaliser avec les géants de la technologie.

Il semble que l’argent ait gêné les plans initiaux d’ouverture d’OpenAI.

Profiter des utilisateurs

En plus de cela, OpenAI semble utiliser les commentaires des utilisateurs pour filtrer les fausses réponses que ChatGPT hallucine.

Selon son blogOpenAI a initialement utilisé l’apprentissage par renforcement dans ChatGPT pour déclasser les réponses fausses et/ou problématiques à l’aide d’un ensemble de formation coûteux construit à la main.

Mais ChatGPT semble maintenant être réglé par ses plus d’un million d’utilisateurs. J’imagine que ce type de rétroaction humaine serait extrêmement coûteux à acquérir de toute autre manière.

Nous sommes maintenant confrontés à la perspective d’une avancée significative de l’IA en utilisant des méthodes qui ne sont pas décrites dans la littérature scientifique et avec des ensembles de données limités à une entreprise qui semble n’être ouverte que de nom.

Quelle est la prochaine étape ?

Au cours de la dernière décennie, les progrès rapides de l’IA ont été en grande partie dus à l’ouverture des universitaires et des entreprises. Tous les principaux outils d’IA dont nous disposons sont open source.

Mais dans la course pour développer une IA plus performante, cela pourrait se terminer. Si l’ouverture de l’IA diminue, nous pourrions voir les progrès dans ce domaine ralentir en conséquence. Nous pourrions également voir se développer de nouveaux monopoles.

Et si l’on se fie à l’histoire, nous savons qu’un manque de transparence est un déclencheur de mauvais comportements dans les espaces technologiques. Ainsi, pendant que nous louons (ou critiquons) ChatGPT, nous ne devons pas négliger les circonstances dans lesquelles il nous est parvenu.

À moins que nous ne soyons prudents, ce qui semble marquer l’âge d’or de l’IA pourrait en fait marquer sa fin.

Fourni par La Conversation