L’IA d’OpenAI était trop ouverte, donc dans le GPT-4, le secret absolu règne

Tout était formidable et très ouvert lorsque des progrès ont commencé dans le développement de systèmes d’intelligence artificielle pratiques il y a quelques années. Des entreprises comme OpenAI ne se contentaient pas de publier des moteurs incroyables comme DALL-E 2 ou GPT-3, elles publiaient des études approfondies détaillant leur création. Cela s’est terminé.

GPT-4. Cette semaine, OpenAI a annoncé la nouvelle version de son modèle d’IA conversationnelle, GPT-4, et bien que dans le annonce officielle il a montré les avantages et sa capacité, aucun détail interne de son développement n’a été donné. On ne sait pas avec quelle quantité de données le système a été formé, quel est le coût de l’énergie ou quel matériel et quelles méthodes ont été suivis pour le créer.

Je pense que nous pouvons l’appeler fermé sur l’IA « ouverte »: le document de 98 pages présentant GPT-4 déclare fièrement qu’ils ne divulguent * rien * sur le contenu de leur ensemble de formation. pic.twitter.com/dyI4Vf0uL3

– Ben Schmidt / @benmschmidt@vis.social (@benmschmidt) 14 mars 2023

OpenAI est tout sauf « ouvert ». Ben Schmidt, ingénieur dans une société d’IA de cartographie appelée Nomic, a souligné un détail important de la Rapport technique de 98 pages à propos de GPT-4 : les responsables ont déclaré qu’ils n’allaient rien révéler du tout sur la façon dont ils avaient formé le modèle.

La raison? La concurrence. Sur la deuxième page de ce rapport, ils ont parlé de la portée et des limites de ce rapport, avertissant que bien qu’ils donneraient des données sur leurs capacités, ils ne révéleraient pas les détails internes du développement afin de ne pas faciliter la tâche des autres concurrents. leur évolution :

« Compte tenu du paysage concurrentiel et des implications de sécurité des modèles à grande échelle tels que GPT-4, ce rapport ne contient pas plus de détails sur l’architecture (y compris la taille du modèle), le matériel, le calcul de formation, la construction d’ensembles de données, la méthode de formation ou d’autres données similaires. , construction d’ensembles de données, méthode de formation ou similaire ».

Les entreprises deviennent sérieuses. Ilya Sutskever, l’un des co-fondateurs d’OpenAI, a expliqué sur le point « Il y a beaucoup de concurrence là-bas. […] Beaucoup d’entreprises veulent faire de même, donc d’un point de vue concurrentiel, vous pouvez voir cela comme la maturation de ce domaine. » Du partage des connaissances comme il y a des années, les entreprises sont passées à une approche beaucoup plus protectionniste de leurs avancées.

Mais il y a un danger. Le problème de cette nouvelle position secrète réside dans la sécurité de ces modèles, qui sans cette transparence perdent la possibilité d’être audités par d’autres experts ou organismes indépendants. Pour Sutskever, l’approche était exactement le contraire : ces modèles peuvent finir par causer « beaucoup de dégâts », et à mesure que les capacités s’améliorent, « il est logique que vous ne vouliez même pas révéler [cómo funcionan por dentro] » donc les mauvais acteurs ne peuvent pas en profiter.

« Nous avions tort ». L’attitude d’OpenAI à cet égard a totalement changé et, dans le passé, ils partageaient de nombreuses informations sur leurs modèles. Selon Sutskever « nous nous sommes trompés ». Pour lui, si l’IA finit par être puissante, « ça ne sert à rien d’ouvrir le code source. C’est une mauvaise idée… J’espère que dans quelques années ce sera complètement évident pour tout le monde que l’IA open source est pas une bonne idée. »

Des avis pour tous les goûts. Alors qu’OpenAI ferme en bande avec GPT-4, Meta vient de lancer FLAMME, un concurrent essentiellement ouvert que nous pouvons réellement installer sur notre ordinateur portable. L’approche est actuellement celle qu’OpenAI avait à l’origine, mais pour d’autres, la décision des créateurs de GPT-4 est logique d’un point de vue commercial. C’est ce qu’a avoué William Falcon, créateur de l’outil PyTorch Lightning, qui dans VentureBeat a expliqué comment « Si ce modèle tourne mal, et ça va mal tourner, vous l’avez déjà vu avec des hallucinations et vous donnant de fausses informations, comment va la communauté censé réagir ? ? »

Et puis il y a le droit d’auteur. Il y a aussi un aspect juridique à tout cela : les jeux de données ou « datasets » avec lesquels ces modèles sont entraînés sont gigantesques et une grande partie de ces informations sont collectées sur le web. Une partie de ce contenu est susceptible d’être protégée par le droit d’auteur, donc ne pas dire comment ils ont été formés les protège (initialement) contre d’éventuelles poursuites en matière de droit d’auteur.

À Simseo | Je n’ai aucune idée de la programmation mais grâce à GPT-4 j’ai créé un clone de Flappy Bird