deux chercheurs espagnols nous racontent comment ils travaillaient dans les années 90

C’était une époque où il n’y avait pratiquement pas de données, à intelligence artificielle Il y avait un long chemin à parcourir avant de devenir une industrie, la quincaillerie remontait au Paléolithique, les problèmes à résoudre étaient basés sur les jouets et la recherche était artisanale. Maintenant que l’IA répond à des problèmes du monde réel, qu’il y a d’abondantes quantités d’informations à traiter et qu’une industrie florissante a émergé autour de cette technologie, deux chercheurs nous racontent comment ils travaillaient il y a trente ans, dans les années 90, lorsqu’ils ont débuté dans ce domaine.

C’était l’époque où ils laissaient les machines en marche et revenaient le lendemain dans l’espoir d’avoir terminé les calculs.

Juan Antonio Rodríguez-Aguilarprofesseur-chercheur à l’Institut de recherche en intelligence artificielle du CSIC et dont la carrière a débuté en 1993, souligne rapidement une des grandes différences avec le moment actuel : « Quand nous avons commencé, il n’y avait pas de données. Nous étions dans une science dans laquelle il y avait non « Toutes ces données étaient produites. Et tous les problèmes qu’il y avait dans l’IA étaient de petits problèmes, avec des données synthétiques créées par certains chercheurs. De plus, nous utilisions un matériel très limité. »

Contrairement à aujourd’hui, le travail était effectué localement, souvent avec un simple ordinateur de bureau. Jésus Cerquides, chef du département d’apprentissage automatique également à l’Institut de recherche en intelligence artificielle du CSIC, l’a rejoint en 1995, lors de sa dernière année de diplôme en informatique. « Nous avions un logiciel qu’ils nous avaient donné de France, qui ne fonctionnait que sur une machine spécifique et était très lent. Vous déplaciez la souris et, au bout d’une seconde, la souris se déplaçait vers l’autre partie de l’écran. »

Il s’agissait d’une Sun SPARCstation 1, qui pouvait atteindre un maximum de 64 Mo de mémoire. En comparaison, un smartphone milieu de gamme dispose aujourd’hui d’environ 8 Go de RAM, soit 125 fois plus.

Rodríguez-Aguilar était également en dernière année de son diplôme lorsqu’on lui a expliqué comment fonctionnaient les réseaux de neurones. Son intérêt pour l’intelligence artificielle s’éveille et, lors de son Erasmus en Angleterre, son professeur lui propose de mettre en œuvre certains de ses travaux théoriques. Il s’est donc mis à déployer cet algorithme sur un Macintosh Plus, un ordinateur lancé en 1986 et qu’il disposait d’un processeur cadencé à 8 MHz (encore une fois la comparaison avec le milieu de gamme des téléphones portables : la puce MediaTek 1080 est composée de 2 cœurs à 2,6 Ghz). « J’y ai passé du temps à implémenter l’algorithme sur une petite machine qui était hilarante. Je l’ai fait avec le langage de programmation LISP. Aujourd’hui, l’IA est programmée en Python ou en C++, mais c’était le langage de l’époque », se souvient-il.

Dans les années 90, dans la recherche sur l’IA, il était courant de programmer un algorithme et de l’exécuter sur un ordinateur de bureau, même à la maison. Il est désormais impensable d’expérimenter l’IA sans recourir à des centres de calcul intensif ou à des services cloud. C’est l’une des raisons pour lesquelles les entreprises privées ont largement progressé par rapport aux centres de recherche. L’énorme puissance de calcul des datacenters de Google, Microsoft ou Amazon permet des expérimentations massives.

Tout cela a ses contreparties. « Pour reproduire un article de DeepMind, j’ai probablement besoin que quelqu’un me donne des millions d’euros en informatique », explique Cerquides. « Alors oubliez ça, je ne peux pas le reproduire. Je dois croire aveuglément à ses résultats parce que je n’ai pas l’argent pour les reproduire. »

Applications d’IA il y a 30 ans

À cette époque, alors qu’Internet n’était encore qu’un embryon de ce qu’il allait devenir plus tard, la recherche en IA se consacrait à résoudre des problèmes que nous considérons aujourd’hui comme minimes. Ils travaillaient sur la reconnaissance de caractères, pour identifier quels chiffres étaient écrits à la main. « Nous pensions aux services postaux. Les codes postaux apparaissaient sur les lettres et nous savions qu’il serait utile de ne pas devoir saisir ces codes postaux à la main mais de les lire sur une photo », explique Cerquides.

Plusieurs photos d’un 6, écrites par différentes personnes, ont été prises et l’algorithme a été entraîné pour apprendre à le différencier. Un réseau a été utilisé, mesuré en quelques pixels et où des nombres étaient intégrés. « C’était la préhistoire de la reconnaissance de l’écriture manuscrite », souligne Rodríguez-Aguilar.

Ils ont également peaufiné leurs algorithmes pour prédire le résultat d’une partie d’échecs, une discipline qui à l’époque était considérée comme une limite pour les machines (Deep Blue a battu Gary Kasparov en 1997, mais c’est une autre histoire). Ils l’ont fait en fonction de la position des pièces et d’un jeu réel déjà joué. La prévision des taches solaires ou l’analyse des données médicales étaient d’autres tâches explorées par l’IA.

Ils traitaient toujours de problèmes de dimensions modestes, notamment parce que les bases de données étaient trop petites pour soutenir des hypothèses compliquées. « Nous parlons de grands ensembles de données contenant 10 000 échantillons. Il y avait déjà beaucoup de gens qui ne l’exécutaient pas parce qu’ils disaient que cela prenait trop de temps sur leur machine », explique Cerquides. ChatGPT, quant à lui, s’appuie sur tout ce qui se trouvait sur Internet jusqu’en 2021, une quantité d’informations non quantifiable.

Calculs tôt le matin

Presque tout le travail a été réalisé au centre de recherche. Bien que certains chercheurs aient emporté certaines tâches informatiques légères chez eux. L’ordinateur 386 de Cerquides, avec son disque dur limité et sa puissance assez limitée, a fait tout ce qu’on lui demandait, y compris le travail de nuit. « Mon partenaire et moi avons dormi dans la même pièce où se trouvait l’ordinateur, que nous appelions Ruidosito en raison de ses excellentes caractéristiques d’insonorisation », dit-il. Quand ils se réveillèrent, ils entendirent rugir et babiller Ruidosito, qui dut subir mille fatigues pour effectuer les calculs qui lui avaient été assignés.

Rodríguez-Aguilar se souvient passer des nuits au centre de recherche tester les expériences. L’ordinateur là-bas, même s’il s’agissait désormais d’un objet de plaisanterie, était à l’époque une technologie de pointe. « Nous avons eu une époque où nous passions les nuits au laboratoire. Passer la nuit dans un centre informatique, au bureau, était assez courant. Je me suis endormi sur le clavier plus d’une fois », raconte le chercheur.

Tous deux ont coïncidé au cours de leurs premières années dans le même centre. Et pas seulement dans le temps, ils coïncidaient dans un moment et un lieu plus précis : tôt le matin, au distributeur automatique, à la recherche de quelque chose pour apaiser la faim, car le sommeil les accompagnerait toute la nuit. Bien que tous les travaux ne puissent pas être effectués simultanément.

« Quand nous avons commencé à l’Institut d’Intelligence Artificielle, nous avions un ordinateur central et chacun de nous avait un écran et un clavier. Donc si je commençais à exécuter quelque chose, cela consommerait le processeur de Juan Antonio et il ne pourrait rien exécuter », explique-t-il.Cerchides. « Nous avons dû nous mettre d’accord. Parce que si vous mettiez plusieurs choses en même temps, aucune d’entre elles ne fonctionnerait. Nous avions besoin d’un protocole de négociation. Nous nous demandions : hé, quand avez-vous la date de livraison pour cela ?

Les machines calculées pendant des heures et des heures. Lors de sa première expérience avec les réseaux neuronaux à l’Université du Hertfordshire, en Angleterre, Rodríguez-Aguilar se souvient avoir laissé l’ordinateur en marche et être allé au pub. Mais il a attrapé le virus et revenait de temps en temps au laboratoire pour vérifier les résultats. « Je mourais de curiosité », souligne-t-il, tout en exprimant la lourdeur de l’attente : « Parfois, on arrivait le matin et je n’avais pas non plus fini les calculs. »

Mais il y avait un risque associé aux visites à l’ordinateur après un arrêt au pub. Il valait mieux ne rien toucher à la machine. « À l’époque, il n’y avait pas de système de contrôle de version. Si vous modifiiez le code, il était modifié pour toujours et vous détruisiez deux jours de travail, ou deux semaines, parce que vous aviez été inspiré », souligne sarcastiquement Cerquides.

L’avancée du vertige ces dernières années

Désormais, les chercheurs et les étudiants peuvent se connecter depuis chez eux pour travailler sur l’intelligence artificielle. Internet, les systèmes cloud et l’augmentation exponentielle du matériel ont tout changé. Avant, le code n’était même pas disponible, GitHub n’existait pas et le mouvement du logiciel libre était minoritaire.

« Vous lisez sur papier les articles d’autres chercheurs », remarque Rodríguez-Aguilar, en insistant sur le format physique, « parfois vous photocopiez les articles de la bibliothèque ». Tous deux se souviennent de leur retour de conférences sur l’intelligence artificielle aux États-Unis. chargé des livres des conférenciers. Et quand il arriva, tous ses compagnons le lui demandèrent.

Le contraste est catastrophique. Aujourd’hui, les chercheurs ont accès à n’importe quel article scientifique publié il y a deux semaines. Tous ces facteurs, ajoutés à l’abondance des données, ont entraîné un énorme bond en avant au cours de la dernière décennie. La version massive de l’IA n’est arrivée qu’avec des modèles de langage, tels que ChatGPT, mais sa technologie sous-jacente est en développement depuis des années.

Il s’agit d’apprentissage en profondeur. « Tout à coup, il existe un matériel informatique très puissant et tout ce qui existait dans les réseaux neuronaux pouvait désormais commencer à être utilisé. Le domaine a commencé à se développer à une vitesse vertigineuse. De plus en plus d’algorithmes sont apparus et c’est le domaine qui a vraiment explosé », reflète Rodríguez-Aguilar.

Dans son cas, elle utilise désormais l’intelligence artificielle pour approfondir les méthodes d’apprentissage coopératif, pour aider à créer des budgets participatifs alignés sur les valeurs citoyennes ou dans les systèmes de gestion de la mobilité, pour partager les véhicules et réduire les émissions. Bien qu’il travaille également à la conception d’un environnement de formation, pour introduire des objectifs éthiques et de sécurité dans les machines.

De son côté, Cerquides applique l’intelligence artificielle dans les systèmes prédire les crises d’épilepsie et dans les algorithmes pour soutenir la procréation assistée en identifiant les embryons ayant les meilleures chances de prospérer. De plus, il explore la combinaison de l’IA avec le domaine naissant de l’informatique quantique, une symbiose qui reste encore à découvrir.

Aujourd’hui, les algorithmes sont en ligne, le code est public, les centres de données sont très puissants, les données prolifèrent et il existe également une autre grande différence. À un moment donné de la conversation, l’un des deux a résumé la situation ainsi : « Avant, nous étions quatre chats et maintenant, c’est une discipline super respectée. »

À Simseo | Après le succès de ChatGPT, OpenAI fait face à son défi le plus difficile : survivre financièrement

Images | Simseo