Google le pense et OpenAI sont en train de perdre la course à l’IA
S’il y a un vainqueur actuel dans la course à l’IA, c’est OpenAI. Microsoft en profite très bien. Google se montre plus prudent, oui, mais il ne faut pas oublier qu’il travaille dans ce domaine depuis des années et qu’il a DeepMind comme fer de lance. Et pourtant, les propres responsables de Google semblent être clairs sur le fait que ni eux ni OpenAI ne gagneront. Le gagnant sera quelqu’un d’autre.
« Nous n’avons pas de fossé ». Un document divulgué dans SemiAnalysis et soi-disant créé par les ingénieurs de Google montre leur analyse de l’état actuel de l’art dans le domaine de l’intelligence artificielle. Ils y utilisent l’expression « nous n’avons pas de fossé, et OpenAI non plus », qui est utilisée dans des contextes commerciaux et d’investissement pour décrire une entreprise ou une entreprise qui n’a pas d’avantage concurrentiel durable. . Ou ce qui revient au même : selon Google, lui et OpenAI auront du mal à maintenir leur position sur le marché de l’IA et à rester compétitifs à long terme.
La « menace » Open Source. L’analyse de Google compare son modèle Bard avec ChatGPT, mais inclut également les dernières avancées des projets Open Source dans ce domaine. La conclusion des ingénieurs de Google est frappante :
« Bien que nos modèles aient encore un léger avantage en termes de qualité, l’écart se réduit à une vitesse étonnante. Les modèles open source sont plus rapides, plus personnalisables, plus privés et, livre pour livre, plus capables. Ils font des choses avec 100 dollars et 13 000 millions de paramètres qui nous ont coûté 10 millions et 540 000 millions de paramètres. Et ils le font en semaines, pas en mois ».
Le graphique ci-dessus, adapté de celui utilisé lors du lancement du modèle Vicuna-13B, montre comment après le lancement de Meta de LLaMA (et sa fuite ultérieure vers les réseaux P2P), Alpaca-13B a mis deux semaines à apparaître et l’a sensiblement amélioré. , mais est-ce que Vicuna-13B, qui est apparu une semaine plus tard, était proche de la précision et de la qualité de Bard et ChatGPT avec beaucoup moins de ressources.
Innovation constante et frénétique. Le document explique comment, dans le monde de l’Open Source, des avancées spectaculaires ont lieu en très peu de temps. À peine quelques jours se sont écoulés entre les percées majeures (voir la chronologie pour une ventilation complète). Nous y sommes, à peine un mois plus tard, et il existe des variantes avec réglage des instructions, quantification, améliorations de la qualité, évaluations humaines, multimodalité, RLHF, etc., etc., dont beaucoup se complètent. Et pour Google, la chose ne s’arrête pas là :
« Plus important encore, ils ont résolu le problème de mise à l’échelle au point que n’importe qui peut le modifier. Beaucoup de nouvelles idées viennent de gens ordinaires. La barrière à l’entrée pour la formation et l’expérimentation a été abaissée par rapport à la production totale d’un grand organisme de recherche. à une personne, un après-midi et un ordinateur portable robuste ».
LoRA, démocratiseur de l’IA. Le document a une section très intéressante qui parle de « ce qui nous a confondus ». Là, les ingénieurs parlent de LoRA (Low-Rank Adaptation), une technique qui s’applique aux LLM (Large Language Models) et qui cherche à réduire le coût d’adaptation de ces modèles à des tâches spécifiques. Du coup, n’importe qui avec un bon ordinateur portable peut appliquer cette méthode et personnaliser son modèle. Non seulement cela:
« Une partie de ce qui rend LoRA si puissant est que, comme d’autres formes de réglage, il est empilable. Des améliorations telles que le réglage des instructions peuvent être appliquées puis exploitées lorsque d’autres contributeurs ajoutent un dialogue, un raisonnement ou des outils. » Bien que les réglages fins individuels soient bas de gamme, leur somme n’a pas besoin d’être, permettant aux mises à niveau complètes du modèle de s’additionner au fil du temps. Cela signifie qu’à mesure que de nouveaux et meilleurs ensembles de données et de tâches deviennent disponibles, le modèle peut être mis à jour à faible coût, sans jamais avoir à payer le coût d’un parcours complet. »
L’avantage concurrentiel des grands est perdu. Essentiellement, ce que LoRA permet, c’est de concurrencer de grandes entreprises comme Google ou OpenAI qui consacrent d’énormes ressources à la formation de modèles à partir de zéro. Du coup, cette façon d’avancer dans ces projets n’offre plus l’avantage concurrentiel qu’elle avait auparavant :
« Les grands modèles ne sont pas plus performants à long terme si nous pouvons itérer plus rapidement sur les petits modèles. Les mises à niveau LoRA sont très bon marché à produire (~ 100 $) pour les tailles de modèles les plus populaires. Cela signifie que presque tous ceux qui ont une idée peuvent en générer un et les temps de formation de moins d’une journée sont la norme. À ce rythme, il ne faut pas longtemps pour que l’effet cumulé de tous ces ajustements surmonte le désavantage de taille initial. En fait, en termes d’heures d’ingénierie, le taux d’amélioration de ces modèles dépasse de loin ce que nous pouvons faire avec nos plus grandes variantes, et les meilleures sont déjà pratiquement impossibles à distinguer de ChatGPT. Se concentrer sur le maintien de certains des plus grands modèles de la planète nous désavantage en fait.
Google veut le secret. Le document évoque également un changement d’attitude de la part de Google, qui pendant des années a partagé ses progrès avec le monde grâce à la publication de nombreuses études dans le domaine de l’intelligence artificielle. Maintenant, la stratégie est différente selon le Washington Post, qui révèle qu’ils vont arrêter de le faire pour concurrencer le reste des avancées. Dans le texte divulgué qui n’est pas si clair:
« Garder notre technologie secrète a toujours été une proposition risquée. Les chercheurs de Google partent régulièrement pour d’autres entreprises, nous pouvons donc supposer qu’ils savent tout ce que nous savons, et continueront de savoir tant que cette voie restera ouverte.
Mais conserver un avantage concurrentiel dans la technologie devient encore plus difficile maintenant que la recherche de pointe en LLM est abordable. Les institutions de recherche du monde entier s’appuient sur le travail des autres, explorant l’espace de solutions bien au-delà de nos propres capacités. Nous pouvons essayer de garder nos secrets pendant que l’innovation extérieure dilue leur valeur, ou nous pouvons essayer d’apprendre les uns des autres. »
OpenAI n’a rien à faire non plus. Ces avancées dans le monde Open Source semblent non seulement mettre Google dans les cordes, mais aussi OpenAI lui-même :
« Et en fin de compte, OpenAI n’a pas d’importance. Ils font les mêmes erreurs que nous dans leur position sur l’open source, et leur capacité à conserver un avantage est nécessairement en question. Les alternatives open source peuvent et vont les éclipser, mais à moins ils changent de position. En ce sens, au moins, nous pouvons faire le premier pas.
