Mark Zuckerberg ne cesse de répéter que son modèle d'IA est Open Source. Vous abusez du terme

Mark Zuckerberg sait dire la messe. Les modèles de lama ne sont pas Open Source. Pas du moins au sens strict de la définition, car comme ils l'expliquaient il y a longtemps dans l'Open Source Initiative, « Meta confond « Open Source » avec « ressources disponibles pour certains utilisateurs sous certaines conditions », deux choses très différentes ».

Ces commentaires, faits après la sortie de Llama 2, sont également valables pour la nouvelle famille de modèles d'IA générative de Meta. Dans les deux cas, comme dans le reste de l'industrie, nous voyons comment ces modèles prennent tout ce qu'ils peuvent de l'Internet public (et probablement une partie de l'Internet privé), en plus d'utiliser, comme dans ce cas, le terme Open Source. avec trop de joie. Voyons pourquoi.

voracité infinie

Baptisés Llama 3.1, ces modèles sont prometteurs en termes de performances et peuvent même surpasser GPT-4o ou Claude 3.5, mais en plus de souligner cette puissance et cette polyvalence, Mark Zuckerberg a souligné dans une lettre ouverte comment « l'IA Open Source est la voie à suivre ». « .

C'est le même discours qu'il a prononcé, par exemple, après la présentation des modèles dans une interview à Bloomberg, même s'il y a admis que Meta garde secrets les ensembles de données qu'ils ont utilisés pour entraîner Llama 3.1. « Bien qu'il soit ouvert, nous le concevons également nous-mêmes« , a-t-il souligné, et a seulement indiqué que des publications Facebook et Instagram ont été utilisées, en plus d'ensembles de données propriétaires sous licence auprès de tiers, sans préciser davantage.

Ce manque de transparence est courant dans l'industrie : on ne sait pas exactement comment d'autres modèles comme GPT-4 ou Claude 3.5, complètement fermés et propriétaires, ont été formés. Dans ces cas et dans d'autres, des données surprenantes peuvent avoir été collectées : un de ces ensembles de données, par exemple, contient 5 000 « jetons » de mon blog personnel.

La voracité de ces modèles semble infinie. Cela a provoqué des controverses et des procès, mais aussi des accords permettant aux sociétés de contenu d'octroyer une licence sur leurs textes, images et vidéos pour les former. Parfois, ils ne demandent même pas la permission : OpenAI a manqué de données pour entraîner son IA et a donc transcrit un million d'heures de YouTube pour entraîner GPT-4, par exemple.

« Open Weights » n'est pas la même chose que « Open Source »

Il est vrai que le modèle est disponible gratuitement sur GitHub, et c'est certainement remarquable : comme cela s'est produit avec Llama 2, ces modèles peuvent être utilisés par des entreprises et des développeurs indépendants pour créer des modèles d'IA dérivés de Llama 3.1.

Est quelque chose de similaire à ce qui se passe avec les distributions GNU/Linuxqui partent d'un noyau Linux et d'une série de composants auxquels ils ajoutent ensuite leurs propres éléments supplémentaires.

La licence d'utilisation de Llama 3 permet certes de travailler de cette manière, mais elle impose aussi une barrière clé dans sa licence : les modèles dérivés de Llama 3.1 sont gratuits sauf s'ils sont trop réussis. Si le modèle finit par être utilisé par plus de 700 millions d'utilisateurs actifs par mois, une licence devra être contractée auprès de Meta.

Mais comme dans d'autres cas, Ce que Meta partage également, ce sont les soi-disant « pesos », qui fournissent des informations sur la façon dont leurs calculs sont effectués. Cela permet à quiconque de télécharger les fichiers du réseau neuronal déjà formé, puis de l'utiliser directement ou de peaufiner son fonctionnement pour ses propres cas d'utilisation. Faire quelque chose comme ça fait que ces modèles, plutôt qu'Open Source, sont considérés comme des « poids ouverts ».

Comme expliqué dans Ars Technica, cela contraste avec ce qui se passe dans les modèles propriétaires tels que ceux d'OpenAI, qui ne partagent pas ces pondérations et monétisent les modèles via des abonnements à ChatGPT Plus ou via une API.

Ese uso del término « abierto » (« open ») por parte de muchos proyectos de IA, Llama 3.1, incluido, hace que cada vez haya más escrutinio al respecto (que se lo digan a OpenAI, que lo usa como parte del nombre de son entreprise).

C’est ce que met par exemple en évidence une recherche intéressante menée par une équipe de l’Université Radboud de Nimègue, aux Pays-Bas. Les responsables du projet ont analysé différents modèles d'IA, évaluant une série de paramètres permettant d'évaluer si les modèles sont plus ou moins ouverts.

Le résultat est un tableau fantastique dans lequel nous pouvons vérifier rapidement deux choses. La première, c’est qu’aucun modèle n’est parfait en ce sens. Et la seconde, que les modèles Meta sont très bas dans cette note, et qu'il est donc très difficile de les considérer comme Open Source.

Simon Willison, co-créateur de l'environnement de programmation Django et expert dans ce domaine, commenté que la lettre ouverte de Mark Zuckerberg était un document « fascinant » et « influent », mais a également souligné qu' »il semble néanmoins que nous ayons perdu la bataille pour qu'ils arrêtent d'utiliser incorrectement le terme Open Source ».

En effet, l'influence de Zuckerberg fait qu'il est difficile pour le grand public de ne pas accepter que les modèles Meta soient effectivement Open Source alors qu'ils ne le sont pas totalement. Comme Willinson l'a expliqué dans des commentaires dans Ars Technica :

« Je considère que l'utilisation abusive notable de l' »Open Source » par Zuck Il s'agit d'un acte de vandalisme culturel à petite échelle. L’open source doit avoir un sens consensuel. Abuser du terme affaiblit ce sens, ce qui rend le terme globalement moins utile, car si quelqu'un dit « c'est open source », cela ne me dit plus rien d'utile. Et puis je dois creuser et découvrir de quoi ils parlent vraiment. »

C'est vrai, certainement. Cette utilisation massive – et pas seulement par Zuckerberg – a affaibli le concept, en partie parce qu’il n’existe pas de définition universelle et acceptée de ce qu’est réellement l’Open Source en général, et de ce qu’est un modèle d’IA Open Source en particulier.

Images | Black011 avec Midjourney