Fatigué des tropes apocalyptiques de l'IA, le PDG de Cohere affirme que son objectif est une technologie qui

Aidan Gomez peut s'attribuer le mérite du « T » à la fin de ChatGPT. Il faisait partie d'un groupe d'ingénieurs de Google qui ont été les premiers à introduire un nouveau modèle d'intelligence artificielle appelé transformateur.

Cela a contribué à jeter les bases du boom actuel de l’IA générative sur lequel OpenAI, le créateur de ChatGPT, et d’autres se sont appuyés. Gomez, l'un des huit co-auteurs de l'article de Google de 2017, était alors un stagiaire de 20 ans.

Il est maintenant PDG et co-fondateur de Cohere, une startup basée à Toronto qui rivalise avec d'autres grandes sociétés d'IA en fournissant de grands modèles de langage et les chatbots qu'ils alimentent aux grandes entreprises et organisations.

Gomez a parlé de l'avenir de l'IA générative avec The Associated Press. L'interview a été éditée pour des raisons de longueur et de clarté.

Q : Qu'est-ce qu'un transformateur ?

R : Un transformateur est une architecture d'un réseau neuronal : la structure du calcul effectué à l'intérieur du modèle. La raison pour laquelle les transformateurs sont spéciaux par rapport à leurs pairs (autres architectures concurrentes, autres manières de structurer les réseaux neuronaux) est essentiellement qu'ils évoluent très bien. Ils peuvent être formés non seulement sur des milliers, mais sur des dizaines de milliers de puces. Ils peuvent être formés extrêmement rapidement. Ils utilisent de nombreuses opérations différentes pour lesquelles ces GPU (puces graphiques) sont conçus. Par rapport à ce qui existait avant le transformateur, ils effectuent ce traitement plus rapidement et plus efficacement.

Q : Dans quelle mesure sont-ils importants pour ce que vous faites chez Cohere ?

R : Très important. Nous utilisons l'architecture du transformateur comme tout le monde pour créer de grands modèles de langage. Pour Cohere, l’accent est mis sur l’évolutivité et la préparation à la production pour les entreprises. Certains des autres modèles avec lesquels nous sommes en concurrence sont énormes et extrêmement inefficaces. Vous ne pouvez pas réellement mettre cela en production, car dès que vous êtes confronté à de vrais utilisateurs, les coûts explosent et la situation économique s'effondre.

Q : Quel est un exemple spécifique de la façon dont un client utilise un modèle Cohere ?

R : J’ai un exemple préféré dans le domaine des soins de santé. Cela vient du fait surprenant que 40 % de la journée de travail d'un médecin est consacré à la rédaction de notes sur les patients. Et si nous pouvions demander aux médecins d'attacher un petit appareil d'écoute passive pour les suivre tout au long de la journée, entre leurs visites aux patients, écouter la conversation et pré-remplir ces notes afin qu'au lieu d'avoir à les écrire à partir de zéro, il y ait un première ébauche là-dedans. Ils peuvent le lire et simplement y apporter des modifications. Soudain, les capacités des médecins augmentent considérablement.

Q : Comment répondez-vous aux préoccupations des clients concernant les modèles de langage d'IA sujets aux « hallucinations » (erreurs) et aux biais ?

R : Les clients sont toujours préoccupés par les hallucinations et les préjugés. Cela conduit à une mauvaise expérience produit. C'est donc quelque chose sur lequel nous nous concentrons fortement. Pour les hallucinations, nous nous concentrons principalement sur RAG, qui est une génération augmentée par récupération. Nous venons de publier un nouveau modèle appelé Command R qui est explicitement destiné à RAG. Il vous permet de connecter le modèle à des sources privées de connaissances fiables. Il peut s'agir des documents internes de votre organisation ou des e-mails d'un employé spécifique. Vous donnez au modèle l'accès à des informations qu'il n'aurait tout simplement pas vues sur le Web lors de son apprentissage. Ce qui est important, c'est que cela vous permet également de vérifier les faits du modèle, car désormais, au lieu de simplement entrer et sortir du texte, le modèle fait en réalité référence à des documents. Il peut citer l'endroit où il a obtenu cette information. Vous pouvez vérifier son travail et gagner beaucoup plus de confiance en travaillant avec l'outil. Cela réduit considérablement les hallucinations.

Q : Quelles sont les principales idées fausses du public à propos de l’IA générative ?

R : La crainte qu’expriment certains individus et organisations de voir cette technologie comme un terminateur, un risque existentiel. Ce sont des histoires que l’humanité se raconte depuis des décennies. La technologie arrive, prend le dessus et nous déplace, nous asservissant. Ils sont profondément ancrés dans le cerveau culturel du public. C'est un récit très marquant. Il est plus facile de capter l’imagination et la peur des gens quand on leur dit cela. Nous y prêtons donc beaucoup d’attention car c’est une histoire très prenante. Mais la réalité est que je pense que cette technologie sera profondément bénéfique. Ceux d’entre nous qui développent la technologie en sont très conscients et s’efforcent d’atténuer ces risques. Nous voulons tous que cela se passe bien. Nous voulons tous que la technologie contribue à l’humanité et ne constitue pas une menace pour elle.

Q : Non seulement OpenAI, mais un certain nombre de grandes entreprises technologiques déclarent désormais explicitement qu'elles tentent de créer une intelligence artificielle générale (un terme désignant une IA largement meilleure que l'humain). AGI fait-il partie de votre mission ?

R : Non, je ne considère pas cela comme faisant partie de ma mission. Pour moi, AGI n'est pas l'objectif final. L’objectif final est d’avoir un impact positif profond sur le monde grâce à cette technologie. C'est une technologie très générale. C'est le raisonnement, c'est l'intelligence. Donc ça s’applique partout. Et nous voulons nous assurer qu’il s’agit de la forme de technologie la plus efficace possible, le plus tôt possible. Il ne s’agit pas d’une quête pseudo-religieuse de l’AGI, dont nous ne connaissons même pas vraiment la définition.

Q : Quelle est la prochaine étape ?

R : Je pense que tout le monde devrait garder un œil sur l’utilisation des outils et sur un comportement davantage semblable à celui d’un agent. Des modèles que vous pouvez présenter pour la première fois avec un outil que vous avez construit. Il s'agit peut-être d'un logiciel ou d'une API (interface de programmation d'application). Et vous pouvez dire : « Hé, modèle, je viens de construire ça. Voici ce que cela fait. Voici comment vous interagissez avec lui. Cela fait partie de votre boîte à outils de choses que vous pouvez faire. Ce principe général consistant à pouvoir donner à un modèle un outil qu'il n'a jamais vu auparavant et à l'adopter efficacement, je pense que cela va être très puissant. Pour faire beaucoup de choses, vous devez accéder à des outils externes. Le statu quo actuel est que les modèles peuvent simplement vous écrire des caractères (texte). Si vous leur donnez accès à des outils, ils peuvent réellement agir en votre nom dans le monde réel.