Google propose une révolution avec Gemini Nano

Il y avait beaucoup d’attentes avec le lancement de Google Gemini, et après l’annonce d’hier, nous savons enfin ce que nous avons entre les mains : non pas un, mais trois modèles d’IA multimodaux qui concurrenceront ChatGPT.

Le premier d’entre eux, Gemini Pro, est désormais disponible via Google Bard, et bien que le plus ambitieux soit Gemini Ultra, il suscite un intérêt particulier auprès des plus petits de la famille, Gémeaux Nano. La raison est importante : elle ouvre la porte à une nouvelle ère dans laquelle nous aurons cela « IA de poche« , ou ‘on device’, qui grâce à nos téléphones mobiles sera disponible à tout moment et sera également indépendant du cloud.

Bienvenue dans l’ère de l’IA « sur appareil »

Avec Gemini Nano, Google a voulu proposer un modèle beaucoup plus performant visant spécifiquement à pouvoir travailler directement localement, sur nos appareils, et sans avoir besoin de se connecter au cloud. C’est la principale et grande différence avec des modèles comme ChatGPT ou Bard, que nous pouvons certes utiliser depuis notre mobile – via un navigateur – mais qui fonctionnent depuis le cloud sur de grands serveurs chargés de traiter et de générer les réponses.

Avec Gemini Nano, tout ce traitement et cette génération de texte s’effectuent directement sur nos appareils, ce qui présente des avantages importants. Parmi eux, lequel les données que nous utilisons ne quittent pas l’appareil et ne sont pas partagés avec des tiers, du moins à notre connaissance. Nous sommes donc confrontés à des modèles d’IA de poche qui peuvent être exécutés directement sur nos smartphones même sans que nous soyons connectés aux réseaux de données.

Comme l’expliquent les responsables de Google sur le blog des développeurs Android, cela nous permet de créer « des résumés de texte de haute qualité, des réponses contextuelles intelligentes – comme l’exemple WhatsApp dans l’image juste au-dessus de ces paragraphes – et une correction grammaticale avec Gemini Nano et des tests avancés. . Les développeurs intéressés par la création d’applications tirant parti de la puissance de Gemini Nano peuvent s’inscrire sur la plateforme Google.

Les débuts de Gemini Nano et l’ère de l’IA de poche s’est produit sur le Pixel 8 Pro, le produit phare de l’entreprise. Ce smartphone disposera d’options d’IA générative comme la possibilité de résumer en points une conversation téléphonique préenregistrée.

Un modèle plus efficace avec Android AICore comme composant clé

Nous sommes confrontés au modèle le plus efficace des trois présentés par Google, ce qui est évident si l’on tient compte du fait que son destin est de pouvoir fonctionner non pas sur des serveurs, mais sur nos téléphones mobiles. Comme l’expliquent eux-mêmes les responsables de Google dans le rapport sur le produit, il existe deux versions différentes de Nano. Le premier est Nano-1, avec 1,8 milliard de paramètres (1,8B). Le second est Nano-2, avec 3,25 milliards de paramètres (3,25B).

De plus, le modèle est quantifié sur 4 bits pour l’affichage. Cette quantification fait référence à un processus de réduction de la précision des poids et des activations du modèle de valeurs à virgule flottante de 32 bits à des nombres entiers de 4 bits.

Ce processus de quantification réduit considérablement l’empreinte mémoire du modèle, le rendant plus adapté au déploiement sur des appareils aux ressources limitées, tels que les smartphones ou les appareils IoT. Pourtant, dit-on chez Google, ce modèle quantifié atteint performances comparables voire supérieures au modèle 32 bits d’origine sur lequel il est basé.

Au centre de ce déploiement se trouve Android AICore, un nouveau service système qui nous permet d’utiliser des modèles fondamentaux tels que Gemini Nano directement sur nos téléphones Android.

Ce nouveau composant d’Android 14 est également « privé par conception », et permet entre autres d’affiner les processus grâce à ce que l’on appelle l’adaptation de faible rang (LoRA), une technique qui adapte les grands modèles de langage (LLM) tels que Google lui-même PaLM 2 pour s’adapter à des tâches spécifiques et tout cela sur des appareils « limités » comme nos smartphones.

Ce n’est que le début

Le lancement de Google Nano est prometteur, mais il est vrai qu’aujourd’hui ses fonctionnalités et applications pratiques sont limitées. La réalité est que seule une petite partie des utilisateurs, ceux qui possèdent un Pixel 8 Pro, pourront commencer à l’utiliser et Ils ne pourront le faire que dans quelques scénarios très spécifiques. Résumer des conversations ou répondre automatiquement aux messages est intéressant, mais nous attendons certainement bien plus de ces IA de poche.

En fait, ce déploiement ne signifie pas pour l’instant que nous allons avoir un « pocket ChatGPT » ou un « pocket Google Bard » : les fonctionnalités du modèle n’ont pas vocation pour l’instant à remplacer le moteur de recherche Google – elles pourraient ne le sera jamais. , ce serait se jeter la pierre sur son propre toit, mais plutôt proposer des moyens de mieux utiliser notre appareil et de gagner du temps.

Les modèles d’IA générative dans le cloud comme ChatGPT ou Bard ne semblent donc pas menacés par cette nouvelle ère de l’IA de poche : on a plutôt affaire à des compagnons de voyage qui feront office de « copilotes » —comme aime à le dire Microsoft— de cette expérience, mais directement depuis le mobile, comme s’il s’agissait d’applications indépendantes et séparées.

A partir de là, oui, les possibilités semblent énormes, et nous ne sommes qu’au début du chemin. Cela pourrait bien être une petite révolution en soi.