L’installation de ChatGPT sur notre PC ou ordinateur portable n’est pas encore possible. Mais nous avons déjà une alternative

Si vous souhaitez utiliser ChatGPT, les deux manières les plus directes sont de le faire via le service officiel proposé par OpenAI ou utilisez Bing avec ChatGPT depuis un navigateur. C’est une option confortable, mais bien sûr, nous dépendons de tiers. Est-il possible « d’installer » ChatGPT sur notre PC ou portable ? Pas vraiment, mais il existe une alternative qui résout précisément ce problème.

Appelle. Il y a quelques semaines, la division d’intelligence artificielle de Meta, appelée Meta AI, présenté FLAMMEun LLM (Large Language Model) de 65 000 millions de paramètres qui permet de profiter d’un moteur d’IA conversationnel très similaire à ChatGPT. Ce modèle était initialement disponible pour les développeurs et les chercheurs qui justifiaient son utilisation — c’est Facebook qui approuve l’accès au modèle par formulaire– Mais les choses ont changé.

bittorent. Cependant, le modèle a fini par fuir via le protocole bittorrent, ce qui a permis à n’importe qui de le télécharger – au total, environ 220 Go sur disque – pour une utilisation gratuite. Cela ne semblait pas si facile, d’autant plus que même si nous pouvions accéder au modèle GPT-3 d’OpenAI, nous ne pouvions pas le faire fonctionner sur un PC ou un ordinateur portable conventionnel : les serveurs qui fournissent des réponses à nos questions utilisent souvent plusieurs GPU NVIDIA A100 , dont chacun est généralement d’environ 8 000 $.

Grigori Gerganov. C’est le nom du développeur qui a publié ces jours-ci sur Github un petit développement appelé appel.cpp, un projet qui permet d’utiliser le modèle LLaMA sur un ordinateur portable ou un PC conventionnel. Ceci est réalisé grâce à la soi-disant « quantification » qui réduit la taille des modèles Facebook pour les rendre « gérables » par un équipement plus modeste au niveau matériel.

Consignes pour tout le monde. Comme dénombré Un autre développeur nommé Simon Willison dans son blog, après avoir installé les composants nécessaires, il est possible d’utiliser le modèle pour répondre aux demandes que nous faisons d’une manière très similaire à ce que ChatGPT ferait. Il l’a fait sur son MacBook Pro M2 et instructions affichées pour reproduire le processus – d’autres l’ont fait propre choseet ils ont même été indiqué les étapes à Mac avec le M1—, ce qui peut également être fait sur d’autres plateformes.

J’ai exécuté avec succès le modèle LLaMA 7B sur mon Raspberry Pi 4 de 4 Go de RAM. C’est super lent d’environ 10sec/token. Mais il semble que nous puissions exécuter de puissants pipelines cognitifs sur un matériel bon marché. pic.twitter.com/XDbvM2U5GY

— Artem Andreenko 🇺🇦 (@miolini) 12 mars 2023

Il peut même fonctionner sur un Raspberry Pi.. Le projet de Gerganov a ouvert la porte à la possibilité de tirer parti du LLaMA dans toutes sortes de machines, y compris les plus modestes. Certains l’ont utilisé sur un Raspberry Pi 4, même si comme l’avouent ceux qui l’ont essayé, « c’est super lent ».

Lent… La réponse du moteur est sensiblement plus lente que celle offerte par ChatGPT ou Bing et présente quelques limitations supplémentaires. L’interface utilisateur -avec les commandes de la console- rend l’utilisation plus inconfortable, et ce n’est pas un chatbot en tant que tel car il n’y a pas de conversation en tant que telle, mais des demandes que nous faisons séparément et indépendamment.

… mais fonctionnel. Et pourtant, les performances de cette alternative sont remarquables. Il fait des erreurs et peut « paniquer », comme nous l’avons vu dans ChatGPT ou Bing avec ChatGPT, mais il est capable de répondre à nos questions avec le même naturel et la même sécurité apparente que ChatGPT. Vous pouvez également générer du code ou du texte qui pourrait être étonnamment valide pour nos besoins.

D’autres projets à l’horizon. Un autre développeur, inspiré par Gerganov, expliqué il y a quelques heures, comment il a commencé à créer un système encore plus simple appelé « Dalaï » pour pouvoir utiliser LLaMA depuis le navigateur. Il suffit d’exécuter quelques commandes dans un environnement qui se chargera de télécharger ce qui est nécessaire, puis d’activer un petit service Web à partir duquel effectuer les demandes.

Sans dépendre du cloud. Cependant, ce n’est rien de plus que la démonstration que ce type de modèle peut fonctionner « en local », comme le fait déjà Stable Diffusion, par exemple, qui peut être « installé » sur un PC pour que nos graphismes — les plus puissants, les meilleurs — génèrent les images sans dépendre du cloud et des services externes, qu’ils soient gratuits ou non.

À Simseo | J’ai utilisé Bing avec ChatGPT et deux autres services d’intelligence artificielle pour obtenir un briefing de réunion pour moi. c’est incroyable