ChatGPT a déjà des « yeux » et peut parler de ce qui nous entoure en temps réel. La science-fiction commence à devenir réalité

Il y a plus de dix ans, « Her » arrivait en salles, un film qui nous plongeait dans un futur où assistants d'intelligence artificielle (IA) non seulement interagissait avec les utilisateurs par la voix, mais ils pouvaient également « voir » l’environnement à travers la caméra. À cette époque, Siri n’était en activité que depuis deux ans, et ce que proposait le film était perçu comme un avenir encore très lointain. OpenAI raccourcit le chemin vers cette réalité.

ChatGPT peut enfin voir ce qui se passe autour de nous. Cela signifie qu'il sera possible de vous donner accès à notre caméra lorsque nous utiliserons le mode vocal avancé. Ainsi, le célèbre chatbot pourra traiter les images en temps réel grâce au modèle multimodal GPT-4o. L'option de partager notre écran sera également disponible afin que vous puissiez obtenir des données en temps réel des applications que nous utilisons.

ChatGPT peut désormais traiter la vidéo en temps réel

Une fois disponible sur notre appareil, commencer à utiliser cette nouvelle fonctionnalité sera très simple. Il faudra simplement ouvrir l'application ChatGPT et appuyer sur le bouton dans le coin supérieur droit pour démarrer le mode vocal avancé. La prochaine étape sera de cliquer sur le bouton de l'appareil photo. Dans l'interface, nous trouverons un bouton qui nous permettra de choisir le caméra avant ou arrière au cas où nous utiliserions un téléphone.

Le chatbot IA d'OpenAI peut désormais être beaucoup plus utile. Par exemple, nous pourrions vous demander de nous aider à réaliser certaines tâches. Un membre de l'équipe a fait une démonstration ce jeudi. Il a demandé à ChatGPT de lui montrer étape par étape comment préparer du café avec un filtre. Le modèle a pu reconnaître chacun des objets sur la table en temps réel et guider la personne tout au long du processus. La latence semblait négligeable.

Lorsque l’entreprise a annoncé cette fonctionnalité en mai de cette année, elle a présenté de nombreux autres scénarios d’utilisation. Parmi eux, nous avons trouvé un père résolvant des problèmes de mathématiques avec son fils, des gens jouant à la pierre, au papier, aux ciseaux et nous avons même vu un ChatGPT excité rencontrer un chien. L'un des exemples les plus intéressants est celui de options d'accessibilitéce qui a permis de décrire l'environnement dans un langage simple.

Si nous voulions partager notre écran avec le chatbot, nous devions simplement appuyer sur le menu à trois points, puis sélectionner Partager l'écran. Il faudra attendre de voir si les capacités de vision du chatbot répondront aux attentes, mais il faut mentionner que comme tout modèle d'IA, il peut commettre des erreurs. En tout cas, OpenAI démontre qu’elle reste à la pointe de la course à l’intelligence artificielle.

OpenAI indique que le nouveau mode vidéo sera disponible dans les prochains jours « dans la plupart des pays » pour les utilisateurs de ChatGPT Plus (20 $/mois) et ChatGPT Pro (200 $/mois). Si vous lisez ceci depuis l'Espagne, la société a indiqué qu'elle espère offrir « bientôt » cette nouveauté dans l'Union européenne. Nous n'avons donc pas de date d'arrivée dans les pays du bloc communautaire, apparemment pour des raisons réglementaires.

Altman a déclaré cette semaine dans un message sur X que certains de ses produits pourraient arriver plus tard en Europe. Il a également ajouté qu'il est probable qu'ils ne seront pas en mesure de proposer certains de leurs produits. « Nous souhaitons proposer nos produits en Europe et nous pensons qu'une Europe forte est importante pour le monde. Nous devons également respecter la réglementation», a déclaré l'homme d'affaires dans le même message.

Images | OpenAI | Capture d'écran

À Simseo | OpenAI vient de nous rapprocher plus que jamais de 'Elle' : son nouveau modèle de voix nous accompagnera (et nous fera peut-être tomber amoureux)

À Simseo | Peu de jardins numériques ont des murs aussi hauts que ceux d'Apple. ChatGPT a réussi à s'y faufiler