qu'on parle sans arrêt avec notre portable

Ce mardi, Google a présenté une famille renouvelée de téléphones Pixel. Après plusieurs rumeurs et fuites, les Pixel 9, Pixel 9 Pro et Pixel 9 Pro XL sont désormais officiels. La société de moteurs de recherche n’a cependant pas oublié le intelligence artificielle (IA)et a annoncé plusieurs nouvelles liées aux Gémeaux.

L'assistant IA susmentionné intègre un système multimodal appelé Gemini Live qui ajoute une série d'améliorations intéressantes. L’un des plus intéressants est un mode vocal qui, d’une certaine manière, nous rappelle le dernier ChatGPT. La promesse est que nous pourrons converser naturellement avec le Gémeaux et même l'interrompre.

Gemini, l'assistant IA de Google, dispose d'un nouveau mode vocal

Avant ce lancement, on pouvait déjà parler de Gemini, mais le nouveau modèle veut se démarquer par des éléments tels que fluidité (avec une faible latence) et la multimodalité. Premièrement, l’assistant promet de comprendre le contexte et dispose de certaines informations sur nous qui peuvent l’aider à mieux accomplir les tâches que nous lui demandons.

Par exemple, nous pouvons demander à Gemini en langage naturel de créer un nouveau rappel et d'ajouter un événement à notre calendrier. Il y a ici deux avantages évidents. Même si nous pouvions le faire auparavant avec Google Assistant, nous avons dû nous limiter à utiliser un langage très structuré, des commandes pour que le téléphone mobile nous comprenne.

Cette limitation disparaît avec le nouveau modèle. En revanche, la version de Gemini que nous pouvions utiliser jusqu'à présent ne nous permettait pas de réaliser actions sur le système. C'était essentiellement un miroir de ce que nous pouvions faire dans la version Web. Mais désormais, il assume le rôle d’un véritable assistant sur notre mobile.

Grâce à son intégration avec Android, Gemini promet de faire bien plus que simplement lire l'écran : il vous permet d'interagir avec plusieurs des applications que nous utilisons quotidiennement. Par exemple, nous aurons la possibilité de glisser et déposer des images générées par Gemini directement dans des applications comme Gmail et Messages.

Au niveau de la multimodalité, les Gémeaux peuvent désormais comprendre une image et, grâce à cette capacité, peuvent en discuter avec nous. Dans ce cas, nous pouvons prendre un photographie d'un rendez-vous médical et demandez à l'assistant de créer un événement en relation avec les informations qu'il voit sur la photographie. Cela semble être quelque chose de vraiment pratique et utile.

Gemi Live laisse également derrière lui des voix avec certaines caractéristiques robotiques et cède la place à 10 nouvelles voix au son beaucoup plus naturel. A noter que cette nouveauté est disponible, du moins pour l'instant, en anglais pour les utilisateurs d'Android qui paient pour Gemini Advanced. Google affirme qu'il arrivera sur iOS « dans les semaines à venir ».

Pixel Screenshots, un allié des captures d'écran

La plupart du temps, nous prenons des captures d'écran, nous cherchons à préserver une certaine informations à utiliser plus tard. Ce n'est pas un secret. Google, via une fonctionnalité appelée Pixel Screenshots, souhaite faciliter l'utilisation de ces informations. Il s’agit d’une nouveauté portée par Gemini Nano de manière entièrement locale.

Chaque fois que nous enregistrons une capture d'écran sur un téléphone Pixel, l'ordinateur extraira toutes les informations qu'il trouve, telles que les adresses, les articles et les prix. Il associera également les métadonnées qui l'accompagnent, comme l'application ou la page web à laquelle correspond la capture et la date à laquelle elle a été prise. Tout sera stocké dans Pixel Screenshots.

Lorsque nous ouvrirons l'application Pixel Screenshots, nous trouverons plusieurs options qui nous inviteront à profiter des informations obtenues via le ccaptures d'écran. Par exemple, les algorithmes nous permettront de les regrouper par idées ou par thèmes. Nous pouvons également leur ajouter des étiquettes pour les identifier facilement plus tard. Les captures semblent évoluer.

L'application, propulsée par Gemini, nous permettra également d'interagir avec les informations contenues dans nos captures d'écran. Si nous voulons trouver le numéro de suivi d'un colis, il suffit de poser une question en langage naturel pour obtenir ce que nous voulons, toujours accompagné de l'image originale d'où provient l'information.

Images | Google

À Simseo | Prompt Poet est le dernier outil acheté par Google. L'ingénierie rapide augmente en nombre