Comment les fonctionnalités d’IA des smartphones réduisent leur dépendance au cloud
De nouveaux téléphones sont lancés avec des fonctionnalités activées par l'intelligence artificielle (IA). Le dernier en date est le téléphone phare de Google, le Google Pixel 9. Le téléphone Galaxy S24 de Samsung, sorti début 2024, propose également une gamme de fonctionnalités de retouche photo activées par l'IA.
L’histoire cachée derrière des appareils comme ceux-ci est la façon dont les entreprises ont réussi à migrer le traitement requis pour ces fonctionnalités d’IA du cloud vers l’appareil dans la paume de votre main.
Sur le téléphone Google Pixel 9, une fonctionnalité appelée Magic Editor permet aux utilisateurs de « réimaginer » leurs photos à l’aide de l’IA générative. Concrètement, cela signifie la possibilité de repositionner le sujet sur la photo, d’effacer quelqu’un d’autre de l’arrière-plan ou de changer le ciel gris en ciel bleu. Cela se fait en fournissant des invites appropriées et en laissant l’application faire le reste.
Les fonctionnalités d'IA générative du téléphone vous permettent également d'ajouter des personnes ou des objets à vos photos en saisissant une invite de texte.
Bien sûr, les utilisateurs ont toujours pu le faire à l'aide d'un logiciel de retouche photo, mais il faut une certaine habileté pour obtenir un résultat naturel et non comme s'il avait été manifestement retouché. Magic Editor promet d'utiliser l'IA pour effectuer ces retouches photo complexes avec des « actions simples et intuitives ».
Une autre fonctionnalité appelée « Ajoutez-moi » permet aux utilisateurs de prendre une photo de groupe sans avoir à passer leur téléphone à un inconnu. Le propriétaire du téléphone prend simplement une photo du groupe, puis la donne à un ami et se rend à l'endroit même où il vient de prendre la photo. Le téléphone assemble ensuite les deux clichés.
Une autre fonctionnalité appelée « Best Take » permet de sélectionner les meilleurs éléments d'une série d'images très similaires et de les combiner en une seule image. La technologie de chatbot de Google permet d'alimenter un assistant numérique et d'autres fonctionnalités du téléphone.
Les fonctionnalités des téléphones ont beaucoup évolué depuis les premiers téléphones numériques ou lorsque les téléphones ont commencé à avoir leurs propres appareils photo intégrés.
Jusqu'au bord
Traditionnellement, le traitement requis pour de telles fonctions basées sur l'IA était trop exigeant pour être hébergé sur un appareil tel qu'un téléphone. Au lieu de cela, il est déchargé sur des services cloud en ligne alimentés par des serveurs informatiques de grande taille et puissants.
Cependant, les entreprises reconnaissent de plus en plus la nécessité d’effectuer une grande partie du traitement sur les appareils des clients, ce qui leur donne potentiellement un plus grand contrôle.
Cela implique de migrer des volumes importants de traitement informatique de l'IA vers ce que les entreprises appellent la « périphérie ». La périphérie décrit ce qui est généralement des appareils grand public comme les téléphones avec des performances de traitement réduites.
La différence entre le fonctionnement de l’IA basée sur le cloud et celui de l’IA basée sur la périphérie :
Pour y parvenir, il est nécessaire de réduire les besoins en énergie de traitement. Les entreprises ont réalisé cette migration grâce à des microprocesseurs spécialisés, spécialement adaptés aux processus basés sur l'IA.
Par exemple, les processeurs Tensor AI de Google, appelés unités de traitement tensoriel (TPU), semblent être au cœur des fonctionnalités disponibles sur leurs mobiles Pixel. Les processeurs basés sur la périphérie sont capables d'appliquer efficacement des modèles d'IA aux données acquises ou stockées sur des appareils mobiles à l'aide de logiciels spécialisés.
Ces TPU comprennent des réseaux de composants appelés réseaux systoliques, qui permettent de traiter simultanément de grandes quantités de données. Cette conception efficace permet d'économiser de l'énergie et du temps de calcul.
C'est un point crucial en raison du grand nombre de calculs à effectuer pour prendre une décision d'IA unique. C'est un domaine dans lequel les processeurs, tels que les TPU de Google, se sont considérablement améliorés au cours des dernières années.
En effet, les premiers TPU, conçus pour la première fois en 2015, ont été créés pour accélérer les calculs effectués par de grands serveurs basés sur le cloud lors de la formation de modèles d'IA. En 2018, les premiers TPU conçus pour être utilisés par des ordinateurs « en périphérie » ont été lancés par Google. Puis, en 2021, les premiers TPU conçus pour les téléphones sont apparus, toujours pour le Google Pixel.
La concurrence pour intégrer toujours plus d'intelligence artificielle aux téléphones mobiles est de plus en plus vive. Cela signifie que nous verrons probablement arriver sur le marché encore plus de technologies innovantes dans les années à venir.
