Les modèles AI se rétrécissent pour s'adapter à de minuscules appareils, permettant des capteurs IoT plus intelligents

L'intelligence artificielle est considérée comme étant à forte intensité de calcul et d'énergie – un défi pour l'Internet des objets (IoT), où de petits capteurs intégrés doivent faire avec une puissance de calcul limitée, peu de mémoire et de petites batteries.

Dans le projet E-Minds, une équipe de recherche de la comète K1 Center Pro²Future, Graz University of Technology (TU Graz) et l'Université de St. Gallen ont trouvé des moyens d'exécuter l'IA localement et efficacement sur les plus petits appareils – sans avoir à s'appuyer sur le pouvoir de calcul externe. Par exemple, il a été possible d'exécuter des modèles d'IA spécialisés sur un dispositif de localisation à ultra-bande avec seulement 4 kilobytes de mémoire, qui calculent les sources d'interférence à partir des données de localisation.

Appliquer quelques astuces

« Bien sûr, ces petits appareils ne gèrent pas de grands modèles de langage, mais plutôt des modèles avec des tâches très spécifiques, par exemple, l'estimation des distances », explique Michael Krisper, chef du projet chez Pro²Future et scientifique à l'Institut d'informatique technique de Tu Graz.

« Mais vous devez également d'abord obtenir ces modèles assez petits. Cela nécessite quelques astuces et c'est précisément ces astuces sur lesquelles nous avons travaillé dans le cadre du projet. »

Le résultat est une sorte de système modulaire composé de diverses méthodes qui, lorsqu'elles sont combinées, fournissent le résultat souhaité. L'un d'eux est la division des modèles et leur orchestration. Au lieu d'un modèle universel, plusieurs petits modèles spécialisés sont disponibles.

Dans la technologie de localisation étudiée dans les limnes électroniques, cela signifie qu'un modèle fonctionne en cas d'interférence des murs métalliques, un autre en cas d'interférence des personnes et encore une autre en cas d'interférence des étagères.

Un modèle d'orchestration sur la puce respective reconnaît quelle interférence est présente et charge le modèle AI approprié du serveur à environ 100 millisecondes, ce qui peut calculer le facteur d'interférence à partir des données. Cela serait assez rapide pour les applications industrielles telles que les entrepôts.

Plier, régler, couper

Les réseaux configurables (SCN) sous-espace sont une autre méthode dans le système modulaire. Ce sont des modèles qui s'adaptent à l'entrée de données au lieu d'avoir un modèle séparé pour chaque variante d'entrée. Ces SCN ont été utilisés pour les tâches de reconnaissance d'image tels que la classification des objets et se sont révélés extrêmement productifs.

Pour les changements d'image ou les classifications des fruits testées sur les appareils IoT, il a été possible de calculer des images jusqu'à 7,8 fois plus rapides que d'utiliser des ressources externes, même si les modèles étaient plus petits et plus économes en énergie. Des réductions supplémentaires sont réalisées en repliant la structure mathématique du modèle sans perdre trop de précision.

La même chose s'appliquait aux techniques de quantification et d'élagage. Pendant la quantification, les chercheurs ont simplifié les nombres utilisés par le modèle. Au lieu de nombres à virgule flottante, des entiers ont été utilisés, ce qui a encore permis d'économiser de l'énergie et du temps de calcul avec une perte de précision acceptable pour les applications souhaitées.

L'élagage, en revanche, consiste à examiner un modèle fini et à retirer les pièces qui ne sont pas importantes pour le résultat final souhaité. En effet, le modèle sera toujours capable de remplir la tâche de base, même lorsque de nombreuses pièces (insignifiantes) sont rejetées. Il était important pour les chercheurs de trouver le bon équilibre entre la miniaturisation et la précision restante pour toutes les techniques.

En plus de la miniaturisation réussie, l'équipe de projet a également mené des recherches sur le déploiement efficace des modèles d'IA afin qu'ils puissent être transférés plus rapidement sur les petits appareils.

Résultats transférables à d'autres domaines

Bien que les midites électroniques se concentrent sur la localisation sans fil à ultra-large bande (UWB) afin de déterminer la position exacte des drones, des navettes ou des robots dans l'automatisation industrielle malgré les obstacles et les interférences, les chercheurs voient de nombreux autres domaines d'application. Par exemple, en tant que mesure de sécurité supplémentaire pour les ouvreurs de voitures sans clé afin de déterminer si la clé est vraiment près de la voiture et que quelqu'un ne copie pas seulement le signal radio.

Avec des modèles d'IA efficaces, les télécommandes à la maison intelligente auraient une durée de vie de la batterie beaucoup plus longue et les bibliothèques pourraient suivre leurs livres.

« Avec une nouvelle expertise et de nouvelles méthodes, nous avons jeté des bases pour les futurs produits et applications dans le projet E-Minds », explique Michael Krisper.

« Notre équipe de projet s'est parfaitement complétée ici. À Pro²À l'avenir, nous nous sommes concentrés sur les systèmes intégrés et l'implémentation sur le matériel.

« Olga Saukh a travaillé avec des collègues de l'Institut d'informatique technique de Tu Graz pour développer des fondations scientifiques importantes dans le domaine de l'apprentissage automatique intégré et a contribué aux méthodes d'optimisation du modèle, et Simon Mayer a contribué d'importants travaux de recherche dans le domaine de la localisation à l'Université de St. Gallen. »