Des chercheurs développent un « œil » alimenté par l'IA pour permettre aux personnes malvoyantes de « voir

Faire l’épicerie est une activité courante pour beaucoup d’entre nous, mais pour les personnes malvoyantes, identifier les produits d’épicerie peut être intimidant. Une équipe de chercheurs de la School of Computing de l’Université nationale de Singapour (NUS Computing) a présenté AiSee, un appareil d’assistance portable abordable qui aide les personnes ayant une déficience visuelle. « voir » objets qui les entourent à l’aide de l’intelligence artificielle (IA).

Les personnes malvoyantes sont confrontées à des obstacles quotidiens, notamment en matière d’identification d’objets, cruciale pour la prise de décision simple ou complexe. Même si les avancées en matière d’IA ont considérablement amélioré les capacités de reconnaissance visuelle, l’application concrète de ces technologies avancées reste difficile et sujette aux erreurs.

AiSee, qui a été développé pour la première fois en 2018 et progressivement mis à niveau sur une période de cinq ans, vise à surmonter ces limitations en tirant parti des technologies d’IA de pointe.

« Avec AiSee, notre objectif est de permettre aux utilisateurs une interaction plus naturelle. En suivant un processus de conception centré sur l’humain, nous avons trouvé des raisons de remettre en question l’approche typique consistant à utiliser des lunettes augmentées d’un appareil photo. Les personnes malvoyantes peuvent être réticentes à porter des lunettes pour éviter la stigmatisation. Nous proposons donc un matériel alternatif intégrant un casque discret à conduction osseuse, » » a déclaré le chercheur principal du projet AiSee, professeur agrégé Suranga Nanayakkara, du Département des systèmes d’information et d’analyse de NUS Computing.

L’utilisateur doit simplement tenir un objet et activer la caméra intégrée pour capturer une image de l’objet. Avec l’aide de l’IA, AiSee identifiera l’objet et fournira également plus d’informations lorsque l’utilisateur l’interrogera.

AiSee comprend trois composants clés :

L’œil : Logiciel informatique moteur de vision

AiSee intègre une micro-caméra qui capture le champ de vision de l’utilisateur. Cela constitue le composant logiciel d’AiSee, également appelé « ordinateur du moteur de vision. » Le logiciel est capable d’extraire des fonctionnalités telles que du texte, des logos et des étiquettes de l’image capturée pour le traitement.

Le cerveau : unité de traitement d’images alimentée par l’IA et système interactif de questions-réponses

Une fois que l’utilisateur a pris une photo de l’objet d’intérêt, AiSee utilise des algorithmes d’IA sophistiqués basés sur le cloud pour traiter et analyser les images capturées afin d’identifier l’objet. L’utilisateur peut également poser diverses questions pour en savoir plus sur l’objet.

AiSee utilise une technologie avancée de reconnaissance et de traitement de la parole et de la parole pour identifier les objets et comprendre les requêtes de l’utilisateur. Alimenté par un grand modèle de langage, AiSee excelle dans les échanges interactifs de questions et réponses, permettant au système de comprendre avec précision et de répondre aux requêtes de l’utilisateur de manière rapide et informative.

Comparé à la plupart des appareils d’assistance portables qui nécessitent un couplage avec un smartphone, AiSee fonctionne comme un système autonome qui peut fonctionner indépendamment sans avoir besoin d’appareils supplémentaires.

L’enceinte : Système de sonorisation à conduction osseuse

Le casque AiSee utilise la technologie de conduction osseuse, qui permet la transmission du son à travers les os du crâne. Cela garantit que les personnes malvoyantes peuvent recevoir efficacement des informations auditives tout en ayant accès aux sons externes, tels que les conversations ou le bruit de la circulation. Ceci est particulièrement vital pour les personnes malvoyantes, car les sons environnementaux fournissent des informations essentielles à la prise de décision, notamment dans les situations impliquant des considérations de sécurité.

« À l’heure actuelle, les personnes malvoyantes de Singapour n’ont pas accès à une technologie d’assistance à l’IA d’un tel niveau de sophistication. Par conséquent, nous pensons qu’AiSee a le potentiel de permettre aux personnes malvoyantes d’accomplir de manière indépendante des tâches qui nécessitent actuellement une assistance. Notre prochaine étape consiste à rendre AiSee abordable et accessible au grand public. Pour y parvenir, nous apportons de nouvelles améliorations, notamment une conception plus ergonomique et une unité de traitement plus rapide, » a expliqué Assoc. Professeur Nanayakkara.

Mark Myres, étudiant à la NUS, qui a contribué à tester AiSee en tant qu’utilisateur malvoyant, a commenté : « Bien souvent, les appareils et accessoires fonctionnels semblent très destinés aux personnes totalement aveugles ou malvoyantes. Je pense qu’AiSee est un bon équilibre. Les personnes malvoyantes et aveugles pourraient en tirer de nombreux avantages. »

Tests utilisateur et autres améliorations

Assoc. Le professeur Nanayakkara et son équipe sont actuellement en discussions avec SG Enable à Singapour pour mener des tests utilisateurs auprès de personnes malvoyantes. Les résultats aideront à affiner et à améliorer les fonctionnalités et les performances d’AiSee.

Mme Ku Geok Boon, directrice générale de SG Enable, a déclaré : « Les solutions innovantes rendues possibles par les technologies d’assistance peuvent changer la vie des personnes handicapées, qu’il s’agisse de les aider à vivre de manière plus indépendante ou de réduire les obstacles à l’emploi. En tant qu’agence focale et catalyseur du secteur pour le handicap et l’inclusion à Singapour, SG Enable est heureux de travailler avec des partenaires comme NUS et BP De Silva Holdings Pte Ltd pour tirer parti de la technologie afin d’autonomiser les personnes handicapées. »

Au-delà de ce projet, SG Enable cherche également à collaborer avec NUS pour explorer comment l’IA, l’interface homme-machine et les technologies d’assistance peuvent offrir aux personnes handicapées davantage d’options technologiques.