Comment les conducteurs et les voitures se comprennent

Optimiser la communication entre le véhicule et le conducteur en fonction du degré d'automatisation est l'objectif d'un projet de recherche mené par Fraunhofer en collaboration avec d'autres entreprises. Les chercheurs combinent des capteurs de surveillance de l'intérieur du véhicule avec des modèles de langage pour former des modèles de langage dits « de vision ». Ils doivent accroître le confort et la sécurité des voitures du futur.

« Attention, si vous continuez à lire maintenant, vous risquez d'avoir la nausée sur ce tronçon sinueux. Dans cinq minutes, nous serons sur l'autoroute et ce sera plus facile. » Ou encore : « Il va pleuvoir et nous devons désactiver la conduite automatisée. Préparez-vous à conduire seul pendant un moment. Je suis désolé, mais vous devez ranger votre ordinateur portable dans un endroit sûr pour l'instant. La sécurité avant tout. » Dans quelques années, les voitures pourraient communiquer avec les conducteurs d'une manière très similaire à celle-ci.

L'automatisation croissante des véhicules nécessite de repenser la manière dont ils interagissent avec les humains. Une équipe de recherche des instituts Fraunhofer d'optronique, de technologies de systèmes et d'exploitation d'images IOSB et d'ingénierie industrielle IAO s'est attaquée à cette tâche en collaboration avec dix partenaires, dont Continental, Ford et Audi, ainsi qu'une série d'entreprises de taille moyenne et d'universités, dans le cadre du projet KARLI. KARLI est l'acronyme allemand de « Artificial Intelligence for Adaptive, Responsive and Level-compliant Interaction » dans les véhicules du futur.

Aujourd’hui, on distingue six niveaux d’automatisation différents : non automatisé (0), assisté (1), partiellement automatisé (2), hautement automatisé (3), entièrement automatisé (4) et autonome (5). « Dans le cadre du projet KARLI, nous développons des fonctions d’IA pour les niveaux d’automatisation deux à quatre. Pour ce faire, nous enregistrons ce que fait le conducteur et concevons différentes interactions homme-machine typiques pour chaque niveau », explique Frederik Diederichs, coordinateur du projet à l’Institut Fraunhofer d’optronique, de technologies de systèmes et d’exploitation d’images IOSB à Karlsruhe.

Interaction à différents niveaux

Selon le niveau d'automatisation, le conducteur doit se concentrer sur la route ou sur autre chose. Il a dix secondes pour reprendre le volant ou, dans certains cas, il n'a plus besoin d'intervenir du tout. Ces différents besoins des utilisateurs et la possibilité de passer d'un niveau à l'autre en fonction de la situation routière rendent la définition et la conception d'interactions adaptées à chaque niveau complexe. En outre, l'interaction et la conception doivent garantir que le conducteur est toujours conscient du niveau d'automatisation actuel afin de pouvoir jouer correctement son rôle.

Les applications développées dans le cadre du projet KARLI ont trois objectifs principaux : tout d'abord, les avertissements et les informations doivent encourager un comportement conforme aux normes et, par exemple, éviter que le conducteur ne soit distrait à un moment où il doit faire attention à la route.

La communication avec l’utilisateur est donc adaptée à chaque niveau : elle peut être visuelle, acoustique, haptique ou une combinaison des trois. L’interaction est contrôlée par des agents IA, dont les performances et la fiabilité sont évaluées par les partenaires.

Deuxièmement, il faut anticiper et minimiser le risque de mal des transports, l’un des plus gros problèmes de la conduite passive. Entre 20 et 50 % des personnes souffrent du mal des transports.

« En faisant correspondre les activités des occupants avec des accélérations prévisibles sur des tronçons de route sinueux, l'IA peut s'adresser aux bons passagers au bon moment afin de prévenir le mal des transports, en leur donnant des conseils adaptés à leurs activités actuelles. Nous y parvenons en utilisant ce que l'on appelle des interfaces utilisateur générées, « GenUIn » en abrégé, pour personnaliser l'interaction entre les humains et l'IA », explique Diederichs.

Cette interaction IA est la troisième application du projet KARLI. GenUIn génère des résultats ciblés individuellement, fournissant des informations sur la manière de réduire le mal des transports si celui-ci survient, par exemple. Ces conseils peuvent être liés à l'activité en cours, qui est enregistrée par des capteurs, mais ils tiennent également compte des options disponibles dans le contexte actuel.

Les utilisateurs peuvent également personnaliser l'ensemble de l'interaction dans le véhicule et l'adapter progressivement à leurs besoins au fil du temps. Le niveau d'automatisation est toujours pris en compte dans l'interaction : par exemple, les informations peuvent être brèves et purement verbales si le conducteur se concentre sur la route, ou elles peuvent être plus détaillées et présentées via des canaux visuels si le véhicule est en train de conduire.

Différents capteurs assistés par l'IA enregistrent les activités à bord du véhicule, les éléments clés étant les capteurs optiques des caméras intérieures. La législation actuelle sur la conduite autonome les rend obligatoires dans tous les cas afin de garantir que le conducteur est capable de conduire.

Les chercheurs combinent ensuite les données visuelles des caméras avec de grands modèles de langage pour former ce que l’on appelle des modèles de langage visuel (VLM). Ceux-ci permettent aux systèmes modernes d’assistance à la conduite dans les véhicules (partiellement) autonomes d’enregistrer sémantiquement les situations à l’intérieur du véhicule et de réagir à ces situations.

Diederichs compare l’interaction dans le véhicule du futur à un majordome qui reste en arrière-plan mais comprend le contexte et offre le meilleur soutien possible aux occupants du véhicule.

Anonymisation et protection des données

« Les facteurs déterminants pour l’acceptation de ces systèmes sont la confiance dans le prestataire de services, la sécurité des données et un bénéfice direct pour les conducteurs », explique Frederik Diederichs. Cela signifie qu’une anonymisation et une sécurité des données optimales ainsi qu’une collecte de données transparente et explicable sont cruciales.

« Tout ce qui se trouve dans le champ de vision d'une caméra n'est pas évalué. Les informations qu'un capteur enregistre et à quoi elles servent doivent être transparentes. Nous étudions comment garantir cela dans notre groupe de travail Xplainable AI au Fraunhofer IOSB. »

Dans un autre projet (Anymos), les chercheurs de Fraunhofer travaillent à l'anonymisation des données des caméras, à leur traitement de manière à minimiser leur utilisation et à leur protection efficace.

Efficacité des données avec Small2BigData

Un autre argument de vente unique du projet de recherche est l'efficacité des données. « Notre approche Small2BigData ne nécessite qu'une petite quantité de données d'entraînement d'IA de haute qualité, qui sont collectées de manière empirique et générées de manière synthétique. Elle constitue la base pour les constructeurs automobiles afin de savoir quelles données collecter ultérieurement lors du fonctionnement en série pour que le système puisse être utilisé.

« Cela permet de maintenir le volume de données requis à un niveau gérable et de rendre les résultats du projet évolutifs », explique Diederichs.

Diederichs et son équipe ont récemment mis en service un laboratoire de recherche mobile basé sur une Mercedes EQS afin d'en savoir plus sur les besoins des utilisateurs en matière de conduite automatisée de niveau 3 sur la route. Les résultats du projet KARLI y sont testés et évalués dans la pratique. Les premières fonctionnalités pourront ainsi être disponibles dans les véhicules de série dès 2026.

« Les constructeurs allemands sont confrontés à une concurrence féroce avec leurs homologues internationaux en matière de conduite automatisée. Ils ne réussiront leur pari que s'ils parviennent à améliorer l'expérience utilisateur dans la voiture de manière compétitive et à répondre aux besoins des utilisateurs grâce à l'IA », explique l'expert. « Les résultats de notre projet jouent un rôle important à cet égard. »