Les outils d’IA aident les personnes handicapées à faire des blagues en temps opportun

Une équipe de chercheurs de Cornell Tech réinvente la façon dont la technologie peut aider les utilisateurs ayant des handicaps de la parole – pas seulement dans la parole fonctionnelle, mais aussi pour faire des blagues en temps réel pendant les conversations.

La recherche explore comment les interfaces de l’intelligence artificielle peuvent aider les utilisateurs de la technologie de communication augmentative et alternative (AAC) à faire des remarques pleines d’esprit tout en parlant avec d’autres – une façon de communication qui est souvent rendue impossible par le rythme lent des systèmes AAC traditionnels.

« L’humour est une forme cruciale d’interaction sociale et est généralement considérée comme une chose triviale. Mais pour une personne ayant une déficience de la parole, il n’est pas trivial de correspondre au moment de la conversation », a déclaré l’auteur principal du journal, Cornell Tech Ph.D. L’étudiant Tobias Weinberg, qui a perdu sa capacité à parler à 15 ans et utilise maintenant la technologie AAC.

« Perdre ma capacité à parler d’un mois à l’autre, j’ai dû apprendre à remodeler mon humour à cette nouvelle forme de communication. Cette recherche essaie de canaliser cette expérience. »

La recherche, intitulée «Pourquoi si grave? Exploration des commentaires humoristiques en temps opportun dans AAC via des interfaces alimentées par l’IA», a remporté un prix Honorable Mention Honorable Award et Jury Best Demo Award à l’Association for Computing Machinery Conference on Human Facteurs in Computing Systems (Chi ’25), 26 avril – mai 1 à Yokohama, Japon.

Le projet comprenait des chercheurs de Cornell Tech et du Cornell Ann S. Bowers College of Computing and Information Science, ainsi que la professeure adjointe Stephanie Valence de l’Université du Maryland.

« Il y a un compromis entre l’agence et l’efficacité. Un bouton qui vous donne des blagues est super efficace, mais ce ne sont probablement pas vos blagues. D’un autre côté, taper tout le message vous donne un contrôle total, mais c’est vraiment lent, et vous manquerez probablement le calendrier », a déclaré Weinberg.

« Nous avons exploré l’espace entre les deux: comment pouvons-nous guider l’IA vers la blague que vous voulez faire? »

L’étude a introduit les participants ayant des handicaps de la parole à quatre interfaces assistées par l’IA: « Full-Auto », « Mots-clés », « Sélection de bulles de contexte » et « Wizard ». Chaque interface a offert aux participants un équilibre et de contrôle différents, ce qui leur permet de générer rapidement des blagues ou de les affiner pour mieux refléter leur voix personnelle.

L’option la plus pratique, Full-Auto, permet à l’IA de générer du contenu avec une entrée minimale. L’option « Mots-clés » ajoute une couche d’interaction en permettant aux utilisateurs de choisir parmi un ensemble de termes guides.

Pour ceux qui souhaitent plus d’agence, l’interface de bulle de contexte permet aux utilisateurs de mettre en évidence des parties spécifiques d’une conversation pour que l’IA se concentre, suivie d’un raffinement des mots clés. L’interface la plus personnalisable, l’assistant, décompose les conversations en mots clés et invite les utilisateurs à sélectionner des idées connexes, offrant le plus haut niveau d’entrée d’IA mais nécessitant plus de temps et d’efforts.

« Le compromis entre l’agence et le timing joue évidemment un rôle dans toutes les interfaces basées sur l’IA », a déclaré le conseiller de projet Thijs Roumen, professeur adjoint chez Cornell Tech. « La plupart d’entre nous ne seraient pas du tout disposés à abandonner l’agence. Il est intéressant de voir ce compromis se jouer différemment pour différents groupes. »

Avant d’essayer les outils, les participants ont exprimé une préférence pour vouloir plus d’agence à faire une blague avant d’essayer les outils. Cependant, après avoir utilisé les outils, ils ont favorisé des interfaces plus économes en temps.

« La fenêtre temporelle où le commentaire humoristique peut atterrir est si court », a déclaré Weinberg. « Même si la blague n’est pas entièrement à moi, elle servirait toujours son objectif – ce qui est de faire rire les autres. »

L’étude a également révélé certains défis, notamment des difficultés de défilement pour les utilisateurs qui s’appuyaient sur la contribution du regard ou du joystick, et le manque de nuances émotionnelles dans les voix de texte vocale.

Il n’y a pas de solution unique pour améliorer les appareils AAC, a déclaré Weinberg. « Chaque utilisateur a des préférences différentes, et ces préférences peuvent même changer en fonction du partenaire de conversation. »

« Tant de travail se concentre sur les« besoins »directs des personnes handicapées, mais l’autonomisation de l’expression de soi, de l’humour et des liens émotionnels est souvent négligé », a déclaré Roumen, qui est également directeur de la matière de Tech Lab à Cornell Tech et affilié à Cornell Bowers CIS.

« J’espère que nous ouvrirons un chemin vers plus de recherches dans cette direction. »

Le document comprend également un appel pour étendre la portée de la recherche sur l’accessibilité. Weinberg a déclaré: « Nous devons améliorer l’expressivité dans la communication AAC, et plus généralement, permettre aux personnes souffrant de troubles de la parole de s’engager pleinement dans des conversations et de s’épanouir dans la société. »