Shakespeare en langue des signes, vu par l'IA

Une nouvelle étude utilise la co-création avec des communautés de référence pour développer une application de traduction automatique en langue des signes (SLMT). L'équipe de recherche a conçu une performance théâtrale en langue des signes, vue à travers les yeux de l'intelligence artificielle (IA), comme l'une des méthodologies.

« Historiquement, les personnes sourdes ont été exclues du développement des technologies de traduction automatique », explique Shaun O'Boyle, chercheur à l'École d'éducation inclusive et spécialisée (Dublin City University DCU).

« Cela a souvent provoqué des réactions négatives et de la résistance de la part des communautés sourdes, car les projets ont été conçus et développés sans aucune participation des utilisateurs finaux qu'ils étaient censés servir, ce qui a donné lieu à une technologie que personne ne voulait utiliser et à un énorme gaspillage d'argent », ajoute Davy Van Landuyt, chef de projet à l'Union européenne des sourds (EUD).

L'équipe a décidé d'inverser l'approche standard. Les résultats de leurs travaux sont décrits dans un article publié dans le Journal de communication scientifique.

O'Boyle, Van Landuyt et les autres partenaires du projet européen SignON, dont le Vlaams GebarentaalCentrum (Centre flamand de la langue des signes), ont conçu une méthodologie de co-création innovante basée sur cette idée : si nous devions présenter à une IA des textes de Shakespeare en langue des signes irlandaise, quels extraits choisirions-nous en premier ? Cet engagement avec l'IA leur a permis d'entrer en contact avec le public et de recueillir son avis sur la technologie.

« Nous avons examiné attentivement ce que les communautés sourdes voulaient vraiment (et, tout aussi important, ce qu'elles ne voulaient pas) », explique Van Landuyt.

« C'était un effort de groupe, et c'était très amusant », commente O'Boyle, un expert en communication scientifique et en engagement communautaire, qui a co-écrit l'article avec Van Landuyt, Elizabeth Mathews (qui travaille avec O'Boyle à DCU) et d'autres.

L'activité de co-création du projet, qui a contribué au développement d'un prototype d'application SLMT, a mélangé une performance théâtrale en direct avec des outils d'intelligence artificielle dans un cadre qui a inversé la perspective stéréotypée entre les personnes sourdes/malentendantes et les personnes entendantes.

« Nous avons combiné la performance avec une discussion avec le public, afin d'avoir cet élément d'une technique de groupe de discussion, mais dans le contexte de la culture et de l'art, de voir un spectacle et de sortir pour la nuit », explique O'Boyle.

L'événement, intitulé All the World's a Screen, s'est tenu pendant la Semaine de la science de Dublin et consistait en une représentation théâtrale basée sur les œuvres de William Shakespeare, interprétée en langue des signes irlandaise par deux acteurs sourds, Lianne Quigley et Alvean Jones, qui sont également co-auteurs de la recherche et qui ont traduit les textes de Shakespeare en langue des signes irlandaise. Le public était composé de personnes sourdes, malentendantes et entendantes.

« Pour les personnes sourdes, il était très important de pouvoir présenter une performance et un échange scientifique dans leur propre langue plutôt qu'en anglais. Dans notre performance, un interprète a permis aux personnes entendantes d'avoir accès à la performance », explique O'Boyle.

« Cela a changé la dynamique, mais cela a également donné aux gens l'occasion d'imaginer l'avenir de ces technologies, car nous leur avons demandé de visionner la performance avec leur « co-spectateur » IA. »

En effet, pendant la représentation, les spectateurs pouvaient accéder à des outils d'analyse en temps réel des mouvements des interprètes, de reconnaissance d'objets et de transcription en temps réel de la traduction anglaise parlée par les interprètes.

« Nous avons reçu de nombreux retours intéressants et l'avantage de le faire dans le cadre d'un projet de recherche, c'est que tous ces retours ont été transmis directement à notre équipe. Ils ont influencé les cas d'utilisation de l'application, la façon dont nous en avons parlé, la façon dont nous l'avons pensée et les différents aspects de la technologie qui ont été développés », explique O'Boyle.

« Le côté éthique est également important », ajoute Van Landuyt.

« Une frustration majeure des communautés sourdes réside dans les attitudes ou les motivations de certains chercheurs entendants qui travaillent sur ces technologies », explique Van Landuyt, qui explique également que cela entraîne une perte de temps et de ressources.

« Trop souvent, les décideurs ou les chercheurs « entendants » pensent qu’ils en savent plus que les communautés sourdes et tentent de créer quelque chose qui est ensuite rejeté par les utilisateurs finaux réels de ces technologies, simplement parce que ce n’est pas ce qu’ils veulent ou même complètement inutile dans la pratique. Je pense, par exemple, à des technologies telles que les gants de signature.

« Le simple fait d’inclure des personnes sourdes dans un projet n’est pas une solution structurelle. Cela ne signifie pas qu’elles dirigent la recherche. On demande souvent aux chercheurs sourds de collaborer seulement après que l’idée initiale a été conçue, que l’équipe a été constituée, que la recherche a été menée, ou même vers la fin du projet », ajoute-t-il.

En s'engageant dans une véritable co-création et une communication scientifique avec les communautés sourdes, ce problème peut être atténué. « Nous ne pouvons pas arrêter l'évolution de ces technologies, nous devons donc trouver comment les gérer. Il est essentiel que les personnes sourdes puissent décider par elles-mêmes », conclut Van Landuyt. « Rien sur nous ne se fera sans nous. »