Un étiquetage transparent des données de formation peut renforcer la confiance dans l'intelligence artificielle

Un étiquetage transparent des données de formation peut renforcer la confiance dans l’intelligence artificielle

Selon les chercheurs, montrer aux utilisateurs que les données visuelles introduites dans les systèmes d’intelligence artificielle ont été correctement étiquetées pourrait inciter les gens à faire davantage confiance à l’IA. Crédit : Penn State / Creative Commons

Selon les chercheurs, montrer aux utilisateurs que les données visuelles introduites dans les systèmes d’intelligence artificielle (IA) sont correctement étiquetées pourrait inciter les gens à faire davantage confiance à l’IA. Ces résultats pourraient également ouvrir la voie pour aider les scientifiques à mieux mesurer le lien entre la crédibilité de l’étiquetage, les performances de l’IA et la confiance, a ajouté l’équipe.

Dans une étude, les chercheurs ont découvert qu’un étiquetage de haute qualité des images amenait les gens à percevoir que les données de formation étaient crédibles et qu’ils faisaient davantage confiance au système d’IA. Cependant, lorsque le système montre d’autres signes de partialité, certains aspects de leur confiance diminuent tandis que d’autres restent à un niveau élevé.

Pour que les systèmes d’IA apprennent, ils doivent d’abord être formés à l’aide d’informations souvent étiquetées par les humains. Cependant, la plupart des utilisateurs ne voient jamais comment les données sont étiquetées, ce qui suscite des doutes quant à l’exactitude et au biais de ces étiquettes, selon S. Shyam Sundar, professeur James P. Jimirro d’effets médiatiques au Donald P. Bellisario College of Communications and co. -directeur du Media Effects Research Laboratory à la Penn State University.

« Lorsque nous parlons de faire confiance aux systèmes d’IA, nous parlons de faire confiance aux performances de l’IA et à la capacité de l’IA à refléter la réalité et la vérité », a déclaré Sundar, qui est également affilié au Penn State’s Institute for Computational and Data Sciences. « Cela peut arriver si et seulement si l’IA a été formée sur un bon échantillon de données. En fin de compte, une grande partie de la préoccupation concernant la confiance dans l’IA devrait vraiment être une préoccupation quant à notre confiance dans les données de formation sur lesquelles cette IA est construite. Pourtant , il a été difficile de transmettre la qualité des données de formation aux profanes. »

Selon les chercheurs, une façon de transmettre cette fiabilité est de donner aux utilisateurs un aperçu des données d’étiquetage.

« Souvent, le processus d’étiquetage n’est pas révélé aux utilisateurs, nous nous sommes donc demandé ce qui se passerait si nous divulguions des informations sur les données de formation, en particulier l’exactitude de l’étiquetage », a déclaré Chris (Cheng) Chen, professeur adjoint en communication et design à l’Université Elon, et premier auteur de l’étude. « Nous voulions voir si cela façonnerait la perception des gens quant à la crédibilité des données de formation et influencerait davantage leur confiance dans le système d’IA. »

Les chercheurs ont recruté un total de 430 participants pour l’étude en ligne. Les participants ont été invités à interagir avec un prototype de site Web Emotion Reader AI, qui a été présenté comme un système conçu pour détecter les expressions faciales dans les images des médias sociaux.

Les chercheurs ont informé les participants que le système d’IA avait été formé sur un ensemble de données de près de 10 000 images faciales étiquetées, chaque image étant étiquetée comme l’une des sept émotions : joie, tristesse, colère, peur, surprise, dégoût ou neutre. Les participants ont également été informés que plus de 500 personnes avaient participé à l’étiquetage des données pour l’ensemble de données. Cependant, les chercheurs avaient manipulé l’étiquetage, de sorte que dans un état, les étiquettes décrivaient avec précision les émotions, tandis que dans l’autre, la moitié des images faciales étaient mal étiquetées.

Pour étudier les performances du système d’IA, les chercheurs ont assigné au hasard les participants à l’une des trois conditions expérimentales : aucune performance, performance biaisée et performance non biaisée. Dans les conditions biaisées et non biaisées, les participants ont vu des exemples de performances d’IA impliquant la classification des émotions exprimées par deux individus noirs et deux individus blancs. Dans la condition de performance biaisée, le système d’IA a classé toutes les images d’individus blancs avec une précision de 100 % et toutes les images d’individus noirs avec une précision de 0 %, démontrant un fort biais racial dans les performances de l’IA.

Selon les chercheurs, la confiance des participants a chuté lorsqu’ils ont perçu que la performance du système était biaisée. Cependant, leur lien émotionnel avec le système et leur désir de l’utiliser à l’avenir n’ont pas diminué après avoir vu une performance biaisée.

Crédibilité des données de formation

Les chercheurs ont inventé le terme « crédibilité des données de formation » pour décrire si un utilisateur perçoit les données de formation comme crédibles, dignes de confiance, fiables et fiables.

Ils suggèrent que les développeurs et les concepteurs pourraient mesurer la confiance dans l’IA en créant de nouvelles façons d’évaluer la perception des utilisateurs quant à la crédibilité des données de formation, par exemple en permettant aux utilisateurs d’examiner un échantillon des données étiquetées.

« Il est également éthiquement important pour les entreprises de montrer aux utilisateurs comment les données de formation ont été étiquetées, afin qu’ils puissent déterminer s’il s’agit d’un étiquetage de haute ou de mauvaise qualité », a déclaré Chen.

Sundar a ajouté que les développeurs d’IA devraient concevoir des moyens créatifs de partager des informations sur les données de formation avec les utilisateurs, mais sans les alourdir ni les induire en erreur.

« Les entreprises sont toujours soucieuses de créer un flux facile pour l’utilisateur, afin que les utilisateurs continuent de s’engager », a déclaré Sundar, qui est également directeur du Penn State Center for Socially Responsible Artificial Intelligence, ou CSRAI. « En appelant à des moyens transparents de montrer la qualité de l’étiquetage, nous voulons des conceptions d’interface qui informent les utilisateurs et les font réfléchir plutôt que de les persuader de faire aveuglément confiance au système d’IA. »

Les chercheurs ont présenté leurs conclusions aujourd’hui (24 avril) à la conférence ACM CHI sur les facteurs humains dans les systèmes informatiques, et les ont rapportés dans ses actes.

Fourni par l’Université d’État de Pennsylvanie