Les ingénieurs de demain sont-ils prêts à relever les défis éthiques de l’IA ?

Un chatbot devient hostile. Une version test d'un aspirateur Roomba collecte des images d'utilisateurs dans des situations privées. Une femme noire est faussement identifiée comme suspecte sur la base d’un logiciel de reconnaissance faciale, qui tend à être moins précis pour identifier les femmes et les personnes de couleur.

Ces incidents ne sont pas de simples problèmes, mais des exemples de problèmes plus fondamentaux. À mesure que l’intelligence artificielle et les outils d’apprentissage automatique s’intègrent de plus en plus dans la vie quotidienne, les considérations éthiques se multiplient, depuis les questions de confidentialité et les préjugés raciaux et sexistes dans le codage jusqu’à la propagation de la désinformation.

Le grand public dépend des ingénieurs logiciels et des informaticiens pour garantir que ces technologies sont créées de manière sûre et éthique. En tant que sociologue et doctorant intéressé par l'enseignement des sciences, de la technologie, de l'ingénierie et des mathématiques, nous recherchons actuellement comment les ingénieurs de nombreux domaines différents apprennent et comprennent leurs responsabilités envers le public.

Pourtant, nos recherches récentes, ainsi que celles d’autres chercheurs, mettent en évidence une réalité troublante : la prochaine génération d’ingénieurs semble souvent mal préparée à affronter les implications sociales de son travail. De plus, certains semblent apathiques face aux dilemmes moraux que leur carrière peut engendrer, tout comme les progrès de l’IA intensifient ces dilemmes.

Conscient, mais pas préparé

Dans le cadre de nos recherches en cours, nous avons interrogé plus de 60 étudiants en maîtrise en génie électrique et en informatique dans un programme d'ingénierie de premier plan aux États-Unis. Nous avons interrogé les étudiants sur leurs expériences face aux défis éthiques en ingénierie, sur leur connaissance des dilemmes éthiques dans le domaine et sur la manière dont ils réagiraient aux scénarios du futur.

Tout d’abord, la bonne nouvelle : la plupart des étudiants ont reconnu les dangers potentiels de l’IA et ont exprimé leurs inquiétudes quant à la vie privée et au potentiel de préjudice, par exemple sur la façon dont les préjugés raciaux et sexuels peuvent être inscrits dans les algorithmes, intentionnellement ou non.

Un étudiant, par exemple, a exprimé sa consternation face à l'impact environnemental de l'IA, affirmant que les entreprises d'IA utilisent « de plus en plus d'énergie à effet de serre, [for] avantages minimes. » D’autres ont évoqué leurs préoccupations quant à l’endroit et à la manière dont l’IA est utilisée, notamment pour la technologie militaire et pour générer des informations et des images falsifiées.

Cependant, à la question « Vous sentez-vous équipé pour réagir dans des situations préoccupantes ou contraires à l'éthique ? » les étudiants disaient souvent non.

« Absolument non… C'est un peu effrayant », a répondu un étudiant. « Savez-vous à qui je suis censé aller ?

Un autre était troublé par le manque de formation : « Je [would be] gérer cela sans aucune expérience. … Qui sait comment je vais réagir.

D’autres chercheurs ont également constaté que de nombreux étudiants en génie ne se sentent pas satisfaits de la formation en éthique qu’ils reçoivent. La formation commune met généralement l'accent sur les codes de conduite professionnels plutôt que sur les facteurs sociotechniques complexes qui sous-tendent la prise de décision éthique. Les recherches suggèrent que même lorsqu’ils sont confrontés à des scénarios ou à des études de cas particuliers, les étudiants en génie ont souvent du mal à reconnaître les dilemmes éthiques.

« Une case à cocher »

Les programmes d'ingénierie accrédités doivent « inclure des sujets liés aux responsabilités professionnelles et éthiques » dans une certaine mesure.

Pourtant, la formation à l’éthique est rarement mise en avant dans les programmes formels. Une étude évaluant les programmes d'études STEM de premier cycle aux États-Unis a révélé que la couverture des questions éthiques variait considérablement en termes de contenu, de quantité et de sérieux. De plus, une analyse de la littérature universitaire sur la formation en ingénierie a révélé que l’éthique est souvent considérée comme une formation non essentielle.

De nombreux professeurs d'ingénierie expriment leur mécontentement quant à la compréhension des étudiants, mais déclarent ressentir une pression de la part de leurs collègues ingénieurs et des étudiants eux-mêmes pour donner la priorité aux compétences techniques pendant leur temps de cours limité.

Les chercheurs d’une étude de 2018 ont interrogé plus de 50 professeurs d’ingénierie et ont documenté leurs hésitations – et parfois même leur résistance pure et simple – à l’idée d’intégrer les questions de bien-être public dans leurs cours d’ingénierie. Plus d’un quart des professeurs interrogés considéraient l’éthique et les impacts sociétaux comme extérieurs au « vrai » travail d’ingénierie.

Environ un tiers des étudiants que nous avons interrogés dans le cadre de notre projet de recherche en cours partagent cette apparente apathie à l'égard de la formation en éthique, qualifiant les cours d'éthique de « juste une case à cocher ».

« Si je paie pour suivre un cours d'éthique en tant qu'ingénieur, je vais être furieux », a déclaré l'un d'eux.

Ces attitudes s'étendent parfois à la façon dont les étudiants perçoivent le rôle des ingénieurs dans la société. Une personne interrogée dans le cadre de notre étude actuelle, par exemple, a déclaré que « la responsabilité d'un ingénieur est simplement de créer cette chose, de la concevoir et… de dire aux gens comment l'utiliser ». [Misusage] les problèmes ne les concernent pas. »

L'une d'entre nous, Erin Cech, a suivi une cohorte de 326 étudiants en ingénierie issus de quatre collèges américains. Cette recherche, publiée en 2014, suggère que les ingénieurs sont en réalité devenus moins préoccupés au cours de leurs études par leurs responsabilités éthiques et par la compréhension des conséquences publiques de la technologie. En les suivant après leur sortie de l'université, nous avons constaté que leurs préoccupations en matière d'éthique ne rebondissaient pas une fois que ces nouveaux diplômés entraient sur le marché du travail.

Rejoindre le monde du travail

Lorsque les ingénieurs reçoivent une formation en éthique dans le cadre de leur diplôme, cela semble fonctionner.

En collaboration avec la professeure d'ingénierie Cynthia Finelli, nous avons mené une enquête auprès de plus de 500 ingénieurs employés. Les ingénieurs qui ont reçu une formation formelle en éthique et en bien-être public à l’école sont plus susceptibles de comprendre leur responsabilité envers le public dans leur rôle professionnel et de reconnaître la nécessité d’une résolution collective des problèmes. Par rapport aux ingénieurs n’ayant pas reçu de formation, ils étaient 30 % plus susceptibles d’avoir remarqué un problème éthique sur leur lieu de travail et 52 % plus susceptibles d’avoir pris des mesures.

Plus d’un quart de ces ingénieurs en exercice ont déclaré avoir été confrontés à une situation éthique préoccupante au travail. Pourtant, environ un tiers d’entre eux déclarent n’avoir jamais reçu de formation dans le domaine de l’aide sociale, ni au cours de leurs études, ni au cours de leur carrière.

Cette lacune dans la formation à l’éthique soulève de sérieuses questions sur la préparation de la prochaine génération d’ingénieurs à naviguer dans le paysage éthique complexe de leur domaine, en particulier lorsqu’il s’agit de l’IA.

Certes, la responsabilité de veiller au bien-être public n’incombe pas uniquement aux ingénieurs, aux concepteurs et aux programmeurs. Les entreprises et les législateurs partagent la responsabilité.

Mais les personnes qui conçoivent, testent et peaufinent cette technologie constituent la première ligne de défense du public. Nous pensons que les programmes éducatifs se doivent, ainsi qu’à nous tous, de prendre cette formation au sérieux.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l'article original.