Les travailleurs souffrent lorsque l’IA se trompe, affirme un professeur

Amazon pensait avoir trouvé un moyen efficace de trouver les meilleurs travailleurs. Le recrutement prend du temps et coûte cher, alors pourquoi ne pas le confier à l’intelligence artificielle (IA) ?

Leur équipe a construit un algorithme basé sur l’IA – une série d’instructions indiquant à un ordinateur comment analyser les données – qui attribuerait à chaque candidat une note allant de une à cinq étoiles. Ils pourraient alors simplement choisir les candidats ayant obtenu cinq étoiles.

Mais il y avait un problème. Il s’est avéré que les femmes n’obtenaient pas de bons résultats dans les emplois liés aux logiciels et aux technologies. Ce qui se passait?

Eh bien, l’algorithme a été formé sur des CV soumis à Amazon au cours des 10 années précédentes, et la plupart provenaient d’hommes. L’algorithme avait « appris » qu’il fallait préférer les hommes. Il attribuait davantage d’étoiles au langage masculin dans un CV et enlevait des étoiles à toute personne fréquentant une université pour femmes.

L’algorithme avait appris à discriminer, en copiant les préjugés humains.

D’autres études ont montré que l’IA peut détecter des signaux de genre dans un CV, même lorsqu’un nom et des pronoms sont supprimés. Et, même si l’IA est formée pour être neutre en matière de genre, elle pourrait quand même être discriminatoire à l’égard des parents ou d’autres groupes d’employés vulnérables, comme ceux qui sont issus de la diversité raciale ou culturelle ou LGBTQI+.

Mais la plupart des cas de discrimination basée sur l’IA ne seront pas signalés. Ou peut-être même remarqué. Et c’est un gros problème.

Dans une analyse détaillée des lois australiennes sur le travail, publiée dans la Melbourne University Law Review, j’ai découvert que l’on sait peu de choses sur la manière dont les employeurs australiens utilisent l’IA.

Il existe de nombreux outils logiciels qui utilisent l’IA pour rationaliser les fonctions de ressources humaines, du recrutement à la gestion des performances et même au licenciement. Mais la manière dont ils sont utilisés n’est souvent révélée que lorsque les choses tournent vraiment mal.

Par exemple, la fonction publique australienne a essayé d’utiliser la technologie assistée par l’IA pour gérer les promotions. Bon nombre de ces promotions ont ensuite été annulées parce qu’elles n’étaient pas fondées sur le mérite, mais cela n’a été révélé que parce que la fonction publique dispose d’un commissaire à la protection du mérite.

Que se passe-t-il dans le secteur privé, où travaillent la plupart des gens ?

L’Europe dispose de lois strictes en matière de protection de la vie privée et des données – le Règlement général sur la protection des données (RGPD) – qui exigent qu’un décideur humain ait le dernier mot dans tout processus automatisé affectant de manière significative la vie des gens. Dans l’UE, les travailleurs à la demande ont profité de cette situation pour contester Uber et Ola lorsqu’ils ont été automatiquement licenciés en tant que chauffeurs.

Mais l’Australie n’a pas d’équivalent.

La loi australienne sur la protection de la vie privée est nettement en retard par rapport à des pays comme le Royaume-Uni et l’Union européenne. Étonnamment, il contient une exception générale pour les « dossiers des employés » : même si votre employeur a besoin de votre consentement pour collecter initialement de nouvelles données, aucune limite n’est imposée à ces données une fois qu’elles sont conservées.

Et la loi fédérale sur la protection de la vie privée de 1988 (Cth) ne s’applique pas aux petites entreprises, qui emploient la plupart des travailleurs australiens.

La loi sur la discrimination pourrait combler cette lacune s’il pouvait être démontré qu’un algorithme d’IA discrimine certaines personnes ou certains groupes. Mais si nous ne savons pas qu’un algorithme est utilisé, comment pouvons-nous le contester ?

La loi contre la discrimination repose principalement sur le dépôt d’une plainte par les individus – et peu de gens le font, même s’ils savent qu’ils ont été victimes de discrimination. Avec les décisions automatisées, nous ne savons peut-être même pas quel algorithme a été utilisé, et encore moins s’il est discriminatoire à notre encontre.

Nous avons besoin d’une réforme – et bientôt. Alors que nous voyons la direction d’OpenAI (les créateurs de ChatGPT) imploser en raison des craintes quant à l’avenir de la technologie, il est clair que nous avons besoin d’une réglementation stricte des nouvelles technologies d’IA. Nous ne pouvons pas compter sur les entreprises elles-mêmes pour obtenir des réponses ou appeler à l’aide en cas de besoin, et encore moins pour signaler publiquement tout problème grave.

Le gouvernement fédéral, dans sa réponse à l’examen de la Loi sur la protection des renseignements personnels, a accepté en principe de mener des consultations sur l’exception relative aux dossiers des employés. Et il a accepté en principe de supprimer (à terme) l’exception relative aux petites entreprises.

Mais il nous en faut davantage. L’adoption d’une loi rigoureuse sur la protection de la vie privée, comme le RGPD, est une première étape. Mais l’UE a reconnu la nécessité d’aller plus loin, alors qu’elle tente d’adopter la nouvelle loi européenne sur l’IA. La loi vise à être la première loi globale sur l’IA au monde et imposerait davantage de réglementation pour les technologies plus risquées. Les systèmes d’emploi utilisant l’IA seraient classés comme à haut risque.

J’ai cependant soutenu que la loi sur la discrimination avait également besoin d’une refonte. Plutôt que de compter sur les individus pour déposer une plainte, nous avons besoin d’obligations positives et proactives pour les employeurs, afin que ce qu’ils font soit clair et qu’ils doivent dialoguer avec les travailleurs avant d’adopter ces nouvelles technologies.

Nous devons exiger des rapports ouverts sur le développement et les pratiques de l’IA, sinon nous pourrions ne pas découvrir ce que nous avons besoin de savoir avant qu’il ne soit trop tard.