Selon un chercheur, les décisions complexes nécessitent toujours des compétences humaines, car l'IA soutient la prise de décision publique

Aujourd’hui, les technologies de l’IA sont utilisées dans le secteur public pour les dossiers administratifs et comme support dans les différentes étapes menant à une décision. Cela ajoute une transparence dans la mesure où cela montre le cheminement vers la décision.

« Grâce à ces technologies, il est clair ce qui est correct ou incorrect et quels facteurs doivent être pris en compte. Nous pouvons rendre ces types de cas simples plus efficaces grâce à l'IA basée sur des règles », explique la chercheuse Jenny Eriksson Lundström du département d'informatique et des médias de l'université d'Uppsala.

Il n’existe pas de prise de décision entièrement automatisée basée sur l’IA dans l’exercice de l’autorité publique en Suède. Les évaluations des risques et le profilage utilisés dans le service public de l'emploi sont ce qui s'en rapproche le plus.

« Quelle que soit la technologie, nous ne pouvons pas confier à une machine la responsabilité de prendre des décisions sensibles dont les conséquences sont difficiles à prévoir et où le jugement humain est requis. Un système d'IA peut suivre des règles, compiler une grande quantité d'informations et rapporter des résultats. Mais une machine n'a aucune expérience d'être humain et n'a donc pas la capacité de reconnaître ce que signifie être un être humain », explique Lundström.

Un exemple venu des États-Unis montre que lorsque les algorithmes ont été autorisés à décider quels prisonniers devaient être libérés anticipément sous condition, les prisonniers afro-américains ont été systématiquement discriminés, car l'IA basait sa décision sur des facteurs socio-économiques liés à la race et à la classe sociale, tels que les quartiers d'origine des prisonniers.

« Les algorithmes ont favorisé les individus qui n'auraient pas dû être libérés plus tôt. L'IA est efficace pour compiler les informations qui existent dans un système et pour détecter des modèles. Mais évaluer les conséquences d'une décision par rapport à nos motifs de discrimination, par exemple ? Elle ne devrait pas en être responsable », déclare Lundström.

« Les fonctionnaires que j'ai interviewés ont clairement indiqué que, pour cette raison, des décisions complexes ne peuvent pas être prises par une machine d'IA. Et nous devons les écouter. Ces fonctionnaires, qui exercent l'autorité publique, se sentent responsables de leurs semblables et veulent peser tous les facteurs que la loi dit qu'ils doivent être pris en compte pour que la décision soit la bonne. Si la loi permet d'utiliser un raisonnement éthique dans leurs évaluations, ils veulent l'utiliser », explique-t-elle.

Les personnes interrogées ont vu de nombreux avantages à utiliser l’IA dans leur travail, comme support.

« Dans les entretiens que j'ai menés, ils ont qualifié en plaisantant les systèmes d'IA responsables d'une prise de décision entièrement automatisée de « boîtes noires », car on ne peut pas suivre les différentes étapes suivies par le système et on ne peut donc pas vraiment savoir ce qui a produit le résultat », explique Lundström.

Il est important que nous comprenions comment fonctionnent réellement les systèmes que nous utilisons.

« Nous attribuons l'intelligence à la machine alors que c'est nous, les humains, qui déterminons ce que nous permettons à une machine d'être », dit-elle.

Dans ses recherches, Lundström a identifié quatre facteurs importants qui devraient être surveillés, en particulier dans la prise de décision basée sur l'IA. Une décision d’un organisme gouvernemental doit être :

1. Matériellement correct. Tous les faits pertinents doivent être là, pesés et vérifiables.
2. Éthique. Une décision doit être éthiquement correcte.
3. Doit être explicable. Il doit être possible de comprendre et d'expliquer chaque décision, et d'être capable de démontrer sur quelle base la décision a été prise conformément au principe de l'accès du public aux documents officiels.
4. Sécurisé. Les données traitées pour une décision affectant un résident de Suède doivent être traitées de manière sécurisée et conformes à la loi sur la protection de la vie privée.

« C'est aussi une question de démocratie. Si nous laissons les machines prendre des décisions liées à ce que signifie être un être humain, nous risquons de porter atteinte aux droits des personnes », selon Lundström.

« L'important est que nous comprenions que les résidents ne constituent pas un groupe homogène. Nos circonstances et nos expériences sont très différentes et le contact humain est donc essentiel pour de telles décisions. »