Un avertissement sur l’automatisation et la perte de liberté

Aujourd’hui, on entend souvent dire que l’intelligence artificielle sera capable de résoudre presque tous nos problèmes. La médecine sera personnalisée, les procédures gouvernementales seront rationalisées et nous ferons toujours les choses correctement lorsque nous devrons choisir un film ou une chanson selon nos goûts.

Selon Andrea Rosales, chercheuse au sein du groupe Réseaux de communication et changement social (CNSC) de l'Institut interdisciplinaire Internet (IN3) de l'Université Oberta de Catalunya (UOC), nos sociétés ne peuvent que constater les avantages de la numérisation.

Cependant, dans son analyse du roman « QualityLand » de Marc-Uwe Kling, œuvre de fiction décrivant un monde où tout est régi par des algorithmes, publiée dans Le manuel De Gruyter des contrats à terme automatiséselle souligne – avec Sara Suárez – qu'il existe un côté plus sombre et moins connu des nouvelles technologies et de la manière dont elles sont mises en œuvre.

La numérisation forcée de la société exclut les groupes les plus vulnérables, en raison des préjugés inhérents aux systèmes algorithmiques. En effet, les technologies semblent capables de résoudre des problèmes, mais elles en sont en réalité incapables.

« Les technologies numériques génèrent de grandes quantités de données et créent l'idée qu'il est possible de contrôler et de quantifier la plupart des aspects de la vie », a expliqué Rosales, également membre de la Faculté des sciences de l'information et de la communication. « Mais de nombreux aspects de la vie quotidienne ne sont pas quantifiables, et de nombreuses quantifications sont des approximations grossières de la réalité. »

Les algorithmes qui prennent des décisions à notre place commettent également des erreurs

Cette question a un impact sur la vie quotidienne des gens, car parfois, et sans en être conscients, ils prennent des décisions basées sur les recommandations fournies par les algorithmes, même s'ils peuvent commettre des erreurs ou négliger certains facteurs.

« Par exemple, les applications de rencontres ont changé la façon dont nous recherchons un partenaire, en mettant l'accent sur des aspects quantifiables de nos vies, qui régissent le système de priorités qui affiche les utilisateurs les plus populaires sur ces applications. »

De plus, les données ne sont pas neutres. L’un des risques est que les préjugés reproduisent ou aggravent les préjugés existants dans la société en raison de leur incapacité à représenter les groupes défavorisés. Ce problème est aggravé par l’absence de lois régissant les algorithmes utilisés aujourd’hui, qui sont pour la plupart opaques, car très peu de gens savent comment ils fonctionnent.

L'analyse par Rosales du roman « QualityLand » montre comment cette œuvre de fiction présente un monde qui nous est de plus en plus familier. Ses thèmes reflètent les problèmes auxquels nos sociétés contemporaines sont confrontées : le manque de liberté, les frustrations face à la numérisation forcée, le techno-optimisme prédominant, l'hyperdatafication de la vie quotidienne et les menaces que les systèmes basés sur les données font peser sur la démocratie.

« Le problème de Peter »

Peter Jobless est le personnage central de « QualityLand » et il mène une vie à laquelle beaucoup d'entre nous peuvent s'identifier : la boutique en ligne sait exactement ce que Peter voudra et le lui envoie avant même qu'il pense qu'il le veut ; il utilise une plateforme qui lui trouve le bon partenaire ; et il reçoit des notes constantes pour ses actions dans le monde numérique. TheShop, QualityPartner et RateMe, noms de ces applications, pourraient facilement être remplacés par Amazon, Tinder et Instagram.

Les opinions du personnage importent peu, car dans ce monde, les modèles disent le connaître mieux que lui-même : ils ont accès à tous les aspects de sa vie, et peuvent accéder à son inconscient. Néanmoins, Peter sent que quelque chose ne va pas. Il se sent détaché de ses amis, de son partenaire et des objets que l'algorithme a choisis pour lui.

Les données peuvent avoir des angles morts. Il peut contenir des préjugés, commettre des erreurs ou simplement enregistrer seulement certaines parties de la réalité, tout en laissant de côté d’autres parties. Mais lorsque les systèmes commettent des erreurs, ils supposent souvent que le problème vient de l’utilisateur – ce que le roman appelle « le problème de Peter » – et ils ne parviennent pas à reconnaître qu’il s’agit simplement d’un indicateur de la façon dont la marginalisation opère lorsque la prise de décision est automatisée.

Digitalisation forcée

Selon Rosales, l'un de nos plus grands problèmes contemporains est la « numérisation forcée ». Les personnages du roman sont obligés de tout faire dans le monde numérique car ils n’ont pas d’alternative. Et ce manque d’alternatives analogiques donne au gouvernement et aux entreprises technologiques un contrôle encore plus grand sur leur vie. C’est quelque chose que nous constatons quotidiennement dans nos propres sociétés. Il est de plus en plus courant de trouver des services publics dans lesquels les rendez-vous en face à face sont limités ou dans lesquels certaines informations ne sont pas accessibles autrement que par Internet.

Rosales souligne que l'effet négatif de l'absence d'alternative au numérique est que les personnes dont les connaissances techniques sont limitées ou qui ne s'intéressent pas à ces sujets sont exclues ou deviennent dépendantes d'autres personnes.

Une critique du techno-optimisme

Rosales utilise l'exemple de « QualityLand » pour démystifier l'idée selon laquelle la technologie nous facilitera toujours la vie, par exemple en faisant de meilleurs choix pour nous. Au contraire, cela créera de nouveaux problèmes, tels qu’un manque d’autonomie et des inégalités croissantes. Cela créera également des risques liés à une utilisation excessive des données.

« Le problème de Peter », a expliqué Rosales, « c'est sa difficulté à s'intégrer dans un système régi par des données qu'il ne comprend pas ». Des algorithmes opaques prennent des décisions à sa place, même s’il ne connaît pas leurs processus ni la base de leur raisonnement.

« Cette opacité est souvent justifiée par le secret commercial, une mesure de sécurité, une politique de prévention de la fraude ou la complexité des algorithmes. Les lois sont incapables de faire face à tous les défis sociaux et politiques qu'elles posent. Mais en plus des données biaisées et des prédictions inexactes, la datafication de la vie quotidienne a un impact sur la vie quotidienne des gens, sur la façon dont ils interagissent et dont ils font partie de la société », a poursuivi Rosales.

Un nouveau type de démocratie

Une autre question intéressante que cela soulève est celle de l’avenir de la démocratie. Dans « QualityLand », un androïde appelé John of Us est candidat à la présidence du pays, car son parti estime que les citoyens feront plus confiance à un robot qu'à un humain. Un robot dispose de plus de données et de mémoire et peut rechercher des arguments plus objectifs lorsqu’il prend des décisions. Alors, est-ce quelque chose que nous devrions envisager ?

L'auteur souligne que cette idée, appelée « politique augmentée », a trouvé la faveur de certains secteurs universitaires et des grandes entreprises technologiques. Néanmoins, il constitue de nouvelles menaces dans la mesure où il peut exclure les minorités dans sa quête d’avantages pour la majorité et, plus inquiétant encore, il peut devenir un système de prise de décision très difficile à demander des comptes.

« Dans « QualityLand », les citoyens perdent le contrôle sur les données et sur la manière dont elles sont utilisées pour prendre des décisions cruciales qui affectent leurs droits et libertés fondamentaux », a expliqué Rosales.

Travailler à la protection des personnes les plus vulnérables et rechercher des modèles dans lesquels le gouvernement maintient son indépendance vis-à-vis des grandes entreprises technologiques sont deux étapes qui, selon le chercheur, sont essentielles pour protéger les démocraties et les droits fondamentaux.