Repenser l'interaction homme-machine pour une ingénierie éthique
Dans son article intitulé « La confiance n'est pas une vertu : pourquoi nous ne devrions pas faire confiance », Matthew L. Bolton, professeur agrégé d'ingénierie des systèmes et de l'information à l'Université de Virginie, remet en question de manière critique l'accent mis sur la promotion de la confiance dans les interactions homme-machine. Il se concentre particulièrement sur les systèmes utilisant l’IA, l’apprentissage automatique et l’automatisation.
L'article est publié dans la revue L'ergonomie dans la conception : le trimestriel des applications des facteurs humains.
Bolton affirme que même si la confiance est souvent considérée comme essentielle à l’adoption de nouvelles technologies, il s’agit d’un concept problématique et imprécis. La confiance est difficile à définir, hautement contextuelle et confondue avec des concepts connexes tels que la confiance et le risque perçu, ce qui la rend ni sélective ni diagnostique en tant que mesure du comportement humain.
Bolton affirme que l’accent mis sur l’instauration de la confiance dans la technologie pourrait en fait nuire à une bonne ingénierie des facteurs humains. Au lieu de rechercher la confiance comme objectif, les ingénieurs devraient se concentrer sur des mesures objectives de la fiabilité, de la transparence et de la convivialité du système, des éléments qui ont un impact direct sur l'expérience humaine et les performances.
La confiance, affirme Bolton, n’est pas humaniste en soi et peut être manipulée pour priver les utilisateurs de leurs droits, réduisant ainsi l’autonomie plutôt que de l’améliorer. Cette manipulation sert souvent les intérêts des grandes organisations qui cherchent à contourner le besoin de fiabilité en encourageant une confiance aveugle dans leurs technologies.
« Il existe une contradiction au cœur de la recherche sur la confiance », déclare Bolton. « Nous incluons les humains dans les systèmes parce qu'ils apportent une expérience, une expertise, des instincts et une créativité qui améliorent les performances et rendent les systèmes résilients… nous comptons sur eux pour décider quand, pourquoi et comment faire confiance à un système. Si les ingénieurs manipulent les gens pour qu'ils se comportent de la même manière qu'ils (ou d'autres) le veulent, nous perdons le bénéfice d'avoir des opérateurs humains. »
En fin de compte, Bolton appelle à abandonner la recherche centrée sur la confiance au profit d’approches plus concrètes et éthiques de la conception de systèmes.
Il souligne que les ingénieurs devraient donner la priorité au développement de technologies qui offrent aux utilisateurs des conceptions transparentes, fiables et centrées sur l'humain, plutôt que de s'appuyer sur la confiance pour justifier leur adoption. Selon lui, cette approche mènerait à des interactions homme-machine plus sûres, plus éthiques et plus efficaces.
