La pieuvre “Intelligence Artificielle (IA ou AI)”

Octobre 2022

Kate Crawford   Kate Crawford

Dans le sens des intuitions présentées à travers mes choix de lecture pour INTERFACE_2020, il n’y a pas un trimestre sans que sortent quelques livres qui mettent clairement en question la façon dont la culture ambiante tente d’imposer une “intelligence artificielle” qui pourrait dicter à l’humain son mode opérationnel inhumain! L’erreur se situe dans une loi très simple que tout informaticien sérieux a du apprendre avant même d’être capable de “programmer” quoi que ce soit ou de proposer n’importe quelle “appli”: ’garbage in, garbage out” (“des crasses à l’entrée = des crasses à la sortie”). L’ensemble des “données” à partir desquelles une action “programmée” est conçue et mise à exécution conditionne le résultat. Et quand on parle d’ensemble, on parle de la personnalité du “programmeur”, de son intelligence… mais également de sa conscience (et donc: de tout ce qui constitue l’humain planétaire, individuel ou collectif)! 
Kate Crawford, Contre-Atlas de l’intelligence artificielle. Les coûts politiques, sociaux et environnementaux de l’IA, traduit de l’anglais par Laurent Bury, Éditions Zulma, Paris 2022 (février), 384 pp, ISBN: 979-10-387- 0108-3.

Si “le champ de l’IA tente explicitement de capturer la planète sous une forme computationnelle lisible” (p. 22), le propos du travail de Kate Crawford est donné en p. 26

Quelles sont les conséquences sociales et matérielles lorsqu’on inclut l’IA et ses algorithmes dans les modes de prise de décision d’institutions sociales comme l’éducation et les soins de santé, la finance, les activités gouvernementales, les interactions sur le lieu de travail et l’embauche, la communication et le système judiciaire? Ce livre n’est pas une histoire de codes et d’algorithmes, ni une présentation des dernières théories sur la vision par ordinateur, le traitement automatique du langage naturel ou l’apprentissage par renforcement. Beaucoup d’autres ouvrages s’en chargent. Ce ’est pas non plus un exposé ethnographique sur une petite communauté et les effets de l’IA sur leur rapport au travail, au logement ou à la médecine – même si nous en avons certainement besoin.
Il s’agit plutôt d’une vision élargie de l’intelligence artificielle comme industrie extractive. La création des systèmes actuels d’IA repose sur l’exploitation des ressources énergétiques et minérale de la planète, sur la main-d’œuvre bon marché et sur les données à grande échelle. Pour observer ce phénomène en action, nous accomplirons une série de voyages dans les lieux qui révèlent comment se fabrique l’IA. (p. 26).

Et toujours dans son Introduction

L’intelligence artificielle est donc une idée, une infrastructure, une industrie, une forme d’exercice du pouvoir, et une façon de voir; c’est aussi la manifestation d’un capital très organisé, soutenu par de vastes systèmes d’extraction et de logistique, avec des chaînes d’approvisionnement qui enveloppent toute la planète. Toutes ces choses font partie de ce qu’est l’intelligence artificielle – expression en deux mots sur laquelle se dessine un ensemble complexe d’attentes, d’idéologies, de désirs et de peurs. […] En résumé, l’intelligence artificielle est désormais un acteur qui détermine ce qu’est le savoir, la communication ou le pouvoir. Cette reconfiguration se produit au niveau de l’épistémologie, des principes de justice, de l’organisation sociale, de l’expression politique, de la culture, de la compréhension des corps humains, des subjectivités et des identités: ce que nous sommes et ce que nous pouvons être. Mais allons plus loin. Puisqu’elle re-cartographie le monde et y intervient, l’intelligence artificielle, c’est la politique par d’autres moyens, même si on la reconnaît rarement comme telle. Cette politique est menée par les Grandes Maisons d’IA, soit la demi-douzaine d’entreprises qui dominent la computation planétaire (pp. 31, 32).

Et, à une époque où le souci de l’humain avec la petite planète où il est enraciné devient prioritaire, il faut constater que

Il facile d’attribuer un prix aux métaux précieux, mais quelle est la valeur exacte d’une forêt vierge, d’un cours d’eau pur, d’un air respirable, ou de la santé des communautés locales? L’estimation n’a jamais été faite, d’où un raisonnement facile: mieux vaut tout extraire aussi vite que possible (p. 38).

L’IA: une exploitation des richesses naturelles de la planète et une privatisation capitaliste du temps!

Or tous les développements en IA d’aujourd’hui se font en pillant des ressources naturelles et en consommant énormément d’énergie

Tout comme la sale besogne du secteur minier était très éloignée des entreprises et des citadins qui en bénéficiaient le plus, la majorité des centres de données sont très éloignés des grands pôles de peuplement, dans des déserts ou de lointaines banlieues industrielles. Cela renforce notre impression que le cloud est invisible et abstrait, alors qu’il est tout à fait concret et affecte le climat et l’environnement même si cela n’est pas pleinement reconnu et expliqué. Le cloud est une réalité terrestre, et pour qu’il continue à grandir, il doit augmenter ses ressources, ses couches de logistique et de transport, en constante évolution (p. 60).

Un exemple partiel dans le transport lié aux constructions d’IA

Ces dernières années, les navires porte-conteneurs ont produit 3,1ù des émissions annuelles mondiales de dioxyde de carbone, soit plus que tout ce qu’a produit l’Allemagne. Pour minimiser leurs coûts internes, la plupart des entreprises de transport maritime utilisent du carburant de qualité inférieur en quantité astronomique, d’où une proportion accrue de soufre et d’autres substances toxiques dans l’atmosphère. On estime qu’un porte-conteneurs dégage autant de pollution que 50 millions de voitures, et chaque année 60.000 décès sont attribués indirectement à la polutions causée par le secteur du transport maritime (p. 62).

Quel lien avec l’IA?

Nous avons vu que l’IA n’est pas faite que de bases de données et d’algorithmes, d’apprentissage automatique et d’algèbre linéaire. Elle est métamorphique: elle repose sur la fabrication, le transport et le travail physique; sur les centres de données et les câbles sous-marins qui relient les continents; sur les appareils personnels et leurs composants bruts; sur les signaux de transmission qui traversent les airs; sur les ensembles de données produits en écumant Internet; et sur des cycles computationnels continus. Tout cela a un prix. (p. 64).
La robotique est devenue un élément-clé de l’arsenal logistique d’Amazon, et si les machines paraissent bien entretenue, les corps humains, eux, semblent secondaires. Ils sont là pour accomplir les tâches spécifiques et minutieuses dont les robots sont incapables: prendre et confirmer d’un coup d’œil tous les objets aux formes étranges que les gens veulent se faire livrer, de la coque de téléphone au détergent pour lave-vaisselle, dans le délais le plus court possible. Les humains sont le tissu conjonctif nécessaire pour que les articles commandés soient placés dans des conteneurs et des camions, et livrés aux consommateurs. Mais ils ne sont pas le composant le plus précieux ou le plus fiable de la machinerie Amazon. (p. 69).

Et, dans cet arsenal robotisé, la relation au “temps” devient un enjeu sociétal

Le contrôle du temps est un thème omniprésent dans l’empire logistique d’Amazon, et le corps des employés est géré selon les cadences de la logique computationnelle. Amazon est le deuxième plus gros employeur privé en Amérique, et de nombreuses entreprises s’efforcent d’imiter son approche. Beaucoup investissent massivement dans des systèmes automatisés pour tenter d’obtenir des volumes de travail toujours plus importants d’un nombre réduit de travailleurs. Les logiques d’efficacité, de surveillance et d’automatisation convergent toutes, dans le tournant actuel, vers des approches computationnelles de la gestion de la main-d’œuvre. Les entrepôts de distribution hybrides d’Amazon, où se côtoient humains et robots, sont des sites-clés pour comprendre les compromis à l’œuvre dans cet engagement pour l’efficacité automatisée. Nous pouvons ainsi envisager comme le travail, le capital et le temps sont imbriqués dans les systèmes d’IA (p. 70).
Le travail a cessé d’être avant tout le produit du travail humain et a pris un caractère de plus en plus mécanique, les ouvriers s’adaptant aux besoins de la machine, à ses rythmes et ses cadence spécifiques… [… et en Note, l’Auteure donne un texte tout à fait étonnant du Capital de Marx (livre 1er, p. 474): “Dans la manufacture et dans l’artisanat, l’ouvrier se sert de l’outil, dans la fabrique il sert la machine. Dans le premier cas, c’est de lui que procède le mouvement du moyen de travail; dans le second, il doit suivre le mouvement du moyen de travail. Dans la manufacture, les ouvriers sont les membres d’un mécanisme vivant. Dans la fabrique, il existe, indépendamment d’eux, un mécanisme mort auquel on les incorpore comme des appendices vivants] (pp.70 et 287).

Ce phénomène ressemble fort à une nouvelle forme d’esclavagisme

Le refrain de l’expansion des systèmes d’IA et de l’automatisation des processus, c’est que nous vivons une époque où la collaboration humai n-IA est bénéfique. Mais cette collaboration n’est pas équitablement négociée. Les conditions sont fondées sur une forte asymétrie de pouvoir – peut-on jamais choisir de ne pas collaborer avec les systèmes algorithmiques? Quand une entreprise introduit une nouvelle plateforme d’IA, les employés sont rarement autorisés à ne pas y adhérer. Il s’agit moins d’une collaboration que d’un engagement forcé, où l’on attend des travailleurs qu’ils se requalifient, suivent le rythme et acceptent de façon inconditionnelle chaque nouveau développement technique (p. 72).

Cela se fait au prix d’une “suppression presque totale de l’activité conceptuelle dans l’exécution des tâches” (p. 93)… et dans la foulée des chaînes de production déjà mises en place par Henry Ford. Ce type de processus, désormais planétairement interconnecté, permet à des groupes comme Google de “privatiser le temps de façon centralisée et à leur profit” (p. 97) “TrueTime permet de créer une échelle de temps variable sous le contrôle d’une horloge maître centralisée.” (p. 97). Ce qui mène à la conclusion suivante

Les fuseaux horaires privatisés des centres de données n’en sont que le dernier exemple. L’ordonnancement infra-structurel du temps agit comme une sorte de “macro-physique du pouvoir”, déterminant une nouvelle logique de l’information à l’échelle planétaire. Une tel pouvoir est nécessairement centralisateur, et crée des ordres de signification extrêmement difficiles à voir, et encore plus à perturber (p. 99).

Les “données”: une exploitation dé-personnalisante

Voilà pour une privatisation capitalistique et esclavagiste du temps. Qu’en est-il des “données” dont se nourrissent tous ces systèmes?

Au cours de mes années de recherches sur la construction des systèmes d’IA, j’ai examiné des centaines d’ensembles de données, mais les photos d’identité judiciaire des bases du NIST (“National Institute of Standards and Technology, un des laboratoires de sciences physiques les plus anciens et les plus respectés aux États-Unis, qui fait partie aujourd’hui du Département du Commerce” - p.107) sont particulièrement troublantes parce qu’elles préfigurent le modèle qui était à venir. Il ne s’agit pas seulement du pathos accablant des images elle-mêmes. Ni de l’atteinte à la vie privée, puisque les suspects et détenus n’ont pas le droit de refuser d’être photographiés. C’est que les bases de données du NIST préfigurent l’émergence d’une logique qui a désormais envahi tout le secteur tech: la conviction absolue que tout est donnée exploitable. Peu importe où la photographie a été prise, qu’elle reflète un moment de vulnérabilité ou de souffrance, qu’elle humilie le sujet. Il est devenu tellement normal dans l’industrie de prendre et d’utiliser tout ce qui est disponible que peu de gens remettent en question les politiques sous-jacentes. […] J’estime qu’il s’agit d’un glissement de l’image vers l’infrastructure, où le sens et l’intérêt qu’on pourrait accorder à l’image d’un individu, ou au contexte d’une scène, sont censément effacés dès lors qu’ils font partie d’une masse agrégée au servie d’un système plus large. Tout est traité comme des données à exploiter dans des fonctions, du matériau à ingérer pour améliorer les performances techniques. C’est un des principes fondamentaux de l’idéologie de l’extraction de données (pp. 111-112).
L’industrie de l’IA a favorisé une sorte de pragmatisme sans merci, exploitant les données avec le minimum de contexte, de précaution ou de consentement, tout en faisant valoir que la collecte massive de données est nécessaire et justifiée pour créer des systèmes d’”intelligence” computationnelle rentables. Il en a résulté une profonde métamorphose, où toutes les formes d’image, de texte, de son et de vidéo ne sont devenues que des données brutes pour les systèmes d’IA et où on pense que la fin justifie les moyens. (p. 113-114).
Ces vastes collections sont appelées ensembles de données d’entraînement et constituent ce que les développeurs d’intelligence artificielle nomment ground truth ou “vérité de terrain”.La vérité est donc moins affaire de représentation factuelle ou de réalité consensuelle, et plus généralement un ramassis d’images récupérées sur toutes les sources disponibles en ligne (p. 115).

Une erreur de logique à la base même des créations en IA?

Si toutes les images d’entraînement montrent des pommes rouges et aucune vertes, alors le système d’apprentissage automatique pourrait en déduire que “toutes les pommes sont rouges”. C’est ce qu’on appelle inférence inductive, une hypothèse ouverte fondée sur les données disponibles, par opposition à l’inférence déductive, qui découle logiquement d’une prémisse. Étant donné la manière dont le système a été entraîné, une pomme verte ne sera pas reconnue en tant que pomme. Les ensembles de données d’entraînement sont donc au cœur du processus par lequel la plupart des systèmes d’apprentissage automatique font des inférences. Ils sont le matériau source qu’utilisent les systèmes d’IA pour former la base de leurs prédictions. (p. 116)
Ces ensembles définissent les frontières épistémiques qui régissent le fonctionnement de l’IA et, en ce sens, créent les limites de la façon dont l’IA peut “voir” le monde. Mais les données d’entraînement sont une forme fragile de “vérité de terrain”, et même les plus vastes mines de données ne peuvent échapper aux dérapages fondamentaux qui se produisent lorsqu’un monde infiniment complexe est simplifié et découpé en catégories. (p. 117).

Et si les “données” de base sont des “textes”?

Voilà un terrain où le signataire de la présente chronique a “appliqué l’informatique” durant 50 années de sa vie…et il peut confirmer la parfaite exactitude de la vision de Kate Crawford en cette matière!

Les archives textuelles étaient vues comme des collections textuelles neutres, comme s’il existait une équivalence générale entre les mots d’un manuel technique et la façon dont les gens écrivent à leurs collègues dans des courriels. Tout texte était réutilisable et échangeable, tant qu’il y en avait assez pour entraîner un modèle à prédire avec succès quel mot pouvait suivre tel autre. Comme les images, les corpus textuels reposent sur l’hypothèse que toutes les données d’entraînement sont interchangeables. Mais le langage n’est pas une substance inerte qui fonctionne indifféremment de l’endroit où on la trouve. Les phrases trouvées sur le site d’actualités sociales de Reddit sont différentes de celles qu’ont pu écrire les cadres d’Enron. Les préjugés, les lacunes, les biais dans les textes recueillis sont inscrits dans le système, et si un modèle linguistique se fonde sur les mots qu’on rencontre ensemble, leur provenance a son importance. Il n’existe pas de terrain neutre pour le langage, et toutes les collections de textes reflètent aussi un temps, un lieu, une culture et une politique. De plus les langues pour lesquelles il y a moins de données disponibles ne sont pas servies par ces approches et sont donc souvent laissées sur le côté (p. 123).
Les origines de données sous-jacentes d’un système peuvent avoir une importance énorme, mais trente ans plus tard, il n’existe toujours pas de pratique standardisée pour signaler d’où elles viennent ou comment elles ont été acquises, sans parler des préjugés ou des opinions politiques contenues dans les ensembles de données, susceptibles d’influence tous les système qui viendront à en dépendre” (p. 124)

Et, sur ce dernier point l’Auteure se réfère en note notamment aux travaux de Timnit Gebru que l’on a déjà mentionné.

Et, au-delà du langage, qu’en est-il de la manipulation de l’image?

… en 2009, pour un colloque organisé par ImageNet l’introduction affirmait: L’ère digitale a entraîné une énorme explosion de données. Selon les dernières estimations, on compte plus de 3 milliards de photos sur Flickr, un nombre semblable de vidéos sur YouTube, et une quantité d’images encore plus grande sur la base de données Google Images. […] Avec cette approche ImageNet devint énorme. L’équipe récolta plus de quatorze millions d’images sur Internet, à organiser selon plus de vingt-mille catégories. Les préoccupations éthiques face à cette appropriation ne furent mentionnées dans aucun des articles produits par l’équipe, alors même que plusieurs milliers de ces images étaient de nature extrêmement personnelle et compromettante. […] ImageNet allait donc devenir pour un temps le plus grand usager universitaire du service fourni par Amazon, déployant une armée de travailleurs à la pièce pour trier en moyenne cinquante images par minute selon des milliers de catégories. Il y avait des catégories pour les pommes et les avions, pour les plongeurs et les lutteurs de sumo. Mais il y a aussi des étiquettes cruelles, insultantes et racistes: selon des catégories comme “alcoolique”, “homme-singe”, “dingue”, “prostituée” ou “yeux bridés”. Tous ces termes étaient importés de la base de données lexicale de WordNet et fournis aux crowdworkers pour qu’ils les associent aux images. En une décennie, ImageNet devint un géant de la reconnaissance d’objets pour l’apprentissage automatique et un puissant banc d’essai dans ce domaine. L’approche combinant extraction massive de données sans consentement et étiquetage par des crowdworkers sous-payés allait devenir la pratique courante, et des centaines de nouveaux ensembles de données d’entraînement allaient suivre l’exemple d’ImageNet. (pp. 128-130).

Le tout pour aboutir à une industrie d’extraction de données totalement déshumanisées sur une base contestable.

Des expressions comme “forage de données” ou “les données sont le nouveau pétrole” témoignent d’un glissement rhétorique par lequel les données ont cessé d’être quelque chose de personnel, d’intime, appartenant à un individu qui en a la maîtrise, pour désormais relever davantage de l’inerte, du non humain. Les données ont commencé à être décrites comme une ressource à consommer, un flux à contrôler, ou un investissement dont il fallait tirer parti. La comparaison avec le pétrole se répandit et, même si elle présentait les données comme un matériau brut à extraire, elle était rarement utilisée pour souligner le coût des industries minières et pétrolières: travailleurs asservis, conflits géopolitiques, épuisement des ressources et conséquences s’étendant bien au-delà des durées de vie humaines. (p. 135).
Ceux qui réussissent dans l’économie dominante ont tendance à réussir aussi dans l’économie des données, tandis que les plus pauvres deviennent la cible des formes les plus néfastes de surveillance et d’extraction des données. Quand les données sont considérées comme une forme de capital, alors tout ce qui permet d’en collecter plus devient permis (p. 136)
… les modèles d’apprentissage automatique exigent un flux continu de données. Mais les machines sont asymptotiques, elles n’atteignent jamais la précision totale, ce qui justifie une extraction continue auprès du maximum d’individus possibles, pour alimenter les raffineries d’IA. On s’éloigne ainsi de notions comme celle de “sujets humains”, concept né des débats éthique du 20e siècle, au profit de “sujets de données”, agglomérats de points de données sans subjectivité, ni contexte, ni droits clairement définis (p. 137).

C’est dans ce contexte que l’Auteure rappelle les salutaires mises en garde que faisait Joseph Weizenbaum dès 1976 (notamment dans son livre Puissance de l’ordinateur et raison de l’homme: “le savant et le technologue doivent, par des actes de volonté et d’imagination, s’efforcer de réduire de telles distances psychologiques, de contrer les forces tendant à les éloigner des conséquences de leurs actes. Ils doivent – c’est aussi simple que cela – réfléchir à ce qu’ils sont en train de faire”!
Et l’Auteure d’ajouter:

La collecte de données personnelles pour construire les systèmes d’IA va clairement à l’encontre du respect de la vie privée (p. 143). […] La nouvelle ruée vers l’or de l’IA consiste à clôturer différents champs du savoir humain, du sentiment et de l’action – tous les types de données disponibles - , le tout étant pris dans une logique expansionniste de collecte sans fin. C’est devenu un pillage de l’espace public. […] Le mythe de la collecte de données comme pratique bienveillante en informatique dissimule le déploiement de son pouvoir, protège ceux qui en profitent le plus et les soustraits à toute responsabilité quant à ses effets négatifs (pp. 144-145).

Les données brutes ne suffisent pas. Les principes de classement des données peuvent être biaisés ou insuffisants!

Il manque souvent un questionnement plus fondamental: comment la classification fonctionne-t-elle en apprentissage automatique? Qu’est-ce qui est en jeu quand nous classons? En quoi le classement interagit-il avec le classé? Quelles sont les théories sociales et politiques qui sous-tendent tacitement ces classifications du monde? (p. 151).
C’est dans les classements humains qu’on voit le mieux la politique de classification à l’œuvre. Dans ImageNet, la catégorie “corps humain” se trouve sous la branche Objet naturel →Corps→Corps humain. Ses sous-catégories incluent “corps masculin”, “personne”, “corps juvénile”, “corps adulte” et “corps féminin”. La catégorie “corps adulte” contient les sous-classes “corps féminin adulte” et “corps masculin adulte”. La conjecture implicite est que seuls les corps “masculins” et “féminins” sont reconnus comme “naturels”. Il existe une catégorie “Hermaphrodite” dans ImageNet, mais elle se situe dans la branche Personne→sensualiste→bisexuel, aux côtés des catégories “Pseudo-hermaphrodite” et “à voile et à vapeur (p. 164).
Réduire les humains à des catégories de genre binaire, rendre les personnes transgenre invisibles ou “déviantes”, voilà des caractéristiques communes des schémas de classification en apprentissage automatique. (p. 165).

…et la classification psychologique des personnes à partir de l’examen des données faciales est contraire à ce que l’on sait scientifiquement des “affects” aujourd’hui

… ce que montre incontestablement un examen exhaustif de la littérature scientifique publiée en 2019 sur la déduction des émotions à partir des mouvements faciaux: aucune preuve fiable n’indique qu’on pusse prédire avec exactitude l’état affectif d’une personne à partir de son visage (p. 180).

… et cependant:

Affectiva programme toutes sortes d’applications relatives aux émotions en utilisant les techniques d’apprentissage profond (deep learning) que ce soit pour détecter les automobilistes distraits ou “à risque” ou mesurer la réaction émotionnelle des consommateurs face à la publicité. L’entreprise a construit ce qu’elle appelle la plus grande base de données de réponses émotionnelles au monde: elle est constituée de plus de 10 millions d’expression d’individus recueillies dans 87 pays. Sa collection monumentale de vidéos des gens en train d’exprimer leurs émotions a été étiquetée manuellement par des crowdworkers travaillant au Caire. De très nombreuses entreprises utilisent désormais les produits sous licence d’Affectiva pour développer leurs applications ou services – qu’il s’agisse d’évaluer les candidats dans un processus de recrutement ou l’engagement des élèves en classe – le tout en capturant et analysant les expressions faciales et le langage corporel” (pp. 183-184).
… Puisque les expressions faciales sont culturellement variables, les utiliser pour entraîner des systèmes d’apprentissage automatique reviendrait inévitablement à mélanger toutes sortes de contextes, de signaux et d’attentes (p. 188).

Ekman et Wallace Friesen publièrent en 1978 le Facial Action Coding System (FACS)… Se servir de cet outil de mesure demandait beaucoup d’efforts : selon Ekman, il fallait 75 à 100 heures pour former les utilisateurs à la méthodologie FACS, et une heure pour évaluer et annoter une minute de séquence faciale (p. 195).

…et contre les théories scientifiquement biaisées de Ekman (généreusement sponsorisé par les finances militaires américaines), d’autres scientifiques voient les choses autrement

Arvid Kappas, chercheur en informatique affective, évoque sans ambages le manque de consensus scientifique: Nous en savons trop peu sur les modulateurs sociaux complexes de l’activité faciale, ou d’autres activités expressives, dans de telles situations pour pouvoir mesurer l’état émotionnel de façon fiable à partir du comportement expressif. Ce n’est pas un problème d’ingénierie qui pourrait être résolu par un meilleur algorithme (p. 203).

Et la conclusion d’une étude scientifique très complète sur le sujet, publiée en 2019, nous dit

il est impossible de déduire avec certitude le bonheur d’après un sourire, la colère d’après une moue ou la tristesse d’après un froncement de sourcils, comme tente de le faire la majeure partie de la technologie actuelle en appliquant ce qu’elle croit à tort être des faits scientifiques (p. 204).

Et de conclure ce chapitre

Cela nous ramène aux profondes limites de la capture des complexités du monde au sein d’un unique schéma de classification. Le même problème se répète: le désir de simplifier à l’excès ce qui est obstinément complexe, afin de le rendre computable et de le conditionner pour le marché. Les système d’IA cherchent à extraire les expériences changeantes, intimes, divergents de notre moi corporel, mais seul résultat est une esquisse caricaturale qui ne saurait refléter les nuances du vécu émotionnel dans le monde (p. 209)

Une “affaire d’État” avant tout que l’IA?

C’est le point suivant de l’investigation sur les responsabilités citoyennes par rapport aux développements de l’IA… et d’abord, se rappeler l’histoire

Les agences américaines de renseignement sont la vieille garde du big data. Avec la Defense Advanced Research Projects Agency (DARPA), elles sont les principaux pilotes de la recherche en IA depuis les années 1950. Comme le relate l’historien des sciences Paul Edwards dans Un monde clos, les agences de recherche militaires ont façonné dès le début le champ qui allait devenir celui de l’IA. L’Office of Naval Research (ONR) a en partie financé le premier Summer Research Project on Artificial Intelligence au Dartmouth College en 1956. Le champ de l’IA a toujours été fortement soutenu par l’armée et souvent guidé par des priorités militaires, bien avant qu’il ne devienne clair que l’IA pouvait se développer à grande échelle (p. 214).

L’histoire de la création d’Internet s’articule autour de l’innovation et de la domination militaires et universitaires américaines (voir Abbate, Inventing the Internet, 2000).

Cette réalité se retrouve dans les questions que pose la robotique conçue et utilisée à des fins militaires et de plus en plus pilotée par une IA

L’ex-PDG de Google, Eric Schmidt, présenta la campagne contre le Projet Maven [conçu par le Département de la Défense] comme une “préoccupation générale de la communauté tech face à la manière dont le complexe militaro-industriel utilise notre matériel pour tuer des gens de façon incorrecte…” Ce glissement du débat sur l’opportunité d’utiliser l’IA dans la guerre vers la question de savoir si l’IA pourrait aider à “tuer les gens correctement” “était tout à fait stratégique. Il a déplacé l’attention de l’éthique fondamentale de l’IA en tant que haute technologie militaire vers des questions de précision et d’exactitude technique. Mais Lucy Suchman pense que les problèmes de la guerre automatisée vont bien au-delà de savoir si l’on tue avec précision ou “correctement” (pp. 222-223).

Quand l’État confie au “privé” certaines des tâches qui lui reviennent constitutionnellement!

Une dérive néfaste pour l’humain?

Les relations entre l’État et l’industrie de l’IA vont bien au-delà des armées nationales. Les technologies autrefois réservées aux s-zones de guerre et à l’espionnage sont désormais employées à l’échelle locale: les organismes d’aide sociales aux forces de l’ordre. Cette évolution a été favorisée par l’externalisation de fonctions essentielles de l’État confiées à des prestataires tech. En apparence cela ne semble pas très différent du processus habituel par lequel des fonctions gouvernementales sont sous-traitées avec le secteur privé…. Mai à présent, les formes militarisées de détection de schémas d’évaluation des menaces s’introduisent massivement dans les services et les institutions au niveau municipal (p. 224).

Par exemple :

Palantir s’est fait les dents en travaillant pour le Pentagone et la CIA en Afghanistan et en Irak… Le département américain de la Santé et des Services sociaux utilise Palantir pour détecter les fraudes visant Medicare. Le FBI s’en sert pour ses enquêtes criminelles. Le Département de la Sécurité intérieure a recours pour contrôler les voyageurs aériens et surveiller de près les immigrants (’pp. 226-227).
Comme l’explique Andrew Ferguson, professeur de droit, nous évoluons vers un État où les procureurs et la police pourront prétexter: L’algorithme m’a dit de le faire, alors je l’ai fait, je n’avais aucune idée de ce que je faisais. Et cela se produira à très grande échelle, quasiment sans supervision (p. 228).
Malgré l’expansion massive des contrats gouvernementaux pour les systèmes d’IA, on ne s’est guère demandé si les entreprises privées qui commercialisent ces technologies devraient être tenus pour responsables des préjudices causés quand des gouvernements utilisent leurs systèmes. Comme les gouvernements se tournent très souvent vers des entrepreneurs pour obtenir les architectures algorithmiques de prise de décision, qu’il s’agisse de police ou de protection sociale, des prestations tech comme Palantir devraient pouvoir être accusés de discrimination et d’autres violations. Actuellement, la plupart des États tentent de rejeter toute responsabilité quand les systèmes d’IA pour lesquels ils ont opté causent des problèmes : “Nous ne pouvons pas être responsables de quelque chose que nous ne comprenons pas”! Cela signifie que les algorithmes commerciaux contribuent au processus de prise de décision sans qu’il y ait un vrai mécanisme de responsabilité. Avec le juriste Jason Schulz, j’ai affirmé que les concepteurs de systèmes d4IA qui influencent directement des décisions gouvernementales devraient être considérés comme des acteurs étatiques afin de pouvoir être jugés en matière de responsabilité constitutionnelle dans certains contextes (pp. 230-231).
Et comme le montre la politologue Virginia Eubanks dans Automating Inegality, quand les système d’IA sont déployés dans le cadre de l’État-providence, ils servent avant tout à surveiller, évaluer et limiter l’accès des gens aux ressources publiques plutôt que de moyen d’offrir une aide plus généreuse (p. 238).


En guise de conclusion:

Cette évolution entraîne une vision différente de la souveraineté de l’État, modulée par la gouvernance algorithmique des entreprises, et elle aggrave le profond déséquilibre du pouvoir entre les agents de l’État et les personnes qu’ils sont censés servir. (p. 243).

Une conclusion sans appel : pour comprendre l’IA, nous devons voir les structures de pouvoir qu’elle sert!

L’intelligence artificielle n’est pas une technique computationnelle objective, universelle ou neutre, qui prend des décisions sans orientation humaine. Ses systèmes sont inscrits dans le monde social, politique, culturel, économique, façonnés par des humains, des institutions et des impératifs qui déterminent ce qu’ils font et comment ils le font. Ils sont conçus pour trier, pour amplifier les hiérarchies et pour encoder des classifications étroites. Quand ils sont appliqués à des contextes sociaux comme la police , la justice, les soins de santé et l’éducation, ils peuvent reproduire, amplifier et aggraver les inégalités structurelles existantes. Ce n’est pas un hasard: les systèmes d’IA sont construits pour voir et intervenir dans le monde d’une manière qui avantage surtout les États, les institutions et les entreprises qu’ils servent. En ce sens, les systèmes d’IA sont une expression du pouvoir, qui résulte de forces économiques et politiques plus marges; ils sont créés afin d’augmenter les profits et de centraliser le contrôle pour ceux qui les utilisent. Mais ce n’est généralement par ainsi que nous est contée l’histoire de l’intelligence artificielle. (p. 245).
Ce livre suggère que les véritables enjeux de l’IA sont les systèmes mondiaux interconnectés d’extraction et de pouvoir, et non l’imaginaire technocratique de l’artificiel, de l’abstraction et de l’automatisation. Si nous voulons comprendre l’IA pour ce qu’elle est, nous devons voir les structures de pouvoir qu’elle sert. (p. 252).
C’est un réagencement radical de la vie des citoyens, où les centres de pouvoir sont renforcés par des outils qui voient selon la logique du capital, de la police et de la militarisation (p.258).
…on se focalise généralement sur les fins éthiques de l’IA, sans évaluer les moyens éthiques de son application. Contrairement à la médecine ou au droit, l’IA n’a pas de structure ou de normes de gouvernance professionnelle, pas de définition s et d’objectifs acceptés pour le domaine, pas de protocoles standards pour impose des pratiques éthiques (p. 259).
Pour aller à l’encontre de ce processus, il faut se concentrer sur les intérêts des communautés les plus affectées. Au lieu de glorifier les fondateurs d’entreprises, les investisseurs en capital risque et les visionnaires de la tech, nous devrions commencer par le vécu de ceux qui sont privés de pouvoir, victimes de discriminations, et auxquels nuisent les systèmes d’IA (p. 260).
En rejetant les systèmes qui aggravent les inégalités et la violence, nous bravons les structures de pouvoir que l’IA renforce ordinairement e nous créons les bases d’une société différente (p. 263).

En résumé

Les biais de conception et de mise en œuvre des programmes liés à l’IA (et au deep learning qui y est presque systématiquement lié), se cumulent avec une utilisation majoritairement au service du grand capital de mèche avec les États forcés de recourir à ces entrepreneurs qu’aucune tradition ou règle éthique autre que l’efficacité immédiate et le profit ne guident!
C’est donc à ces niveaux et sous ces angles que le citoyen conscient doit faire porter son action pour des évolutions consciemment plus humanistes ou, simplement, plus “humaines”!