Manipulations mentales

Christopher Wylie, Mindfuk. Le complot Cambridge Analytica pour s'emparer de nos cerveaux, Paris, Grasset, mars 2020 ISBN 078-2-246-82473-2 – titre anglais: Mindf*k:Cambridge Analytica and the Plot to break America (2019).

Ce livre est un bon témoin de l'ampleur possible des manipulations mentales que permettent aujourd'hui les technologies numériques quand elles sont utilisées de façon massive à l'insu des personnes et dans l'esprit des grandes traditions de la plus classique “propagande” telle qu'elle s'est développée surtout après la première guerre mondiale (voir: Jacques Ellul, Histoire de la Propagande, PUF, 1967) et telle qu'elle est utilisée à des échelles peu imaginables dans toutes les stratégies de “publicité” actuelles!

Fuk est un mot vulgaire pour dire “baiser”! Bordel d'esprit! Putain d'esprit!? Mais le cœur du témoignage publié sur 492 pages est déjà clairement exprimé aux pages 20-21:

L'histoire de Cambridge Analytica montre comment nos identités et nos comportements sont devenus de simples marchandises sur le juteux marché des données. Les entreprises qui contrôlent le flux de l'information sont parmi les plus puissantes du monde; les algorithmes qu'elles ont conçus en secret influencent les esprits, aux États-Unis comme ailleurs, d'une manière encore inimaginable il y a peu. … Parler de mon travail à Cambridge Analytica revient à exposer la face obscure de l'innovation technologique. 

Influencer les choix politiques

Premières expériences et débuts de travaux coïncident avec la campagne présidentielle de Barak Obama (USA):

…Le cœur de la campagne d'Obama c'étaient les données. … L'infrastructure traitant toutes ces données était alors fournie par le Voter Activation Network, Inc. (VAN), une entreprise dirigée par un merveilleux couple gay des environs de Boston ... et, à la fin de la campagne de 2008, grâce au VAN, le comité National Démocrate disposait de 10 fois plus de données sur ses électeurs que lors de la campagne de 2004. …Une fois que j'ai compris les bases, je suis passé des pétales aux personnes. VAN était rempli d'informations sur l'âge, le genre, le revenu, la race, la propriété immobilière – et même les miles collectés ou encore les abonnements presse. Avec les bons inputs de données, vous pouviez prédire si les individus allaient voter pour les Républicains ou pour les Démocrates. Vous pouviez identifier et isoler les problèmes qui, selon toutes probabilités, étaient les plus importants à leurs yeux. Et vous pouviez commencer à concevoir les messages qui avaient le plus de chance de les faire changer d'opinion. ” (pp. 28-30)

Tout cela a un coût. Qui paye?

En échange d'un peu plus de confort, les individus ont accepté de bénéficier de services fondés sur les informations rassemblées par ces entreprises [les GAFAM], en échange de plus d'informations – les données. Ces données ont acquis de plus en plus de valeur: Facebook gagne en moyenne 30 dollars pour chacun de ses 170 millions d'utilisateurs américains. En même temps nous en sommes venus à croire que ces services sont “ gratuits ”. en réalité, nous payons avec nos données, qui sont l'un des éléments clés d'un modèle économique fondé sur la captation de l'attention humaine (p. 33 – voir Interface_2020-janvier 2021 Badr Boussarat, L'intelligence artificielle).

En effet:

… avec l'avènement d'Internet, il est devenu possible d'extraire des marchandises de nos vies mêmes – notre comportement, notre attention, notre identité. Les individus ont été transformés en données. Nous sommes devenus la matière première de ce nouveau complexe data-industriel (p. 34).

Une zone de non-droit 

Et l'un des problèmes c'est que devant ces manipulations, on se trouve, aujourd'hui dans une zone de “non-droit”, hors de portée de la justice et de tous ses instruments traditionnels:

Au cours des nombreuses heures que j'ai passées à témoigner et à communiquer des preuves , j'ai en fait fini par me rendre compte que ni la police, ni les législateurs, ni les régulateurs, ni les médias n'avaient une idée bien précise de ce qu'ils devaient faire de toutes ces informations. Parce que les crimes avaient été commis en ligne plutôt que dans un quelconque lieu physique, les polices n'arrivaient pas à tomber d'accord sur la juridiction dont ils dépendaient. Parce que cette histoire était avant tout une affaire de logiciels et d'algorithmes, de nombreuses personnes levaient les bras au ciel pour signifier qu'elles n'y comprenaient rien. Une fois, après avoir été appelé à témoigner par l'une des nombreuses agences gouvernementales auxquelles j'étais confronté, j'ai dû expliquer le B-A BA de l'informatique à des agents qui étaient tout de même censés être des spécialistes de la cybercriminalité. J'ai gribouillé un schéma qu'ils ont confisqué. Techniquement, c'était une preuve. Mais ils ont dit en rigolant qu'ils le gardaient comme antisèche au cas où on leur demanderait sur quoi ils enquêtaient. …trop marrant, les gars!  (p. 40).

Une des prises de conscience de base porte sur l'informatique elle-même que les personnes ont tendance à mythifier faute d'en comprendre le B-A BA précisément:

Les modèles informatiques ne sont pas des incantations magiques qui permettent de prédire le monde – ils ne peuvent faire des prédictions que s'ils disposent d'une quantité suffisante de données à partir desquelles construire ces dernières. S'il n'y a pas de données dans le système, alors il ne peut y avoir ni modélisation, ni ciblage. C'est un peu comme acheter une voiture de course en oubliant l'essence – même si la voiture est un bijou de technologie, elle n'avancera pas d'un pouce (p. 52). 

Influencer le psychique

L'Auteur a parlé plus haut de nombreux types de données que nous communiquons aux gestionnaires de données qui les traitent comme un matériaux commercial à partir duquel il peuvent faire du profit. Mais ces ingrédients peuvent être, aujourd'hui, associés à des profils psychologiques mis au point par les sciences humaines, notamment, l'école de psychologie de Cambridge à développé, depuis 1980, un modèle typologique nommé O.C.E.A.N. et qui s'applique à tous les types de personnes: Ouverture, Conscienciosité, Extraversion, Agréabilité, Neuroticisme dont on peut assez facilement déterminer l'existence chez une personne à partir d'autres données plus factuelles. Cela va permettre de jouer sur la personnalité des gens:

Le modèle des Big Five était la clef du chiffre des Lib-Dems [Libéraux-Démocrates pour lesquels travaillait alors Chr. Wylie], et in fine, c'est lui qui a fourni l'idée centrale de ce qui deviendrait bientôt Cambridge Analytica. Cette modélisation à cinq facteurs m'a permis de comprendre les gens d'une nouvelle manière. Les organismes de sondage parlent souvent de blocs monolithiques d'électeurs – les femmes, les ouvriers, les gays, etc. Même s'il s'agit bien de facteurs importants dans l'expérience et l'identité des individus, il n'existe pas de vote féminin ou de vote latino. (pp. 68-70).

Cette approche psychologique permet de construire des stratégies:

l'objectif de ces programmes est d'obtenir une asymétrie informationnelle totale vis-à-vis des menaces – c'est-à-dire de posséder assez de données pour que nous soyons en mesure de submerger et de dominer l'espace informationnel entourant nos cibles  (p. 83).

… Il s'agit donc bien d'une attitude d'agression volontaire envers un lot important de population comme les exemples que l'Auteur va donner, notamment pour fausser des élections dans des pays d'Afrique qui vont servir de tests pour des actions du même type en Europe (Brexit) et aux U.S.A. (élection de Trump)! Agression, guerre, attaque: nous sommes donc bien dans une situation de violation du droit des autres! Des actions punissables en justice! 

Modifier la culture des gens pour modifier leurs votes

C'est Steve Bannon (né en 1950) futur conseiller de campagne de Trump qui découvre les programmes de “manipulation culturelle” mis au point par Christopher Wylie et lui demande si l'on peut transférer la chose sur les États-Unis (pp. 117ss).

L'art du hacking consiste à trouver un point faible dans un système et à exploiter cette vulnérabilité. Dans la guerre psychologique, les points faibles sont les défauts dans la manière dont les gens réfléchissent. Si vous essayez de hacker l'esprit de quelqu'un, vous devez identifier ses biais cognitifs et les exploiter  (p. 125).

Nix [patron mégalo de Wylie à Cambridge Analytica], Bannon [voir ci-dessus], et Mercer [gros investisseur dans ces domaines] étaient tous trois fascinés par Palantir, l'entreprise de data-mining de Peter Thiel dont le nom était une référence à la boule de cristal, ou “pierre de vision”, du Seigneur des Anneaux de J.R.R. Tolkien. À l'époque, j'avais l'impression que ces hommes voulaient créer leur propre Palantir privé en investissant dans SCL [Strategic Communication Laboratories, firme dépendant de l'Intelligence britannique dans laquelle Wylie est engagé en juin 2013]. Imaginez les possibilités pour un investisseur comme Mercer: prédire ce que les gens achèteront ou n'achèteront pas dans le futur, le tout dans le but de gagner de l'argent. Si vous disposez d'une “ pierre de vision ” pour toute la société et que vous pouvez anticiper un crack, vous pouvez gagner des milliards en une seule nuit  (p. 157).

L'investissement de Mercer servit à financer une nouvelle ramification de SCL, que Bannon appela Cambridge Analytica. Je ne peux qu'imaginer ce qu'auraient pensé Bob et Rebekah Mercer s'ils avaient pu voir de leurs yeux la merde [N.B. : le Groupe MERCER, entreprise au capital familial fait sa fortune dans les “recyclages” et gestion des ordures aux U.S.A.] hédoniste que leur argent avait permis de créer (p. 161).

C'est comme ça que j'ai commencé à travailler pour Cambridge Analytica, le projet qui changea l'histoire, fit voter le Brexit, élire Trump, et qui gagna la mort du droit à la vie privée … ” (p. 164).

Même si Cambridge Analytica [(CA)] était une entreprise, j'appris par la suite que son but n'avait jamais été de gagner de l'argent. Le seul objectif de la société était de cannibaliser le Parti Républicain et de remodeler la culture américaine. Pour Mercer, gagner les élections était un problème d'ingénierie sociale. Pour “ réparer la société ”, il fallait créer des simulations: si nous pouvions quantifier la société dans un ordinateur, optimiser le système puis répliquer cette optimisation à l'extérieur du système, alors nous serions en mesure de reconstruire l'Amérique à son image. … À l'époque on m'expliqua que, parce qu'il soutenait une entreprise privée plutôt qu'un Comité d'Action Politique (PAC), Mercer ne tombait pas sous l'obligation de déclarer son investissement comme un don politique: CA s'efforcerait d'influencer les élections sans aucune des restrictions de financement de campagnes qui gouvernent normalement les élections américaines. … SCL Group restait la maison-mère d'une filiale américaine, établie dans le Delaware et appelée Cambridge Analytica. Avec son investissement de 15 millions de dollars, Mercer possédait 90% des parts sociales de Cambridge Analytica et SCL les 10% restants. Ce montage permettait à CA d'opérer sur le sol américain en tant qu'entreprise américaine tout en continuant à bénéficier de la protection que lui accordait SCL en tant que division d'une entreprise britannique ” (pp. 172-174).

La première cible de Cambridge Analytica fut Bannon lui-même. Le site Potemkine incarnait parfaitement le cœur et l'esprit de Cambridge Analytica, qui était passé maître dans l'art de montrer aux gens ce qu'ils avaient envie de voir, que ce soit réel ou non, et, ce, afin de modeler leur comportement – une stratégie si efficace que même un homme comme Steve Bannon put se faire rouler par quelqu'un comme Alexander Nix ” (p.177).

Au printemps 2014, Kogan m'a présenté à quelques-uns de ses collègues du Centre de psychométrie [de l'université de Cambridge]. Les Docteurs David Stillwell et Michal Kosinski travaillaient sur d'importantes quantités de données qu'ils avaient récoltées en toute légalité sur Facebook. … comment les avez-vous obtenues? Leur demandai-je. Ils m'expliquèrent que, grosso modo, Facebook les avait simplement laissé se servir par le biais de l'application qu'ils avaient développée. Facebook veut que des gens fassent des recherches sur sa plateforme. … à chaque fois qu'une personne utilisait leur appli, Stillwell et Kosinski recevaient non seulement les données Facebook de cette personne, mais également de tous ses “ amis ”. Facebook n'exigeait pas des applications qu'elles demandent explicitement leur consentement aux utilisateurs pour que les données de leurs “ amis ” soient collectées, car pour Facebook, être un utilisateur de Facebook équivaut à consentir à ce qu'on se serve de vos données personnelles – et ce, même si les “ amis ” en question ne savent absolument pas que cette application est en train de récolter leurs données (pp. 186-188).

Ce qui a changé

Et, pour comprendre et comparer la zone de non-droit dans laquelle on est engagé, voici ce que Wylie suggère:

Auparavant, la seule manière d'acquérir ce type de données aurait été de passer par votre banque ou votre opérateur télécoms – qui sont tous soumis à une réglementation stricte visant justement à interdire un tel accès à des informations privées. Mais contrairement à un organisme bancaire ou à une entreprise de télécoms, les réseaux sociaux ne sont quasiment assujettis à aucune loi visant à limiter l'accès à des données personnelles extrêmement précises.  (p.191).

Et l'usage généralisé des smartphones amplifie cette réalité:

Ce qui est d'autant plus vrai que de plus en plus d'individus vivent rivés à leur téléphone et connectés en permanence. Cela signifie que, pour un analyste, il n'est parfois même pas nécessaire de poser la moindre question: il suffit de créer des algorithmes capables d'identifier certains motifs dans le flux naturel de données de l'utilisateur. Après quoi le système peut révéler lui-même d'autres motifs dans les données que l'analyste n'aurait sinon jamais remarquées. …Stillwell a montré qu'en utilisant les likes de Facebook, le modèle informatique est imbattable pour prédire le comportement humain. Avec dix likes, le modèle prédit le comportement d'un individu de façon plus fiable que l'un de ses collègues. Avec 150 likes, mieux qu'un membre de sa famille. Avec 300, le modèle connaissait mieux la personne que son propre conjoint. … À certains égards, il est possible d'affirmer qu'un modèle informatique peut connaître les habitudes d'un individu mieux que ce dernier ne les connaît lui-même … une découverte qui a obligé les chercheurs à ajouter une sorte d'avertissement: Le fait que les ordinateurs puissent surpasser les humains dans le jugement de la personnalité présente à la fois des opportunités et des dangers dans les domaines du droit à la vie privée, du marketing et de l'évaluation psychologique (pp. 191-193).

Et cela va toujours plus loin dans l'invasion illégale des aspects privés de la vie:

Ce n'était plus simplement des applis Facebook qui étaient utilisées: Cambridge Analytica avait commencé à se servir d'extensions de navigateurs apparemment inoffensives, comme des calculettes ou des calendriers, pour avoir accès aux cookies de la session Facebook de l'utilisateur qui permettaient ensuite à l'entreprise de se connecter à Facebook en se faisant passer pour l'utilisateur afin de récolter ses données et celles de tous ses “ amis ”. Je tiens à préciser que ces extensions furent toutes approuvées par les processus d'évaluation indépendante de plusieurs navigateurs Web populaires (p. 212).

Car, derrière tout cela, il y a les stratégies des développeurs de Facebook qui privilégient l'engagement de l'utilisateur:

…l'algorithme du site commencera à canaliser des pages et des histoires similaires sur le fil d'actualité de l'utilisateur – le tout pour augmenter son “ engagement ”. Pour Facebook augmenter l'engagement est la seule mesure qui compte: plus d'engagement, c'est plus de temps devant l'écran, et donc plus de temps devant les pubs.  (p. 224).

Une arme de guerre

Et quand cela commence-t-il à être une arme de guerre entre États? L'infiltration d'agents russes dans la campagne électorale qui mènera à l'élection de Donald Trump à la Maison blanche, semble aujourd'hui prouvée. Et voici comment Wylie en évalue la vision de base:

Pour Moscou, les droits civiques et le Premier Amendement constituent les vulnérabilités saillantes du système politique américain. Et, sans surprise, l'État russe cherche à exploiter cette vulnérabilité – à hacker la démocratie américaine. Ce hack est possible, selon eux, car la démocratie américaine est un système par nature vicié. Les Russes ont créé une prophétie autoréalisatrice de chaos social en ciblant et en adaptant leur propagande à des citoyens américains partageant une vision du monde similaire qui, à leur tour, cliqueraient, likeraient et partageraient. Ces récits se répandirent par le biais d'un système fondé sur un droit à la liberté d'expression inaliénable et protégé par la Constitution, et le gouvernement des États-Unis ne fit rien pour les arrêter. Pas plus que Facebook (pp. 284-285).

Comment se protéger?

Au plan personnel, y a-t-il encore moyen de protéger sa vie privée quand on prend conscience de cet espionnage systématique et de l'utilisation de ces données pour influencer toute la vie publique? L'Auteur en a fait l'expérience personnelle! Une douloureuse leçon… à bien retenir:

Je me débarrassai donc de mon téléphone, et mes avocats en achetèrent de nouveaux, vierges de tout contact avec Facebook, Instagram ou WahtsApp. Les conditions générales d'utilisation des applications pour mobile de Facebook demandent l'accès au microphone et à la caméra. Même si l'entreprise s'efforce tant bien que mal de nier qu'elle utilise ces données pour la publicité ciblée, il existe néanmoins une autorisation technique tapie dans notre téléphone permettant à l'entreprise d'accéder à ses capacités audio. …Mais se débarrasser de mon téléphone n'allait clairement pas suffire. Ma mère, mon père et mes sœurs durent tous supprimer Facebook, Instagram et WhatsApp de leur téléphone pour les mêmes raisons. Facebook savait également qui étaient mes amis, où ils aimaient sortir, ce que nous écrivions dans nos messages et où ils vivaient. Voir mes amis devint donc un risque, du moins tant que Facebook avait accès à leur téléphone.  (pp. 409-410).

Et, pour lui, au-delà de l'autonomie personnelle, nous sommes entrés dans la troisième guerre mondiale:

…la guerre pouvait être menée au sol, dans les airs, en mer et, potentiellement, dans l'espace. Mais un cinquième domaine – le cyberespace – est devenu un champ de bataille décisif pour ceux qui furent capables d'imaginer et d'anticiper l'utilisation des réseaux sociaux pour la guerre de l'information. Il est possible de tracer une ligne directe qui part des idées développées par Gerasimov, Chekinov et Bogdanov, qui passe par Cambridge Analytica et finit pas les victoires de la campagne pour le Brexit et de Trump. En, grosso modo, cinq ans, l'état et l'armée russes ont réussi à développer la première de ces nouvelles armes dévastatrices du XXIe siècle (p. 422).

Et, le problème, est que, désormais, toutes nos vulnérabilités sont observées et stimulées par tous les acteurs du cyberespace:

Facebook peut bien dire: si vous n'aimez pas, ne vous en servez pas. Mais il n'existe aucune alternative comparable parmi les acteurs dominants d'Internet, tout comme il n'en existe pas aux entreprises de distribution d'eau, de télécoms ou d'électricité. Refuser d'utiliser des plateformes comme Google, Facebook, LinkedIn ou Amazon revient à s'auto-exclure de la société moderne.  (p. 433).

Que conseiller aux "décideurs"?

Dès lors, le hacker lanceur d'alerte a-t-il l'un ou l'autre avis ou conseil pour infléchir le cours de ces développements d'une société de surveillance qui risque également d'être une société qui va nous “formater” selon des modèles économiques dans lesquels les individus ne sont qu'un moteur pour des rentabilités?

Il y vient timidement à la fin de son livre.

Voici! Et d'abord sur le contrôle de ceux qui construisent et aménagent cet espace public cybernétique:

Les entreprises spécialisées dans les nouvelles technologies ne devraient pas avoir le droit d' ”avancer vite et casser les codes. S'il existe des limitations de vitesse sur les routes, c'est pour une bonne raison: la sécurité des individus. Un laboratoire pharmaceutique ou une entreprise aérospatiale ne peut pas mettre une innovation sur le marché sans se conformer en premier lieu à des normes d'efficacité et de sécurité, alors pourquoi les systèmes numériques peuvent-ils être proposés au grand public sans le moindre examen préalable? Pourquoi autorisons-nous les géants du Web à mener des expériences humaines à grande échelle, et ce, seulement pour nous rendre compte que ces entreprises sont devenues si puissantes qu'elles sont incontrôlables? (pp. 466-467).

Et puis, du côté de ceux qui font la Loi:

En suivant l'approche canadienne et européenne considérant le droit à la vie privée comme un problème de conception et d'ingénierie – un cadre appelé ‘protection de la vie privée dès la conception’ privacy by design –, nous devrions étendre le principe de façon à créer tout un code d'ingénierie: un code de la construction pour Internet. Ce code inclurait de nouveaux principes en dehors de la seule protection de la vie privée, comme le respect de la puissance d'agir et l'intégrité des utilisateurs finaux. Un tel code créerait du même coup un nouveau principe – ‘puissance d'agir dès la conception’ agency by design – qui exigerait des plateformes qu'elles utilisent des conceptions augmentant le choix de l'utilisateur. Ce principe interdirait également les dark patern designs, qui sont des conceptions de systèmes courants destinées à délibérément embrouiller, tromper ou manipuler l'utilisateur pour qu'il accepte une fonction ou se comporte d'une certaine façon (p. 471).

Ou, plus largement encore:

Les logiciels, les intelligences artificielles et les écosystèmes numériques ont désormais profondément pénétré nos vies, et pourtant ces appareils et ces programmes que nous utilisons tous les jours ne sont soumis à aucun code déontologique les obligeant à accorder l'attention qu'il convient à leurs impacts éthiques sur les utilisateurs ou la société dans son ensemble… Parmi tous les types de réglementation possibles, un code déontologique pour les ingénieurs informaticiens est probablement celui qui empêchera de faire le plus de dégâts, dans la mesure où il forcera les constructeurs eux-mêmes à évaluer les risques dont sont porteurs leurs travaux avant toute mise à disposition du public, et leur interdira de se dérober à leurs responsabilités morales sous prétexte qu'ils se sont contentés d'obéir aux ordres (p. 473-476).

Conclusion

Les suites judiciaires (et “politiques”) de cette affaire de Cambridge Analytica sont toujours en cours… elles vont probablement converger avec d'autres recherches comme celles qui montraient la “bonne volonté” en ce domaine du géant Microsoft, cherchant à faire “bouger les lignes” dans le domaine de l'appareil législatif américain et international (voir mon compte rendu du livre de Brad Smith, Tools and Weapons, 2019, NAM-IP/INFO, 2019/4).

Éditeur responsable: R.-F. Poswick

• info@knowhowsphere.be
• cib@cibmaredsous.net
• +32 82 69.83.49
• Knowhowsphere Consulting, asbl
  Namur, Belgium