Diverses voix off : Parlez-moi d’IA.
Mesdames et Messieurs, bonjour. Je suis un superordinateur CARL, cerveau analytique de recherche et de liaison.
C’est une machine qui ressent les choses.
On nous raconte n’importe quoi sur l’IA !
Qu’est-ce que tu en dis ? – Moi, je n’en dis rien du tout.
Que la créativité, elle reste du côté de l’humain.

Voix off : Parlez-moi d’IA présenté par Jean-Philippe Clément.

Jean-Philippe Clément : Bonjour à toutes et à tous. Aujourd’hui, on va mesurer à quel point les algorithmes et l’IA peuvent jouer contre l’intérêt général, contre la société. On reçoit un journaliste, essayiste, penseur, pour son dernier livre intitulé Les algorithmes contre la société. Alors, accordez-vous 30 minutes pour interroger une nouvelle fois le phénomène intelligence artificielle au sens large et sur ses aspects sociaux, culturels, éthiques, techniques et très certainement politiques.

Voix off : Cause Commune 93.1 FM.

Jean-Philippe Clément : Vous êtes bien sur Cause Commune, la voix des communs, la voix des possibles. Cause Commune que vous pouvez retrouver sur le Web, cause-commune.fm, et sur son app mobile, que vous pouvez aussi retrouver sur la bande FM 91.1 et le DAB + et en podcast sur votre plateforme préférée. Cette émission vous plaît ? Merci de vous abonner, surtout de prendre trois secondes pour nous mettre cinq étoiles sur Apple Podcasts par exemple, sur Spotify, un petit pouce. C’est notre seule récompense et cela nous fait connaître car, comme vous le savez, ça manipule les algorithmes et...

Voix off : C’est cool de manipuler un algorithme !
Vous écoutez Parlez-moi d’IA.

Jean-Philippe Clément : On le dit souvent ici, depuis un petit moment maintenant, en plaisantant « c’est cool de manipuler les algorithmes ». Mais plus je chemine dans mes dialogues sur l’IA, plus je me dis que ça ne devient pas cool, ça devient vital, en fait, de manipuler les algorithmes. Désormais nous le savons, les algorithmes, l’IA, globalement est partout, elle s’immisce dans tous les interstices de nos vies professionnelles, personnelles, de nos loisirs, de nos relations amicales, familiales, dans notre consommation. Notre invité du jour a particulièrement enquêté dans des champs d’action plus discrets : les champs social et scolaire. Ses révélations sont significatives du nouveau monde algorithmique qui nous entoure. Il a collationné méticuleusement les défaillances, il était déjà venu nous voir pour nous parler de celles de la reconnaissance faciale, il va nous parler des discriminations globales engendrées par un numérique sans limite, orienté profits, et dont l’autoritarisme grandissant se fout de nos libertés publiques et de nos droits. Mais il a peut-être une voie de secours à nous proposer.
Bonjour Hubert Guillaud.

Hubert Guillaud : Bonjour Jean-Philippe. Bonjour à tous.

Jean-Philippe Clément : Bienvenue dans les studios de Cause Commune. Il faut que je change un petit peu la caméra pour ceux qui nous regardent à l’image.
Alors Parlez-moi d’IA, Hubert. Ça y est, c’est définitivement admis, les idéaux hippies californiens du numérique n’étaient que des chimères ?

Hubert Guillaud : En tout cas, on le voit actuellement avec ce qui se passe aux États-Unis avec le fameux DOGE [Department of Government Efficiency>], le département de l’efficacité d’Elon Musk. Je pense effectivement que les idéaux, le rêve d’un Internet différent, solidaire et qui allait pouvoir changer le monde, comme ils disent, se révèlent, en fait, bien éloigné de la réalité.

Jean-Philippe Clément : Il y avait les mythes de la liberté, de la diffusion universelle des savoirs, du dialogue, du débat qui fait grandir l’humain et, en fait, on enlève le rideau et ce sont les GAFAM US qui raflent toutes les données, qui font tourner tout ça. Il y a une espèce de cauchemar, aujourd’hui, quand on regarde tout ça de près.

Hubert Guillaud : Oui, en grande partie, effectivement un cauchemar. On se rend compte que le débat libre et ouvert est beaucoup tributaire de formes d’amplifications algorithmiques qui le façonnent et qui le déforment, voire le transforment, ce qui pose, bien évidemment, plein de problèmes entre les rêves des pionniers et les réalités dans lesquelles nous sommes aujourd’hui.

Jean-Philippe Clément : Vous dites, finalement, qu’on arrive un peu au bout de ce numérique qu’on connaît aujourd’hui et que sa signification, son modèle, c’est l’interconnexion des données.

Hubert Guillaud : Le modèle, ce n’est pas que l’interconnexion des données, ça l’a déjà été en grande partie et ça continue d’être réalisé. Ce qui se passe beaucoup aujourd’hui, et qu’on voit mal, c’est l’interconnexion des traitements, c’est-à-dire des modalités de calcul qui passent d’un endroit à un autre, d’une amplification à une invisibilisation à une autre. En fait, je pense qu’on entre un petit peu dans une dernière phase, une phase ultime du numérique dans laquelle on se rend compte que les utilisateurs n’ont plus du tout la main et que des grands services se sont mis à l’utiliser pour nous, par-devers nous et contre nous.

Jean-Philippe Clément : C’est vraiment la thèse de votre nouveau livre, Les algorithmes contre la société, où vous décortiquez comment on en est arrivé jusque-là. Vous décrivez, en reprenant plein d’études sur le sujet – c’est un écrit d’Hubert Guillaud, il y a donc plein de références et c’est génial : dès qu’on vous lit dans des articles, dans vos newsletters, tout de suite on a la référence de ce dont vous parlez, on peut aller plus loin, il y a une certaine transparence dans la réflexion et dans le partage de cette réflexion. C’est quand même très agréable par les temps qui courent d’arriver à voir plus large qu’une opinion et de voir que c’est étayé derrière.
Vous dites que l’enjeu plateformes, aujourd’hui, finalement ce n’est pas l’utilisateur. Aujourd’hui, les enjeux des plateformes et des algorithmes qui les font fonctionner, c’est leur propre intérêt.

Hubert Guillaud : Oui, c’est le profit. Je dis qu’on est arrivé à un stade de cynisme assez avancé, parce qu’elles n’ont été arrêtées par personne. Juste pour caractériser ce moment, si on reprend on a eu le développement des premières plateformes, qui étaient des recommandations assez simples, des systèmes de mise en relation avec les gens qui se sont peu à peu complexifiés, mais, notamment avec les algorithmes d’abord, puis avec l’intelligence artificielle, dès les années 2010 à peu près, on arrive surtout à une sorte de summum où elles se rendent compte qu’elles peuvent faire à peu près n’importe quoi sans que cela ait de conséquences. Pour moi, la bascule peut être vraiment vue quand Mark Zuckerberg, livide, va au Sénat américain parce qu’il est accusé de 1000 maux sur sa plateforme, de Cambridge Analytica [1] au massacre des Rohingyas, il s’excuse platement et il ne se passe pas grand-chose. Ce n’est pas le seul, ce n’est pas que Meta, etc., on le voit sur d’autres plateformes, sur Google où les financiers ont pris le pouvoir sur les algorithmes, on le voit dans Amazon. Partout, en fait, ils se sont senti pousser des ailes, ils se sont mis à valoriser d’abord et avant tout leur propre profit : le but est devenu de faire des profits, c’est-à-dire de favoriser la publicité au détriment des utilisateurs.

Jean-Philippe Clément : Et ils nous ont enfermés dans ce modèle-là.

Hubert Guillaud : Totalement ! On le voit aujourd’hui, vous êtes tous sur des réseaux sociaux x, y, ce que vous voyez d’abord et avant tout c’est de la pub, vous n’êtes plus connecté aux gens avec qui vous vouliez échanger. Comme dit Cory Doctorow, nous sommes tombés dans l’ère de l’emmerdification [2], on y est vraiment pleinement et il y a effectivement une forme de cynisme très fort qui s’est développé parce qu’elles n’ont été contraintes de rien vis-à-vis des utilisateurs.

Jean-Philippe Clément : Et là-dedans les algorithmes sont partout, finalement, les algorithmess font fonctionner ce système. Vous dites qu’il y en a partout, c’est omniprésent, c’est omnipotent, mais c’est complètement défaillant, en même temps, ça ne marche pas du tout : quand on regarde le résultat par rapport à la pléthore de tous ces moyens techniques, c’est plutôt défaillant.

Hubert Guillaud : Le taux de clics publicitaires n’a pas progressé, il a même diminué depuis le lancement des premières bannières dans les années 90. Tout un appareil est mis en place pour nous servir de la publicité, des engagements défaillants, des propos qui ne veulent rien dire, mais qui est au service de cela. Une petite image, juste un exemple supplémentaire : on voit l’amplification des tweets de Elon Musk qui a racheté Twitter, devenu X sous sa gouvernance ! Il y a eu une image du Washington Post où on voit tous les tweets de Musk et, à côté, tous les tweets des représentants du Congrès américain, quels que soient leurs partis. Et Musk a une envergure mondiale qui lui est donnée parce que sa plateforme l’auto-amplifie d’une manière totalement délirante et défaillante. Et aujourd’hui, on est dans un même rapport dans la financiarisation de ces grands acteurs qui est absolument délirant, les gens ne se rendent pas compte, on parle de 1000 milliards, on ne se rend pas compte de ce que ça veut dire, ce sont des centaines de milliers d’années d’un SMIC dont on parle, c’est énorme !

Jean-Philippe Clément : Et ça participe de leur façon de voir le monde, de voir leurs services et leur pouvoir, finalement.

Hubert Guillaud : Tout à fait. En tout cas, ça renforce leur pouvoir. On est vraiment dans une forme de délire.

Jean-Philippe Clément : Dans ce délire-là, encore une fois, au passage on perd beaucoup de données, on y laisse beaucoup de données tous autant que nous sommes et, finalement, il y a une espèce de jeu où l’algorithme consomme et doit consommer de plus en plus de données pour, entre guillemets, « être de plus en plus efficace ». Et là, encore une fois, vous montrez que non, ce n’est pas parce qu’on consomme beaucoup plus de données que l’algorithme devient plus efficace. Avez-vous des exemples ?

Hubert Guillaud : Deux choses.
Sur les données, on ne se rend pas compte du vol qui est fait, des utilisations qui sont faites de nos données. Je vous invite, chers auditeurs, à aller vous connecter sur un site qui s’appelle theyseeyourphotos.com [3], c’est une petite plateforme, toute simple, où vous pouvez télécharger une photo et qui va vous montrer comment cette photo est analysée par les systèmes d’intelligence artificielle aujourd’hui, une appli que plein de services utilisent, qui s’appelle Google Vision. Elle va vous montrer comment une simple de vos photos est analysée et c’est absolument effrayant, parce que ça raconte n’importe quoi à partir d’une photo que vous mettez. Elle va essayer de vous caractériser selon votre âge, selon votre niveau de revenus, et elle va également caractériser, selon votre profil, des tas d’informations psychologiques très problématiques. Par exemple, j’ai plutôt constaté que dès que vous êtes une femme, que vous mettez une photo, on vous indique que vous avez des problèmes psychologiques ; les hommes sont tous, ou beaucoup, caractérisés comme abusifs et, en plus, on associe à cela des mots-clés publicitaires qui vont influer, derrière, sur le traitement de ces images dans tous les systèmes où vous pouvez les utiliser. En fait, ça montre la grande défaillance de ces systèmes. Ça produit absolument n’importe quoi, personne ne contrôle rien et c’est censé s’appliquer pour tout le monde. Bienvenue dans ce nouveau monde !

Jean-Philippe Clément : Malheureusement, ce sont un peu les logiques qui peuvent être utilisées, notamment sur les services publics français sur lesquels vous avez enquêté, notamment la CAF avec son fameux scoring du contrôle de fraude. Est-ce que vous pouvez nous en dire un peu plus sur ce que vous avez récolté comme informations sur ce sujet ?

Hubert Guillaud : On doit ces informations d’abord et avant tout à l’association Changer de Cap [4] qui enquête depuis 2020 sur les difficultés qu’éprouvent les utilisateurs face à ces systèmes et également aux riches et formidables travaux de La Quadrature du Net [5], encore merci à eux d’être là et de faire un travail que pas grand monde réalise ; il y a également plein de journalistes et de scientifiques qui participent.
Sur la CAF, comment le dire simplement ? La CAF, depuis quelque temps, a mis en place des systèmes automatisés pour essayer de détecter ce qu’ils appellent, ou ce qu’ils ont appelé, la fraude sociale. Quand on regarde un peu précisément, on se rend compte que ce qu’ils détectent ce n’est pas vraiment la fraude sociale, ce sont plutôt les indus, c’est-à-dire le fait que la CAF vous a trop payés à un moment.

Jean-Philippe Clément : Vous n’y avez pas compris grand-chose, vous avez laissé faire et, du coup, voilà.

Hubert Guillaud : En fait, quand on regarde les calculs que fait la CAF, une grande enquête du Monde, étayée par les participations de ceux dont j’ai déjà parlé, a été faite qui montre que cet algorithme de calcul de risques qu’utilise la CAF est foncièrement défaillant : par exemple deux tiers des allocataires accusés de fraude par l’algorithme représentent moins de la moitié des bénéficiaires. Donc, en fait, on cible assez volontairement certains types de profils. Il faut comprendre pourquoi.
Quand vous êtes à la CAF, pour les plus précaires, vos revenus ne sont pas réguliers, contrairement à vous, moi et plein de gens qui avons des revenus très réguliers d’un mois sur l’autre, donc, si vous avez besoin de l’aide de la CAF, celle-ci est calculée de manière assez automatique et très régulièrement. Or aujourd’hui, on a voulu faire passer les aides sociales dans une logique de rapport : on va, de plus en plus, faire un calcul au plus juste pour que les gens n’aient pas d’aide trop longtemps et que les aides soient le mieux formées possible vis-à-vis d’eux. On se rend compte que ça marche très bien pour la plupart des gens.

Jean-Philippe Clément : Quand on est mensualisé ça marche. Si on est dans une logique mensuelle, ça marche à peu près.

Hubert Guillaud : Pour la plupart des gens qui ont des revenus assez réguliers, il n’y a pas de souci, il y a un problème pour tous les gens qui n’ont pas des revenus réguliers et ils sont assez nombreux. Ce sont des gens qui sont dans des difficultés, les plus vulnérables, ceux qui n’ont pas des revenus réguliers, qui ont des revenus une semaine et puis pas pendant d’autres semaines, etc. En fait, dans ce calcul, le problème ce sont les temporalités qui sont déterminées. Or, en voulant faire un calcul de plus en plus immédiat, très temps réel en fait, on passe à côté, forcément, ou on génère des défaillances.
Vous avez des revenus mensuels qui tombent le 28, le 1 ou le 4, mais, quand vous avez des revenus qui ne sont pas réguliers, un va tomber le 28, l’autre va tomber le 4, etc., et il y a des correctifs parce qu’il y a des bouts de calcul d’où une grande génération d’indus qui est due à des formes de correctifs. Ce ne sont pas nécessairement des fraudes. Quand on regarde toutes les études, les fraudes à la CAF, ce ne sont pas les usagers, c’est massivement le fait des organismes entre les médecins et autres, ce ne sont vraiment pas les usagers et on accuse plein d’usagers de fraude et ça a des conséquences très directes pour eux : on leur coupe des aides, on leur demande des sommes qui sont énormes par rapport à leurs revenus.
On est rentré dans une logique où tous les calculs doivent être fluides, automatisés et ça bugue pour des tas de publics qui n’ont pas des revenus réguliers, qui sont en difficulté.

Jean-Philippe Clément : Ceux qui ont étudié ces questions-là mettaient aussi en avant le fait que si le bénéficiaire se connectait fréquemment à l’interface de la CAF, il devenait suspect.

Hubert Guillaud : Oui. Parce que ces systèmes d’analyse d’intelligence artificielle vont utiliser toutes les données de la CAF pour faire leurs calculs. On ne sait pas précisément tout ce qui est utilisé. La Quadrature, Lighthouse Reports qui a établi ce rapport [6], a pu regarder des parties de code ou des parties du système un peu anciennes, etc. Ils ont, par exemple, mis à jour cette information : le fait que vous vous connectiez à la CAF était un facteur d’aggravation du risque. Vu que toutes les données sont prises en compte, celle-ci est une donnée parmi d’autres. Et on se rend compte que oui, les gens qui sont en difficulté se connectent plus souvent à leur espace CAF parce qu’ils veulent savoir quand leurs sous vont tomber et ça devient un facteur de risque.

Jean-Philippe Clément : Donc un premier bel exemple où l’algorithme se retourne contre une logique qui était plutôt bienveillante, qui était plutôt de rechercher de l’aide sociale, qui était plutôt de mettre un peu d’harmonie dans le social. Finalement, l’algorithme se met à être contre cette logique-là et on pourrait même parler presque de harcèlement.

Hubert Guillaud : En tout cas, certaines associations parlent effectivement de maltraitance institutionnelle et maltraitance sociale de certains organismes à l’encontre de certains publics et je pense qu’on en est là.

Jean-Philippe Clément : Toujours pour continuer un petit peu dans les exemples, parce que ce sont ceux que vous avez particulièrement creusés, on peut revenir sur le cas Parcoursup [7], parce que c’est un peu votre champ d’investigation, j’allais dire préféré, peut-être pas préféré, en tout cas que vous connaissez très bien. Qu’avez-vous pu retirer d’informations de cette analyse de Parcoursup ?

Hubert Guillaud : Parcoursup m’a aidé à comprendre comment les calculs sont faits. En fait, sur Parcoursup, les élèves vont être distingués les uns des autres selon les notes, les moyennes qu’ils peuvent avoir. On pourrait développer les limites de ces moyennes et de ces notes, mais passons. Chaque élève va donc avoir une moyenne et cette moyenne va être utilisée pour faire le calcul. Le problème c’est que si on regarde la majorité des élèves, il y a les très bons en haut et les moins bons en bas.

Jean-Philippe Clément : Ceux-là ne posent quasiment pas de problème.

Hubert Guillaud : C’est assez facile, entre celui qui a 19 et celui qui a 9, je peux faire une différence. Pas de souci.

Jean-Philippe Clément : Pas besoin d’algorithme pour ça.

Hubert Guillaud : La difficulté, c’est pour tous ceux qui sont absolument moyens et qui sont très nombreux, en fait, à avoir ces mêmes notes ; ceux qui ont 11 de moyenne générale ou 14 de moyenne générale sont extrêmement nombreux, alors comment les distingue-t-on ?
Si vous et moi devions recruter 25 élèves ayant 14 de moyenne, on n’a pas de moyen de les distinguer, on va donc essayer de préciser le calcul et là c’est le premier biais implicite de tous ces systèmes qui se mettent en place. En fait, on ne prend pas une moyenne à 14,1 ou 14,5, on va mettre une moyenne, dans Parcoursup, à trois chiffres derrière la virgule. On essaye de les discriminer ou de les distinguer le plus possible pour pouvoir mieux les classer, donc, ça va être celui qui a 14,056 par rapport à ceux qui ont 14,057. Effectivement, là c’est plus facile de classer les élèves parce qu’il n’y a pas de doublons ou, en tout cas, il y en a moins. En fait, Parcoursup c’est ça. On classe les élèves et on va choisir celui qui a 14,057 plutôt que celui qui a 14,056. Vous vous rendez compte, vous comme moi, que ça ne veut rien dire ! Il n’y a pas de différenciation scolaire entre ces élèves.

Jean-Philippe Clément : Il n’y a aucune raison au fait qu’il y en a un qui puisse accéder à cette formation alors que l’autre n’y accédera pas.

Hubert Guillaud : Et surtout, quand vous regardez les critères, ce sont donc souvent des critères académiques et la différence va être due à une note de sport alors que vous vouliez faire mécanicien ou quelque chose comme ça. On voit bien qu’on est sur une fragilité même de l’essence des systèmes qui est un calcul où la précision remplace l’objectivité.

Jean-Philippe Clément : Du coup, ça provoque ce que vous disiez : à peu près 40 % de situations problématiques sur Parcoursup, ce qui est quand même énorme et ce qui montre, encore une fois, que le dispositif est défaillant, il ne fonctionne pas : 40 % de situations problématiques !

Hubert Guillaud : Ce n’est pas ce que vous dirait le ministère. Au ministère ils disent, grosso modo, qu’il y a à peu près 15 000 élèves qui n’ont pas de place chaque année, etc. Quand on calcule un peu mieux, comme j’ai essayé de le faire, on se rend compte qu’il y a plein d’élèves qui, d’une année sur l’autre, se remettent dans Parcoursup alors qu’ils ont eu une formation, c’est quand même une grosse part d’échecs, et puis plein d’élèves sont mal calculés, dé-calculés, etc. En tout cas, mon estimation un peu large montre qu’on est plutôt effectivement autour de 40 % d’inefficience dans Parcoursup, ce qui est un très mauvais résultat pour une plateforme de sélection scolaire.

Jean-Philippe Clément : Hubert, merci pour ces premiers partages. On va faire une petite pause musicale. Ici, on a un morceau un peu fétiche du groupe Cause Commune, qui n’a rien à voir avec la radio et qui s’appelle, bien sûr, IA et vous allez voir, ça parle de nos sujets. On écoute tout de suite Cause Commune, IA.

Pause musicale : IA par Cause Commune.

Jean-Philippe Clément : Merci le groupe Cause Commune.
Vous êtes bien sur Cause Commune, la radio cette fois-ci, vous êtes bien dans l’émission Parlez-moi d’IA avec Hubert Guillaud qui vient nous présenter son dernier livre Les algorithmes contre la société.
Reprenons un peu notre échange, Hubert. On croise aussi, dans votre livre, des mots que je ne connaissais pas et j’espère que vous allez me les expliquer.

Hubert Guillaud : Je l’espère aussi.

Jean-Philippe Clément : Le lumpenscorétariat. Qu’est-ce que c’est ?

Hubert Guillaud : Lumpenscorétariat est une référence au lumpenprolétariat [8] de Marx, les ouvriers de la plus basse classe sociale. Aujourd’hui, on pourrait parler des chauffeurs et des livreurs à vélo de Uber Eats ou de Uber et de toutes les autres plateformes, ce sont eux le lumpenprolétariat d’aujourd’hui. Le lumpenscorétariat ce sont ceux dont on parlait tout à l’heure, en fait les mêmes. Ce sont les femmes seules qui sont sur-ciblées par l’algorithme de la CAF, dont les enfants, parce qu’elles sont en difficulté, vont aussi être minorés dans les algorithmes de Parcoursup, etc. En fait, on se rend compte que les gens qui sont mal calculés le sont assez souvent partout, pour les mêmes difficultés, parce qu’ils ne rentrent pas dans la norme, ils ne rentrent pas dans la moyenne des calculs : vous n’avez pas un salaire correct, vos enfants ne font pas des études normales, par exemple ils sont en bac pro plutôt qu’en bac général, donc ils vont être un petit peu désavantagés, voire beaucoup désavantagés dans les bases de calcul, etc. C’est Marion Fourcade, si je ne me trompe pas, qui a initié ce concept et je le trouve vraiment extrêmement éclairant. C’est ce qu’on voit quand on regarde tous ces calculs. Il y a des gens qui sont mal calculés et, bien évidemment, ce sont toujours les mêmes : les plus vulnérables, ceux qui sont le plus en difficulté et qui sont rendus encore plus en difficulté parce que ces calculs s’abattent sur eux de multiples façons.

Jean-Philippe Clément : Et des calculs qui sont liés à l’austérité, qu’on essaye de faire peser sur ces services sociaux, sur ces services publics et on essaye d’en tirer une efficacité la plus forte, mais qui est fausse en fait.

Hubert Guillaud : Quand on regarde par exemple chez Pôle emploi. Il y a un livre de sociologues sur le contrôle du chômage [Chômeurs, vos papiers !] qui montre qu’on a beau sur-contrôler les chômeurs, ça ne change pas grand-chose à leur sort, ça ne les aide pas à trouver du travail et, au contraire, ça les désavantage. On est justement là-dessus dans ces systèmes : on va se mettre à sur-contrôler des gens qui sont en difficulté financière sans que ça les aide. On limite leurs aides encore plus et, en fait, on les met dans la panade.

Jean-Philippe Clément : Donc, encore une fois, on joue contre la société.

Hubert Guillaud : En tout cas contre une partie de la société.

Jean-Philippe Clément : Globalement, contre sa cohésion finalement, contre son équilibre et contre, derrière, des ressentiments, peut-être aussi d’une certaine façon, de ces personnes vis-à-vis de la société. Tout cela, ce sont un peu des conséquences en cascade.
Vous parliez aussi, je ne connaissais pas cela et c’est vrai que c’est assez fort, des plateformes qui aident à fixer les bons prix dans un secteur d’activité, l’immobilier, les matières premières, mais aussi, maintenant, dans tout ce qui est grandes surfaces ; elles vous aident à mieux fixer les prix. Finalement, il n’y a plus un prix public, il y a un prix un peu à la tête du client, un peu par rapport à une géographie, par rapport à une situation. C’est fou cette histoire !

Hubert Guillaud : Pour l’instant, je ne sais pas si on en trouve encore beaucoup chez nous parce qu’on a des modes de régulation qui sont plus développés qu’aux États-Unis. En tout cas, on voit cette tendance d’une manière assez forte aux États-Unis et pas seulement. L’un des exemples assez parlant, qui va parler à tout le monde : vous avez l’appli McDonald pour commander vos burgers, donc vous pouvez commander avec et aux États-Unis, je précise, cette appli est dopée aux données que vous utilisez. C’est une appli comme toutes les autres, que vous avez sur votre téléphone, elle a plein de données sur ce que vous faites, elle a des données venant des autres applis parce que vous l’avez autorisée à regarder toutes les données et on se rend compte que le prix des burgers peut varier de quelques centimes,, notamment, par exemple, lors des jours de paye, il va pouvoir varier avec la météo, etc., et vous n’allez pas vous en rendre compte. En fait, vous payez sur votre appli, vous ne voyez pas si le burger est à 3,41 ou à 3,42, ça ne change pas grand-chose. Mais aujourd’hui, avec l’utilisation des données et l’utilisation de ces systèmes, on peut faire varier les prix, il n’y a plus de prix public affiché, d’autant plus que vous utilisez votre smartphone tout seul, juste pour commander et payer. Est-ce que vous réalisez que le prix n’est pas toujours le même ? C’est un petit peu difficile, personne n’y fera pas attention et c’est, bien sûr, encore plus le cas dans tous ces magasins en ligne qu’on peut utiliser.
Aux États-Unis, on commence à constater que plein de prix sont déterminés en utilisant vos données personnelles pour vous distinguer les uns des autres. En fait, le prix public que vous aviez avant, dans les magasins, a tendance à disparaître sur Internet. Quand vous commandez quelque chose sur Internet, est-ce que vous voyez le même prix que votre voisin ou que votre compagne ou qui que ce soit ? En fait, on n’en sait rien, on ne le voit même pas en tant qu’utilisateur.

Jean-Philippe Clément : Et la conséquence est juste une conséquence inflationniste, globalement, puisque ça va tirer beaucoup plus le prix vers le haut pour essayer de récupérer le plus de profit sur le produit.

Hubert Guillaud : Tout à fait. C’est ce qu’on a vu un petit peu avec la crise Covid, d’une certaine manière, même si on a accusé d’autres modalités. On le voit aujourd’hui beaucoup sur les logements aux États-Unis. Je ne sais pas si vous avez vu, aujourd’hui il y a une pénurie d’œufs aux États-Unis, tout le monde dit que c’est la faute de la grippe aviaire, etc. Les meilleures études disent « non, visiblement il y a des gens qui cherchent à augmenter les prix. »

Jean-Philippe Clément : Il y a des ententes.

Hubert Guillaud : Il y a des possibilités d’ententes via les outils marketing dopés à l’IA que toutes ces entreprises utilisent contre nous.

Jean-Philippe Clément : Le livre regorge de ces exemples et heureusement, pas comme certains autres auteurs. Je vous parlais, hors antenne, de Kate Crawford et de son Contre-atlas de l’intelligence artificielle qui fait 400 pages pour nous dire à quel point l’intelligence artificielle est vraiment nauséabonde pour la société.

Hubert Guillaud : C’est un très bon livre quand même.

Jean-Philippe Clément : C’est un très bon livre que vous nous avez fait découvrir, c’est aussi grâce à vous qu’on connaît ce livre, mais qui nous laisse un peu sans conclusion. Soit on éteint, on met le bouton sur off, soit on ne fait rien d’autre. Et là, non, vous nous faites quand même une conclusion avec des propositions de calculer autrement. On peut utiliser l’IA, on peut utiliser les algorithmes, on peut essayer d’en faire quelque chose pour la société. Quelles sont vos recommandations pour essayer d’améliorer un peu le système, que ça puisse quand même fonctionner pour la société ?

Hubert Guillaud : Il faut que je m’en souvienne parce qu’il y en a plusieurs.
Déjà calculer autrement.

Jean-Philippe Clément : Changer la logique.

Hubert Guillaud : Changer les logiques de la CAF, changer les logiques de Parcoursup.
Par exemple, des jeunes Américains qui ont à peu près les mêmes problèmes que nous se demandent pourquoi c’est calculé comme ça et pourquoi les écoles ne prendraient pas les élèves selon les taux de candidature qu’elles ont. Par exemple, s’il y a 25 % de très bons élèves, elles doivent prendre 25 % parmi ces très bons élèves et s’il y a 40 % de mauvais élèves, elles doivent prendre aussi 40 % de mauvais élèves. C’est un changement du paradigme de la méritocratie telle qu’on la connaît, qui ferait du bien à des tas de grandes écoles, si elles se mettaient à adapter ces algorithmes. Par exemple, Sciences Po Bordeaux essaye de prendre plus d’élèves des quartiers difficiles, etc., mais prend quand même les meilleurs élèves des quartiers difficiles. Si Sciences Po est une si bonne école, si ses méthodes d’éducation sont si bonnes, pourquoi n’ouvre-t-elle pas ses portes à des moins bons élèves ? C’est une vraie proposition que vous pouvez retrouver à des tas d’endroits.
On peut changer les méthodes de calcul, le problème c’est qu’il y a très peu de contre-propositions aujourd’hui, parce que, quand on a une méthode de calcul qui fonctionne, on la garde. Parcoursup est encore un bon exemple : depuis 15 ans, de APB [Admission Post-Bac] à Parcoursup, on utilise grosso modo les mêmes techniques de sélection défaillantes.

Jean-Philippe Clément : On ne l’a pas dit, mais, pour pouvoir corriger, il faut avoir accès au code source, il faut être un peu plus transparent dans la manière dont c’est calculé. Du coup, la première recommandation c’est d’ouvrir, mais aussi laisser un peu chacun pouvoir proposer des choses diverses.

Hubert Guillaud : Ouvrir le code, etc., ça ne parle qu’aux spécialistes. Pour moi, l’un des grands enjeux aujourd’hui de tous ces systèmes c’est « ce n’est pas pour nous sans nous », c’est-à-dire qu’il faut que les usagers soient dans les systèmes et qu’on ne fasse pas des choses contre eux, sans eux. Il n’est pas normal aujourd’hui qu’à la CAF, dans Parcoursup – Parcoursup encore une fois, très bon exemple – les élèves ne soient représentés nulle part. Le système a été calculé, mis en place par le ministère, mais où sont les élèves en difficulté ? Où est-ce qu’on peut contester les systèmes, etc. ? Je pense que les grands systèmes qui ont un impact sur la vie des gens doivent avoir aujourd’hui – appelez-les comme vous voulez, des jurys citoyens, des comités d’éthique– des usagers. Les usagers doivent être là, ce sont eux qui font remonter les problèmes. Quand Changer de Cap fait son enquête sur les problèmes de la CAF à qui pose-t-elle la question ? Aux usagers. Ce sont eux qui font remonter les problèmes. La même chose quand la Défenseure des droits regarde aujourd’hui la plateforme de dématérialisation des droits des étrangers, quand elle s’intéresse au problème, elle va voir les usagers et eux lui font remonter les vraies difficultés.

Jean-Philippe Clément : Du coup, vous n’avez pas forcément abordé les initiatives faites par les collectivités qui ont essayé de donner la parole aux citoyens sur la manière d’utiliser l’IA dans les services publics. Est-ce que ça vous paraît quand même être une piste intéressante ?

Hubert Guillaud : Bien sûr. Dès qu’on génère du débat et de la discussion – et on en a besoin sur tous ces systèmes qu’on ne comprend pas parce qu’ils sont compliqués –, il y a besoin d’organiser et des formes de médiation et des formes de discussion. La difficulté, quand on regarde aujourd’hui toutes les formes de discussions qui sont faites, ce sont, par exemple, les collectivités et c’est super tout ce qu’elles font auprès des citoyens, mais ça n’impacte pas les systèmes, c’est-à-dire que les ingénieurs qui développent ces systèmes ne sont pas présents dans ces groupes de travail, donc ça ne matche pas.

Jean-Philippe Clément : Je comprends.
Si on revient sur ce qu’on vient d’évoquer sur l’open source. Certes, c’est un débat technique, c’est pour les techniciens, mais c’est quand même important d’essayer de pousser le fait que ces dispositifs soient le plus ouverts possible, qu’on essaie de sensibiliser les utilisateurs au fait qu’ils utilisent ces outils-là manière ouverte, qu’ils puissent voir à la fois les données qui sont entrées, les algorithmess qui sont utilisés.

Hubert Guillaud : Bien sûr. Je ne dis absolument pas que c’est négligeable, au contraire, c’est essentiel. Aujourd’hui, la difficulté, dans tout ce que je vous raconte, c’est qu’on ne voit rien ni en tant qu’utilisateur, ni en tant que spécialiste, etc. Cette ouverture est préalable, elle est nécessaire, elle ne sera pas suffisante, c’est ce que j’affirme : pas d’ouverture sans la participation des gens. Il faut non seulement qu’ils comprennent, mais il faut qu’ils puissent agir.

Jean-Philippe Clément : Du coup, dans l’action, je vous fais mes éléments d’étonnement, encore une fois, j’attendais cette conclusion. Quand on lit tout le livre, on se dit qu’on est d’accord avec tout, il n’y a pas de problème, mais on attend quand même un tout petit peu une lueur d’espoir en se demandant comment on va pouvoir faire pour faire en sorte que ces dispositifs techniques, qui ont des apports quand même sociétaux, on le sait, dans la santé, il y a aussi des endroits où il y a de l’apport, malgré tout, Hubert, mais on attend le moment où ça va pouvoir être dit. Je me suis demandé pourquoi, finalement, on ne ferait pas aussi un peu la guérilla aux algorithmes. Quand on manipule ces algorithmes qui ont des logiques, peut-être, encore une fois, que ce n’est pas assez systématique, ça n’a pas assez de portance, mais on pourrait quand même imaginer sur les réseaux sociaux, sur les logiques de plateforme, des mouvements où on essaye de tordre un petit peu le bras aux algorithmes parce qu’on comprend comment ils fonctionnent ? Que pensez-vous de cela ?

Hubert Guillaud : Je pense qu’on ne comprend pas très bien. Pour moi, cette idée de guérilla est impossible, en fait, on ne maîtrise plus rien. Sur X, par exemple, sur l’amplification qui est en cours, vous avez beau essayer de vous battre, vous ne pouvez rien faire en tant qu’utilisateur individualisé, encore moins même dans un système de paiement sur une plateforme en ligne. Vous n’avez accès à rien, vous ne comprenez même pas ce qui vous est adressé, comment. On essaye de faire semblant, on essaye de comprendre, mais, la plupart du temps, on passe à côté de ce qui est fait, d’autant plus que ces systèmes se transforment sans arrêt, ils s’améliorent en continu, ils sont tout le temps remis à jour, etc.
Je pense que la guérilla est aujourd’hui une fausse réponse à un vrai problème. La vraie réponse c’est de la régulation, c’est faire entrer les utilisateurs partout où ils sont impactés, c’est de l’ouverture, de la transparence et des alternatives.

Jean-Philippe Clément : J’aurais tenté, mais je suis assez d’accord avec vous, à un moment donné la régulation doit être la plus forte sur ces sujets-là. En fait, il faut tout simplement, vous le dites en conclusion dans le livre, des règles plus strictes et des règles plus strictes notamment dans la protection des données et, finalement, un droit qui n’existe pas vraiment, c’est la protection au calcul, la protection des calculs, des personnes vis-à-vis des calculs. Comment met-on ça en place ?

Hubert Guillaud : C’est le défi de ces prochaines années. Je pense qu’il y a des tas de modalités possibles ou sur lesquelles nous devons réfléchir collectivement. Je ne suis pas là pour dire « c’est comme ci et c’est comme ça », j’essaye d’appliquer ce que je défends, donc je pense qu’il faut qu’on regarde à plusieurs, qu’on regarde ensemble, en tant que société, ce qu’on veut. Il y a des tas de formes de calculs qu’on doit, qu’on peut limiter et on doit trouver les modalités pour le faire ensemble. On a eu le Règlement général sur la protection des données [9] que je défends vraiment, qui a aussi beaucoup de lacunes parce qu’on voit bien que c’est d’abord un règlement général de circulation des données avant d’être un règlement de protection, même s’il nous protège un peu plus et nous sommes parmi les plus protégés au monde par rapport aux Américains ou à d’autres pays. Reste que, malgré tout, des tas de données sont disponibles et surtout, on n’a pas beaucoup, aujourd’hui, de moyens d’action sur les traitements qui sont faits par-devers nous et je pense que là il faut sévir et il faut regarder quels types de traitements sont possibles et lesquels doivent être interdits.

Jean-Philippe Clément : Donc une v2 du RGPD et de ce qui va avec.

Hubert Guillaud : Oui.

Jean-Philippe Clément : Du coup, on aurait la chance de pouvoir remettre un petit peu d’énergie dans cette démocratie. Je me suis un peu arrêté sur une citation de Jacques Ellul, de 1954, que vous avez reprise : « Tout ce que la technique gagne, la démocratie le perd », toujours l’efficacité de Ellul. On comprend bien, effectivement, notamment quand la technique, en plus, est entre les mains de gens qui font, pour le coup, de la politique, du coup, ils attaquent par le même biais la démocratie qui va avec et là c’est particulièrement signifiant par les temps qui courent !

Hubert Guillaud : Entièrement d’accord.

Jean-Philippe Clément : Merci beaucoup, Hubert, pour cette découverte de votre nouveau livre Les algorithmes contre la société. Vous retrouvez les liens sur la fiche de description de l’émission.
On vous retrouve aussi sur le site et la newsletter de Dans les algorithmes, le média de l’association Vecteur [10] que vous animez également. Et puis on peut vous croiser, potentiellement, sur la lettre d’information du Conseil national du numérique. Voilà tous les endroits où on peut vous retrouver.
Merci beaucoup pour ce partage. Courez, allez vous procurer ce livre, c’est une mine sur tous ces sujets avec des centaines de références. C’est vraiment le livre à lire sur ces sujets, n’hésitez pas.
Merci Hubert.

Hubert Guillaud : Merci Jean-Philippe.

Jean-Philippe Clément : Et merci à vous, chères auditrices et chers auditeurs. N’oubliez pas de liker cet épisode, ça manipule l’algorithme et c’est vital de manipuler les algorithmes. Courez acheter le livre d’Hubert et à bientôt.
Restez sur 93.1 FM sur Cause Commune où vous pouvez, par exemple, aller écouter une émission comme Chemins de traverse, une émission qui a déjà plusieurs dizaines de numéros et qui marche très bien.
À bientôt.