Épisode 3 - Questionner les systèmes

Mathilde Saliou : Pour comprendre comment les dysfonctionnements des machines affectent réellement la vie des personnes, je suis allée rencontrer deux actrices de terrain. Elles se battent pour obtenir plus de transparence sur des outils algorithmiques qui déterminent pas mal de choses : les prestations sociales qu’on reçoit, par exemple, ou les règles qui façonnent certains de nos espaces de débat. Commençons par le domaine public.
On n’en a pas toujours conscience, mais, en tant que citoyens, nos profils numériques peuvent être soumis à des traitements algorithmiques par l’État. Pour comprendre les effets de ces technologies utilisées dans l’administration, j’ai donc commencé par appeler Valérie qui est responsable numérique du collectif Changer de Cap [1] .

Valérie : Changer de Cap est un collectif qui regroupe différentes personnes et associations, qui s’est constitué en 2019 autour de travaux et de réflexions sur la justice sociale et environnementale et également sur les services publics et la transformation de l’État, suite à des témoignages reçus du terrain de personnes qui soit avaient des indus exorbitants, soit se voyaient couper leurs droits CAF sans préavis. Nous avons commencé un travail de recherche et d’analyse sur ce qui se passait, en l’occurrence au sein des CAF, mais, finalement, au sein de nombreux organismes publics, qui a amené à la création d’un groupe spécifique pour travailler sur les enjeux du numérique, avec les conséquences réelles sur les allocataires.

Mathilde Saliou : Aux États-Unis, en 2018, la chercheuse Virginia Eubanks [2] a publié un livre intitulé Automating Inequality, c’est-à-dire « automatiser les inégalités ». Dedans, elle détaillait comment des systèmes algorithmiques, qui sont utilisés partout dans son pays, participaient à accroître la pauvreté de personnes déjà en situation de précarité. Trois ans plus tard, en 2021, un scandale a éclaté aux Pays-Bas. On a abordé le sujet un peu plus longuement dans l’épisode précédent [3]. Pour résumer, il a été démontré qu’un algorithme de gestion de fraude, utilisé par l’administration publique, était discriminant. Ça a fait scandale et le gouvernement a dû démissionner.
Forcément, à ce moment-là, j’ai commencé à me demander dans quelle mesure la France utilisait des systèmes similaires. C’est là que j’ai découvert les travaux que Valérie menait avec Changer de Cap.

Valérie : À l’automne 2021, deux associations membres du collectif nous remontent des témoignages de personnes ayant de plus en plus de difficultés avec leur CAF, avec les coupures de droit, les indus. Nous nous sommes posé la question, évidemment, de savoir si c’étaient des situations particulières ou plus générales. De là, nous avons lancé dans notre réseau un appel à témoignages. Nous avons reçu une bonne centaine de témoignages de personnes qui se trouvaient confrontées à des problèmes et sans interlocuteur, forcément, pour répondre.
Le type de problème, c’était beaucoup des interruptions de droits dans le cadre de contrôles, mais des contrôles qui n’étaient pas forcément annoncés aux gens dès lors que c’étaient des contrôles automatisés et non des contrôles sur place, pour lesquels le contrôleur se déplace au domicile de l’allocataire. On avait aussi beaucoup d’indus, notamment sur les aides au logement, c’est-à-dire que les personnes se voient obligées de rembourser un trop-perçu qu’elles auraient touché de la CAF. Ces indus n’étant, en réalité, nullement expliqués, c’est un courrier type automatique qui dit à la personne que ses droits ont été recalculés et qu’elle doit telle somme. Ça peut aller très loin, ça peut monter au-delà de 20 000 euros, mais sans explications de la part de l’administration.

Mathilde Saliou : Là, on parle de personnes qui se retrouvent à devoir rembourser des sommes sans savoir pourquoi, et des sommes conséquentes, vous l’avez entendu comme moi, parfois, ça grimpe au-delà des 20 000 euros ! Cela dit, à la période dont Valérie me parle, on est encore en pleine pandémie de Covid avec son lot de confinement. Comme ça pourrait jouer sur la qualité des services rendus aux allocataires, je lui demande dans quelle mesure les problématiques qui lui remontent à l’époque sont neuves. Elle me répond en citant les travaux de l’Inspection générale des affaires sociales, aussi connue sous l’acronyme IGAS.

Valérie : Il y avait eu un rapport de l’IGAS, qui date déjà de 2013 [4], où il était effectivement mentionné que 30 % des indus n’était pas le fait d’erreurs des allocataires, mais soit d’un problème de réglementation, soit d’une erreur de la CAF elle-même. Dans tous les cas, c’est à l’allocataire de rembourser. Il se trouve que ce sont des allocataires qui sont souvent en situation de précarité, des personnes qui touchent l’AAH, le RSA ou des APL importantes.

Mathilde Saliou : L’AAH, c’est l’Allocation aux adultes handicapés ; le RSA, c’est le Revenu de solidarité active.

Valérie : Non seulement, évidemment, que ces personnes n’ont plus ces sommes, elles ont pensé les toucher à bon droit au moment où elles les ont touchées, hormis dans les cas, et c’est une autre situation qu’on a repérée, où les personnes sont accusées de fraude, c’est-à-dire de fausse déclaration intentionnelle.

Mathilde Saliou : Si on se place du côté d’une machine, la différence entre erreur et fraude peut paraître minime, les deux correspondent à des écarts par rapport au comportement normal.
Côté humain, vous vous en doutez, c’est une autre affaire. Déjà, une erreur, ça peut signifier qu’on se voit demander de payer des mille et des cents alors qu’on ne devrait absolument pas avoir à rembourser d’argent. Mais en plus, pour les allocataires qui voudraient se défendre d’une accusation de fraude, la procédure est plus complexe que celle dédiée à la correction d’une erreur.

Valérie : En fait, c’est beaucoup plus compliqué dès lors qu’il y a une accusation de fraude, parce que, notamment, on ne peut pas faire de recours amiable, ni demander trop d’explications, sauf à faire valoir, ce que nous défendons aussi, un droit numérique qui est le droit à l’explication d’un calcul algorithmique.

Mathilde Saliou : Ce droit à l’explication des calculs algorithmiques, c’est vraiment un sujet d’importance. C’est demandé aussi bien par des experts techniques que par des juristes pendant les travaux sur l’IA Act [5]. au niveau européen par exemple, que, comme vous l’entendez, par des représentants de la société civile. Pourquoi est-ce que tout le monde demande cette transparence ? C’est assez simple : sans détails sur les données qui ont entraîné la machine, sur la modalité même de calcul et puis sur le reste, c’est difficile de savoir où, quand et comment les résultats attendus par l’allocataire d’un côté et produits par la machine de l’autre ont divergé ; c’est difficile, donc, de savoir où placer la responsabilité ; et c’est difficile, même, de proposer une solution amiable entre l’Assurance sociale, par exemple, et l’allocataire.
Quoi qu’il en soit, Changer de Cap a rapidement compris que, dans les dysfonctionnements de la CAF, il y avait une machine spécifique en jeu.

Valérie : On a repéré rapidement que les publics vulnérables étaient ciblés, donc, on a repéré rapidement l’existence d’un algorithme et d’un score de risque. Chaque allocataire a un score de risque qui est déterminé en fonction de certaines variables. À Changer de Cap, nous ne sommes absolument pas spécialistes du numérique, nous avons donc travaillé avec La Quadrature du Net [6] pour essayer d’obtenir cet algorithme et, surtout, pour essayer de voir les variables qui étaient utilisées pour déterminer le score de risque, puisque, plus il est élevé plus l’allocataire a de chances d’être contrôlé. Ce qui amène un autre phénomène qu’on a vu, c’est la multiplication des contrôles : des allocataires peuvent subir trois ou quatre contrôles dans une même année.

Mathilde Saliou : Là, même si je comprends qu’on est face à des situations difficiles, j’ai besoin d’un récapitulatif sur les contrôles qu’on est susceptible de subir lorsqu’on est bénéficiaire de la CAF. Je demande à Valérie de m’éclairer.

Valérie : Il y a des contrôles automatisés que les allocataires, globalement, ne voient pas passer, c’est-à-dire que les différents systèmes d’information entre les administrations peuvent repérer des incohérences.
Il y a des contrôles sur pièces : la CAF demande des pièces complémentaires ou supplémentaires à l’allocataire, type feuille de paye ou des choses comme ça.
Et il y a les contrôles sur place, qui sont, en réalité, les plus intrusifs. D’une part, parce que le contrôleur se déplace chez l’allocataire, va fouiller sa vie, a beaucoup de droits. C’est un contrôleur assermenté qui a le droit d’interroger les voisins, par exemple, et qui a également un droit de communication, c’est-à-dire qu’il a accès à toute la vie privée de l’allocataire, que ce soit ses comptes en banque, ses factures d’énergie, ses factures de téléphone ou d’eau, typiquement la consommation d’eau pour vérifier qu’elle corresponde à la déclaration du foyer d’une, deux ou trois personnes.
Des gens se sont retrouvés avec 0, y compris lorsqu’ils dépendaient entièrement des minima sociaux, qui se retrouvent donc avec aucune somme d’argent. Des gens ont dû quitter leur logement, ne pouvant plus payer, avec une conséquence sur les personnes elles-mêmes, puisqu’on augmente la grande précarité, sur les associations, aussi, qui pallient, par exemple au niveau alimentaire, et sur les collectivités locales, puisque les personnes qui se retrouvent sans aucun droit vont demander de l’aide, le plus généralement au CCAS de leur ville.

Mathilde Saliou : Les CCAS sont des Centres communaux d’action sociale qui décident, notamment, d’octroyer ou non des aides d’urgence.

Valérie : Pour les indus, la recherche d’indus ou les contrôles, les CAF peuvent remonter à deux ans en arrière et cinq ans en arrière en cas de suspicion de fraude, ce qui fait qu’une personne peut se voir reprocher quelque chose qu’elle aurait perçu – à tort ou à raison, on va pas se prononcer là-dessus – il y a cinq ans par exemple. Quel moyen a-t-elle pour rembourser ?, c’est une autre question qu’on pose. Pour les CAF, le moyen c’est ce qu’ils appellent « les plans de remboursement personnalisés » qui, en réalité, ne sont pas personnalisés du tout parce que ça dépend de barèmes. Une certaine somme est retenue tous les mois sur les prestations de la personne. Partant de là, ces retenues peuvent ne pas laisser aux gens de quoi vivre, en particulier si les retenues sont, encore une fois, sur des prestations vitales, c’est-à-dire qu’une personne qui a droit à 600 euros de RSA peut se retrouver avec 300 euros par mois, 300 euros étant retenus par les CAF. Du coup, il n’y a pas, en réalité, de respect du reste à vivre et ces plans de remboursement sont également automatisés, je précise.

Mathilde Saliou : En décembre 2023, La Quadrature du Net a obtenu le code source de deux systèmes algorithmiques de gestion de fraude tels qu’utilisés par la CAF entre 2010 et 2018. Valérie m’explique ce que ces documents ont permis de comprendre.

Valérie : Nous avons appris qu’il y a effectivement des variables qui font augmenter le score de risque. Ce n’est pas l’algorithme de scoring en cours, qui fonctionne actuellement, qui a été fourni, mais des anciennes versions. Nous savons désormais que certaines variables font augmenter le score de risque, comme le fait d’être au RSA, évidemment, d’être un parent isolé, dans plus de 80 % des cas ce sont des mamans, d’être à l’AAH, avoir l’Allocation adulte handicapé et avoir, en même temps, un travail, un petit boulot à côté. Il y a des variables qui font monter ou baisser le score de risque.

Mathilde Saliou : On entend, dans les propos de Valérie, que l’un des problèmes que pose le système de détection des fraudes de la CAF est qu’il se repose sur des caractéristiques potentiellement discriminantes.
Si la machine estime qu’être parent célibataire est un facteur de risque et que statistiquement – et c’est le cas – les femmes sont la grande majorité de ces profils, la machine catégorise plus spécifiquement certaines femmes comme à risque.
Si la machine calcule qu’être une personne bénéficiant de l’AAH et exerçant un emploi présente un risque plus grand de fraude, de fait, elle cible plus spécifiquement les personnes porteuses de handicap longue durée. Et ainsi de suite.
Outre ces problématiques, Changer de Cap estime que le qualificatif et le but même de ces systèmes techniques sont faussés.

Valérie : On conteste l’idée que l’algorithme, qui donne le score de risque, fasse des contrôles de fraude, pour la simple et bonne raison qu’un algorithme ne peut pas déterminer une intentionnalité. L’algorithme va calculer les aides attribuées par rapport aux aides auxquelles l’allocataire a droit. Pour qu’il y ait fraude, il faut, par exemple, que la fausse déclaration soit volontaire. C’est un algorithme de recherche d’indus, en réalité, non pas de recherche de fraude, et, en plus, il traite le problème à posteriori, c’est-à-dire une fois que la somme a été versée.

Mathilde Saliou : Au-delà des dysfonctionnements du système technique, l’association conteste les décisions politiques derrière son déploiement.

Valérie : On constate, en réalité, que la fraude aux prestations sociales dans les CAF équivaut à 0,39 %, et ce sont des chiffres de la Cour des comptes, des chiffres officiels, 0,39 %, des prestations versées, donc, est-ce que ça vaut le coup d’utiliser tous ces outils informatiques, de déclencher tous ces contrôles, de mettre autant de personnes dans le stress, parce qu’un contrôle sur place c’est très stressant, c’est très intrusif, pour 0,39 %, des prestations, ça équivaut à peu près à 500 millions d’euros, alors que ce sont des algorithmes qu’on ne retrouve pas dans d’autres organismes, y compris à l’Urssaf, aux impôts, etc.
C’est dit, redit par des économistes, par des politiques, par des associations, qu’en réalité on ne recherche pas la fraude là où elle est vraiment. En plus de ça, on met la faute sur les personnes précaires, les personnes vulnérables, par exemple en disant que la fraude sociale équivaut à 12 –milliards d’euros. En réalité, quand on parle de fraude sociale, la fraude aux prestations sociales représente – ce sont des chiffres qui sont sortis récemment dans un rapport sénatorial [7] – 400 millions d’euros dans les CAF, 200 millions d’euros pour l’Assurance vieillesse, 450 millions d’euros dans l’Assurance maladie, pour les montants détectés, alors qu’en réalité il y a 1,2 milliard d’euros de fraude aux cotisations sociales.

Mathilde Saliou : Mi-octobre, avec 15 associations, dont Amnesty International et La Quadrature du Net, Changer de Cap a attaqué le système de détection des fraudes de la CAF devant le conseil d’État. Plus largement, je demande à Valérie ce que son collectif essaye d’obtenir.

Valérie : Faire en sorte qu’il n’y ait pas d’erreurs en amont.
Une des premières choses qu’on demande aussi, c’est l’explication des calculs, l’explication de l’indu, la motivation : pour quel motif j’ai un indu, pour quel motif mes droits sont suspendus, ce qui n’apparaît jamais. Cela nous paraît donc un préalable obligatoire, tout simplement parce que si une personne ne sait pas ce qu’on lui reproche, elle ne va pas pouvoir se défendre. Et ensuite, si l’indu est issu d’une erreur commise par une CAF, que ce ne soit pas reproché à l’allocataire.
Notre position plus large est d’abandonner tout système de scoring qui catégorise les populations sur des variables qui ne sont, en réalité, pas du tout objectives. Ensuite, que chaque traitement automatisé fasse l’objet d’une transparence et subisse des contrôles de légalité, qu’il soit mis à disposition de tout un chacun – un code source d’un algorithme est un document administratif, donc, théoriquement, tout citoyen peut y avoir accès – et que tout soit fait dans la légalité du RGPD [8], du Code des relations entre le public et les administrations [9] notamment, que les traitements automatisés soient publiés, y compris avec leurs analyses d’impact.

Mathilde Saliou : Si on résume, avec Changer de Cap et les autres associations qui tentent d’obtenir plus d’informations sur les systèmes utilisés par la CAF, Valérie travaille à la transparence des algorithmes de service public. Par là, elle œuvre aussi à ce que nous, citoyennes, citoyens, ayons une meilleure visibilité sur les politiques publiques et sur la manière dont celles-ci sont traduites dans des systèmes techniques.
Mais les algorithmes publics sont loin d’être les seuls à influer sur nos vies, que ce soit ceux qui calculent les itinéraires dans nos applications GPS, ceux qui trient et sélectionnent les informations auxquelles on accède via des moteurs de recherche ou des réseaux sociaux. Une large partie de ces systèmes est construite par des acteurs privés. Parmi ceux-ci, le plus souvent, il y a des géants étasuniens que vous connaissez bien : Alphabet, la maison-mère de Google, YouTube et le propriétaire de Waze, Amazon, Uber, ou encore Meta, qui réunit Facebook, Instagram ou Messenger. Or, en France, en 2021, un groupe de créatrices sur Instagram a assigné Meta en justice. Leur espoir, c’était que l’entreprise de Palo Alto rende des comptes sur la manière dont ces outils influent sur le discours public.
Le mieux, c’est que l’une des principales concernées vous raconte. Comme elle parle pas mal de politique, je précise tout de suite que je l’ai rencontrée quelques semaines avant la dissolution de l’Assemblée nationale. À l’époque, nous n’avions aucun moyen de savoir que celle-ci aurait lieu.

Camille Lextray : Je m’appelle Camille Lextray, j’ai 27 ans, je suis activiste féministe et j’ai un compte Instagram qui s’appelle @hysterique_mais_pas_que.

Mathilde Saliou : Camille Lextray s’est lancée dans le militantisme avec le mouvement des Collages. En grandes lettres noires écrites sur des feuilles blanches, ce mouvement affiche, sur les murs de France, les noms des victimes de féminicides et des slogans féministes. Camille relaie leur travail en ligne, mais, assez rapidement, elle s’est cherché un espace où publier ses propres textes. Cet espace, c’est hysterique_mais_pas_que, un nom qui sonne un peu comme un pied de nez à l’accusation d’hystérie parfois envoyée aux femmes qui s’expriment.
L’espace numérique dans lequel elle s’insère avec ce compte est déjà complexe. Tous les courants politiques s’y expriment avec plus ou moins de facilité, mais la modération des plateformes tombe quelquefois de manière brutale. Au début des années 2010, par exemple, un bras de fer juridique s’est engagé entre Facebook et le professeur d’école Frédéric Durand-Baïssas. Ce dernier a accusé la plateforme d’avoir suspendu son compte à cause de la publication de la peinture L’origine du monde de Gustave Courbet. L’origine du monde fait partie de l’histoire de l’art, mais c’est aussi un tableau sur lequel on voit distinctement une vulve et visiblement, à l’époque, ça n’a pas plu à Facebook.
En 2016, un autre cliché est modéré à répétition par la plateforme au point d’émouvoir le grand public. Cette image, c’est le cliché « La petite fille au napalm », une fillette de neuf ans qui court nue pour fuir les bombardements des avions sud-vietnamiens. Le cliché a été pris dans les années 70 par le photographe Kim Phúc et, aujourd’hui, il a plus ou moins valeur de document historique. Résultat : énormément d’internautes étaient dans l’incompréhension complète devant la réaction de Facebook.
Si je vous raconte ça, c’est pour vous montrer qu’il y avait déjà eu pas mal de débats sur les actions de modération de ce réseau social. Mais le moment qui a poussé Camille Lextray, avec d’autres, à poursuivre Meta en justice, est un peu plus récent, il remonte à 2021.

Camille Lextray : Pour moi, le moment où ça commence à se monter en mouvement un peu plus collectif, c’est un moment où, sur Twitter et sur Instagram, la phrase « Comment faire pour que les hommes arrêtent de violer ? » est sanctionnée. J’avais fait une story qui disait « Comment faire pour que les hommes arrêtent de violer », une story que pas mal de personnes reprenaient, et c’est une story qui a été supprimée pour appel à la haine.
On a toujours su qu’il y avait de la censure sur les réseaux sociaux pour diverses raisons, mais, là, il y avait vraiment ce mouvement collectif de « on va continuer à poser cette question », parce que c’est une question qui est importante et ce n’est pas un appel à la haine, c’est que, statistiquement, les personnes qui violent sont des hommes, donc comment fait-on pour que les hommes arrêtent de violer ? Il y avait vraiment cette question : comment fait-on pour dénoncer quelque chose si on ne peut même pas le verbaliser et que le verbaliser est un appel à la haine selon les réseaux sociaux ? Qu’est-ce que ça joue sur nos sociétés ? Comment est-ce qu’on crée un féminisme sans pouvoir désigner les agresseurs ? Etc. Du coup, comment fait-on évoluer les plateformes par rapport à ça ?
Une autre initiative a été de faire une requête auprès de la Défenseuse des droits par rapport à ce sujet-là. J’étais et je suis toujours assez proche de deux avocates. On en a discuté et l’idée de faire une action en justice en parallèle, avec d’autres personnes, est née à partir de ce moment-là.
On a donc fait un appel, tout simplement, pour que des personnes qui se sont vues censurer puissent rejoindre l’action collective. Ce n’était pas nécessairement que des personnes avec des « gros comptes » entre guillemets, c’est-à-dire des comptes avec plus de 5000 followers, il y avait aussi des personnes qui avaient 200 followers et qui avaient pu partager une publication qui était perçue par Meta comme étant un problème. L’idée de cette assignation, c’était vraiment de questionner cette modération : qui la faisait, comment, quelles étaient les règles, quelle était la place de l’algorithme, qui faisait cet algorithme, et quel modèle de société était présenté par cette modération ?

Mathilde Saliou : Si le problème démarre sur Twitter, pourquoi décidez-vous d’attaquer Instagram ?

Camille Lextray : Il y a déjà plusieurs actions en justice, notamment une action, il me semble, de SOS Racisme et d’autres associations antiracistes par rapport à Twitter, sur cette plateforme. En fait, c’est tout simplement que Meta était notre plateforme de prédilection par rapport à ça et que, sur Instagram, beaucoup de comptes ont commencé à parler de politique. C’était censé être un réseau sur lequel, par rapport à Twitter, on subissait moins de haine. Beaucoup de féministes ont fui Twitter et se sont mises à Instagram. Du coup, c’est aussi pour ça, je pense, que c’est Instagram qui a pris cette place dans le féminisme, dans la vulgarisation, dans le partage de connaissances, parce que les effets de bulle faisaient qu’il y avait moins d’attaques possibles de l’extrême droite, bien qu’on reçoive toujours des insultes, etc., mais de manière moins violente que sur Twitter. Du coup, je pense qu’à ce moment-là, les comptes qui pouvaient partager ce genre de contenu étaient sur Instagram et pas sur Twitter.

Mathilde Saliou : Avec leur assignation en justice, Camille Lextray m’explique que le groupe cherchait des réponses à deux sujets.

Camille Lextray : Le premier, c’est la censure en ligne et, le second, c’est la protection, plutôt la non–protection des personnes qui subissent un cyber-harcèlement et des attaques en ligne. Les deux sont un peu en lien, c’est-à-dire qu’on a fait le constat qu’on était facilement censurées sur tout un tas de propos qui, légalement, non seulement n’étaient pas répréhensibles, mais qui, en plus, étaient plutôt progressistes. Quand on allait voir des stories féministes, engagées, ou des posts engagés, on allait se rendre compte que la visibilité de nos posts était limitée et quand on s’exprimait sur certains sujets, on allait être invisibilisées par la plateforme. À l’inverse, quand on recevait des insultes, des menaces de mort, des appels au suicide, etc., là, quand on les signalait à la plateforme, Meta estimait que ça ne contrevenait pas à leurs règles, alors qu’à priori, ça contrevient complètement à leurs règles, parce qu’on n’est pas censé faire d’appels à la haine basés sur le genre, l’orientation sexuelle, etc., que les menaces de mort ne sont pas autorisées, que les insultes ne sont pas autorisées.
On avait donc un peu ce souci-là de comprendre, alors que les règles ne sont pas si compliquées que ça. Dans leur application, on se rendait compte qu’il y avait un monde entre ce qui était dit et ce qui était appliqué, et que ce qui était considéré comme de la haine, pour nous, ce n’en était pas parce que c’était juste développer une pensée féministe et, à l’inverse, ce que nous considérions comme étant de la haine, c’est-à-dire des insultes, des menaces de mort, Meta ne le sanctionnait pas.
On a vraiment eu cette pensée, un peu clé, qui est quelle est la place d’un tel réseau social dans une démocratie ? Comment un réseau peut-il censurer des idées qui ne sont pas haineuses et, à l’inverse, participer à effacer des personnes à cause de la haine en ligne qui n’est pas sanctionnée ? Comment fait-on pour contrecarrer ça par rapport à un réseau social qui a de plus en plus de place et qui, du coup, crée un monde où, en fait, les femmes et les minorités de manière générale s’effacent par peur des répercussions et ne peuvent plus exprimer, dans tous les cas, leurs idées parce que leurs idées sont sanctionnées par la plateforme elle-même ?
Je ne sais pas si tout cela est partagé par toutes les personnes qui ont fait l’assignation, mais, du moins pour moi, il y avait vraiment cette volonté de porter ce sujet aussi en justice. On est dans une démocratie où, aujourd’hui, les gens s’informent sur les réseaux sociaux. On a des médias qui, normalement, sont très contrôlés. L’Arcom [Autorité de régulation de la communication audiovisuelle et numérique] va contrôler la neutralité, l’impartialité des différents médias. On est censé, par exemple dans la presse écrite, d’avoir l’ours avec toutes les informations pour retrouver potentiellement les personnes, donc tenir les médias pour responsables, et on a une carte de presse, etc. En fait, on a quand même de base, en France, un système médiatique qui est fait pour avoir, en théorie, une liberté de la presse et pour assurer une information de qualité où, normalement, on ne peut pas diffuser des fake news, sans répercussion. Le fait est qu’avec les réseaux sociaux on peut et, en période électorale, c’est d’autant plus problématique. Tout le monde est sur les réseaux sociaux, les jeunes générations s’informent de plus en plus via les réseaux sociaux, il y avait cette idée de se dire « OK, il faut qu’on fasse une action qui, potentiellement, pourrait amener à un véritable changement ». Donc, la voie de la justice était potentiellement celle qui aurait pu nous permettent déjà d’avoir des éléments de preuve et d’obtenir des choses matérielles pour prouver qu’en fait on ne délirait pas par rapport à la censure, mais qu’il y avait vraiment un problème derrière et, ensuite, aller sur le volet plutôt des solutions et participer à mettre en avant le fait qu’on avait un problème avec la place des réseaux sociaux dans notre démocratie et avec la manière dont ceux-ci peuvent agir avec la liberté d’expression sans rendre de comptes à personne.

Mathilde Saliou : Est-ce que tu peux me dire qui sont les personnes avec lesquelles tu t’associes quand tu assignes Meta en justice ?

Camille Lextray : Nous sommes une quinzaine de personnes qui avons fait l’assignation. La plupart ont des comptes plutôt militants et engagés sur différents sujets assez variés : LGBT, antiracisme, féminisme, sexpositif, etc. Chaque personne a donc un compte un peu différent. Une ou deux personnes, qui sont dans l’assignation, ont un compte vraiment personnel. Il n’y a pas forcément de ligne éditoriale, on va dire, dans les comptes qui se sont regroupés, ni de discrimination précise, c’est-à-dire que nous ne sommes pas allées que sur des comptes antiracistes, que sur des comptes féministes ou que sur des comptes LGBT+. C’est vraiment une diversité de personnes engagées et voilà à peu près comment ça s’est monté. Ce ne sont pas forcément des gens avec lesquels je parle au quotidien, même pas du tout. En fait, nous sommes vraiment plusieurs personnes à avoir subi une censure et à ne pas avoir été protégées par Instagram en cas d’attaque et de cyberharcèlement. Du coup, nous nous sommes retrouvées suite à l’appel lancé, mais il n’y avait pas un réseau de gens qui se connaissent, du tout.

Mathilde Saliou : Ensemble, ce groupe d’une quinzaine d’internautes a cherché des réponses à plusieurs questions précises.

Camille Lextray : Une des questions, c’était de comprendre comment la modération était faite, par qui ou plutôt par quoi, parce que, assez rapidement, nous nous quand même rendu compte que ce n’étaient pas forcément des êtres humains qui étaient directement derrière les signalements, mais des machines. Pareil sur les contenus qui étaient supprimés, notamment, par exemple les photos. Il y avait déjà eu des histoires auparavant, notamment sur les personnes grosses. Barbara Butch, par exemple, en avait pas mal parlé, avant même l’assignation : en fait, l’algorithme calculait le pourcentage de peau visible sur une photo, donc les personnes grosses voyaient leurs photos supprimées très facilement, bien qu’elles ne soient pas dénudées, là où des personnes beaucoup plus minces, dont la peau prenait effectivement moins de pourcentage de place sur la photo, pouvaient être quasiment nues sans problème. Il y avait donc cette question : quels corps ont le droit d’être visibles ou non ? Pourquoi y a-t-il une censure des corps gros, etc. ?
Il y avait déjà un peu cette idée d’une place de l’algorithme et d’un formatage de l’algorithme qui, finalement, était problématique.
On avait eu aussi d’autres exemples d’algorithmes qui allaient avoir des biais racistes, des biais sexistes, etc. On s’est dit que, clairement, vu le nombre de contenus qui étaient postés chaque jour, chaque minute, chaque heure sur Meta, la modération ne pouvait pas être uniquement humaine, qu’il y avait des algorithmes derrière, donc qu’il y avait un problème dans l’algorithme. Le sujet, c’était vraiment : dans cette modération, quelle est la place de l’algorithme, comment cet algorithme est-il fait et qu’est-ce qui est fait, ou non, pour se prémunir de biais algorithmiques ?
Nous sommes donc allées au tribunal une première fois pour, justement, que nos avocates puissent défendre notre dossier. Du coup, depuis, on est dans le processus de la médiation, on a donc fréquemment des rendez-vous avec Meta, avec différentes personnes qui travaillent chez Meta, pour discuter de tous les sujets de l’assignation. C’est toujours en cours.

Mathilde Saliou : L’effervescence en ligne autour de la question « comment faire pour que les hommes cessent de violer ? », l’assignation de Meta en justice, tout cela remonte à 2021. Depuis, Camille Lextray s’est un peu éloignée d’Instagram où elle publie beaucoup moins souvent. Je lui demande pourquoi.

Camille Lextray : Je m’en suis détachée petit à petit, je pense, pour deux raisons.
La première, c’est que l’algorithme, comme l’algorithme de tous les réseaux sociaux, est un algorithme qui réagit extrêmement bien à la haine, tout simplement. Donc, tout ce qui va être polémique, tout ce qui, du coup, va susciter un émoi, donc va créer de la réaction en chaîne, c’est vraiment ce qui va être mis en avant par les réseaux sociaux et c’était une dynamique dans laquelle je ne m’inscrivais pas forcément et dans laquelle je n’avais pas envie de continuer à être. Je pense que, chez beaucoup de gens, les réseaux sociaux ont un impact énorme sur la santé mentale. Il y a aussi un côté addictif aussi, etc. Je me suis aussi rendu compte de l’impact que les réseaux sociaux pouvaient avoir sur ma vie et ce n’était pas un impact positif.
Il y a aussi, tout simplement, le fait que produire du contenu pour Instagram ne me paraissait plus être intéressant. Les algorithmes – c’est le but de l’assignation – sont faits de sorte que, aujourd’hui, le contenu politique est vraiment invisibilisé. Ce n’est donc pas du tout une plateforme qui favorise ces prises de parole-là, qui va les diffuser et qui va permettre un débat, une diffusion de l’information et un échange d’idées.
En fait, je me suis dit que je n’avais pas forcément d’énergie et de temps à donner à Instagram. Du coup, à la place, j’ai écrit pour moi, j’ai écrit un livre, j’ai fait plein de choses, mais j’ai arrêté d’investir du temps pour Instagram.

Mathilde Saliou : C’est marrant. Camille Lextray a beau être allée assez loin dans la recherche de réponses sur le fonctionnement des réseaux sociaux, elle ne s’y est pas plus attachée que ça. D’ailleurs, peut-être que ça a participé à sa prise de distance avec les plateformes. Mais bon, même si elle a réussi à baisser son usage d’Instagram, ça n’est pas le cas de tout le monde. Je me demande donc si, outre l’évolution de ses propres usages, elle n’a pas remarqué des évolutions dans la gestion des réseaux sociaux.

Camille Lextray : Il y a eu une évolution au niveau du droit par rapport à la modération. Dorénavant, l’Arcom va avoir la mission de surveiller les réseaux sociaux, donc va tenir pour responsables les plateformes des contenus qui sont postés sur leur plateforme. Il y a donc eu une évolution par rapport à ça. Est-ce que, dans les faits, on observe un réel changement sur l’utilisation des réseaux sociaux ? Pas du tout. Par exemple, X, c’est pire qu’avant et, pour le coup, la façon dont X favorise les idées, notamment d’extrême droite, est assez documentée. C’est assez affolant quand on va sur X. Pour le coup, je vais paraître réac, mais je pense que c’est un réseau qui devrait être interdit aux mineurs, parce que moi je vois du porno tout le temps, systématiquement. C’est vraiment une plateforme où il n’y a pas de modération, sachant que c’est vraiment du porno qui, pour le coup, n’est pas un porno indé et qui développe un imaginaire sympa. Non !, c’est vraiment du porno mainstream, hyper-violent. Il y a donc un vrai sujet, notamment sur ce réseau-là, mais aussi sur les idées politiques qui sont diffusées aujourd’hui et à quel point il y a un racisme décomplexé, un sexisme décomplexé sur cette plateforme, des LGBT phobies décomplexées aussi. Donc, ça n’a pas changé, c’est devenu pire.
Sur Meta, personnellement, je n’ai pas observé de changements énormes. Quelques outils sont mis en place, il y a des tests, etc. On est sur des plateformes qui agrègent tellement de contenu par jour que, en fait, c’est aussi un business modèle. En réalité, le nerf de la guerre derrière est moins sur les lois promulguées et les organismes de surveillance, il est plus en interne, sur le budget qui est mis, ou non, pour la modération. Sachant qu’on est sur des multinationales, leur siège social n’est pas en France, c’est, en fait, assez complexe. Soit il y a une interdiction du réseau social, ce que Attal a fait, par exemple, avec TikTok en Nouvelle-Calédonie, mais, autrement, c’est difficile de légiférer pour des réseaux sociaux.
Il y a une responsabilité des plateformes d’investir, sans même qu’une loi soit promulguée, dans la modération, donc dans la protection de leurs utilisateurs et utilisatrices.

Mathilde Saliou : En France, comme au niveau européen, plusieurs lois ont été votées. La plus récente, qui s’applique directement aux réseaux sociaux, c’est certainement le Règlement sur les services numériques [10]. Ce texte liste les procédures d’alerte et de retrait de publications illicites ou illégales à travers toute l’Union européenne et puis il impose aussi de nouvelles obligations pour faciliter la modération, notamment des violences en ligne.
Pour Camille Lextray, outre le travail législatif, il existe d’autres leviers d’action qui permettent de reprendre un peu de contrôle sur l’ambiance du débat public en ligne.

Camille Lextray : Déjà, je pense qu’il faut replacer les réseaux sociaux à la place qu’ils doivent avoir, c’est-à-dire pas une place centrale dans la manière dont on s’informe et dans la manière dont on s’exprime. Je ne pense pas qu’il faille déserter absolument les réseaux sociaux pour la simple et bonne raison que c’est une pensée qui disparaît, ce sont des personnes qui disparaissent. On voit, avec la haine en ligne, que, par exemple, les femmes s’effacent, d’autant plus les femmes racisées et les femmes noires qui sont les plus victimes de haine en ligne ; en fait, ce sont les premières qui vont s’effacer. On est sur une représentation en ligne où on nous dit tout le temps « tout le monde peut parler en ligne, c’est vraiment un espace de liberté », en fait c’est faux ! On est vraiment sur une société qui ne permet pas à certaines personnes d’être visibles parce que c’est s’exposer à trop de violence.
Je ne pense pas qu’il faille déserter ces espaces-là, si on le peut, parce que c’est une forme de résistance de dire : « je reste, je suis visible, je suis présente », mais, encore une fois, c’est vraiment pour les personnes qui le peuvent.
Sur les réseaux sociaux, j’essaye toujours de diffuser des choses que j’aurais envie de voir diffuser. S’il y a une pensée politique contre laquelle je me bats, je ne vais pas diffuser directement le compte ou la parole propre de cette personne-là, je vais potentiellement en faire une analyse critique et la publier dans ma story, etc., sans nécessairement citer la personne, parce que je n’ai pas envie de contribuer à la visibilité et à la viralité son contenu. Ce qui fait que les personnes qui ont vu cette prise de parole vont très bien comprendre ce dont je parle. Pour les personnes qui ne l’ont pas vu, j’écris mon texte d’une manière avec laquelle on comprend mon argumentaire et on n’a pas besoin de savoir de qui émane la parole pour comprendre ce que je raconte. Et si, d’aventure, les personnes tombent sur cette prise de parole-là, elles auront eu l’analyse que j’en ai fait juste avant.
C’est la même chose quand, par exemple, il y avait eu une manifestation en 2020 et un groupe d’extrême droite, qui a été dissous depuis, avait déployé une banderole qui avait circulé partout sur les réseaux sociaux. Il y avait un peu ce questionnement : en fait, concrètement, vu qu’on diffuse leur banderole et leur message, ce message qui, normalement, était assez confiné dans leur petite sphère d’extrême droite, à qui personne ne prêtait trop d’attention, a été diffusé partout, dans tous les milieux, donc a participé, quelque part, à donner une visibilité à ce message-là.
Pour moi, l’idée c’est vraiment de se dire « je ne vais pas participer à diffuser des discours de haine, je vais vraiment les invisibiliser et, à l’inverse, partager toujours une analyse et ne pas contribuer à cette économie du buzz que recherchent toutes ces idéologies de haine. »

Mathilde Saliou : Cette forme de sobriété dans les usages des réseaux sociaux que propose Camille Lextray est intéressante à plusieurs points de vue.
Déjà, Camille se pose la question de la correspondance entre idées politiques et fonctionnement algorithmique. C’est difficile d’avoir une analyse tranchée du phénomène, mais après le succès de l’extrême droite aux élections européennes, beaucoup se sont demandé dans quelle mesure, par exemple, la présence d’un Jordan Bardella sur TikTok avait participé à son succès auprès des jeunes qui sont allés voter. Dans la campagne pour les législatives, on a aussi vu beaucoup de partisans du Nouveau Front populaire appeler à diffuser en masse des arguments et des mèmes sur Internet en faveur de l’union de la gauche. Leur idée, c’était à la fois de diffuser leurs arguments, mais aussi de tenter de faire masse devant ceux des camps qui leur étaient opposés.
Les propos de Camille lextray s’intègrent aussi dans une réflexion sur la protection de la santé mentale face aux usages addictifs du numérique. Elle cherche à reprendre une forme de pouvoir vis-à-vis de ces outils du quotidien.
Je les trouve intéressants aussi parce qu’ils rejoignent un autre souci de sobriété, celui qui est promu au nom de la lutte contre le changement climatique. Le lien entre systèmes automatisés et environnement n’est peut-être pas évident, mais il existe. Et pour rester dans le concret, tout en reprenant un peu de distance vis-à-vis de l’industrie de l’intelligence artificielle, je vous propose qu’on s’intéresse précisément à cela, aux effets que l’intelligence artificielle a sur la planète.
Dans le prochain épisode, on parlera de l’utilité de ces technologies dans la lutte contre le réchauffement climatique et on se demandera aussi dans quelle mesure l’IA fait chauffer les serveurs et ce que ça implique pour la planète.

Si les sujets que j’aborde dans Algorithmique vous intéressent, abonnez-vous au podcast. Dans la description de chaque épisode, vous trouverez des liens vers plusieurs articles qui vous permettront d’aller plus loin.
Abonnez-vous aussi à Next. Ça vous permettra d’avoir accès à tous nos travaux et vous y trouverez les entretiens que j’ai menés avec les intervenants d’Algorithmique sous forme de discussions au long cours, sans interruption.
Pour que nous puissions continuer de vous informer avec nuance sur les transformations numériques en cours, abonnez-vous. Votre soutien est essentiel.
Algorithmique est un podcast produit par Next. Il est réalisé par Clarice Horn et il est écrit et tourné par moi, Mathilde Saliou.