Voix off : Bonjour et bienvenue sur Les dessous de l’IA, le podcast qui tente de mieux comprendre les évolutions de l’intelligence artificielle et leurs impacts sur nos sociétés. Bonne écoute.
Clément Durand : Bonjour Francesca et bienvenue sur Les dessous de l’IA. Aujourd’hui, le fil rouge de notre échange va être de comprendre comment l’IA transforme le commun que constitue Internet, le Web et les rapports qu’on peut avoir aux institutions.
Pour commencer, est-ce que tu pourrais présenter, présenter ton parcours et expliquer un petit peu ton angle de réflexion autour de l’intelligence artificielle ?
Francesca Musiani : Absolument. Bonjour à toutes et à tous.
Je m’appelle Francesca Musiani. Je suis directrice de recherche au CNRS, une grande institution de recherche en France et je m’occupe, depuis une quinzaine d’années, de la gouvernance du numérique avec un angle qui est plutôt celui de la sociologie des sciences et des techniques. Je m’intéresse à la façon dont les êtres humains interagissent entre eux, mais aussi avec les objets techniques qui les entourent et comment ces objets techniques, éventuellement, influencent, à leur tour, les comportements et les usages. J’ai commencé en m’intéressant à la gouvernance de l’Internet, avec un angle d’abord centré sur les institutions et sur la façon dont des infrastructures internet spécifiques, notamment le système de nom de domaine [1], par exemple, ont été utilisées comme des instruments politiques par différentes entités. Plus récemment, ces problématiques-là croisent, bien sûr, de plus en plus, celles de la gouvernance de l’intelligence artificielle et des algorithmes. C’est donc avec cet angle de la gouvernance que je regarde l’IA. Tout particulièrement, j’ai copiloté un projet de recherche, ces deux dernières années, qui regardait l’intelligence artificielle dans des contextes d’action publique et pour l’intérêt public.
Clément Durand : Pour commencer, j’ai une question un petit peu large. Tu disais que tu es rentrée sur le sujet par la question de la gouvernance de l’Internet. Comment vois-tu l’impact de l’intelligence artificielle, des technologies d’IA sur, justement, l’évolution des infrastructures et des architectures web ?, tu parlais de la question des noms de domaine. Quels sont un petit peu les changements que tu anticipes ? J’avais prévenu que c’était une grosse question : est-ce que l’IA va accélérer la fragmentation d’Internet qu’on observe actuellement avec la Russie, la Chine, les États-Unis ? Est-ce qu’on va vers une sorte de Splinternet [2] dopé à l’IA ?
Francesca Musiani : C’est effectivement une grande question.
Je pense qu’il y a plusieurs aspects qu’on peut souligner dans cette question et peut-être qu’on pourra en parler plus en détail dans un deuxième temps, comment des pays spécifiques abordent la question de l’IA comme outil et comme cible de gouvernance. Là, je vais être plutôt à un peu plus générale, on va dire.
Un rôle clé est sûrement joué par l’IA dans des tentatives d’optimisation des infrastructures d’Internet et du Web plus particulièrement, parce qu’avec des technologies d’IA on peut faire un certain nombre de choses.
Tout d’abord, il y a des questions d’automatisation de la gestion du réseau : comment maintenir l’Internet en forme pour que ça continue à fonctionner de façon durable. Depuis que l’Internet est devenu un outil global, un outil de masse, c’est quand même un des enjeux clés de la gouvernance d’Internet. Il y a donc un premier aspect qui consiste à utiliser l’IA pour automatiser cette gestion du réseau, notamment grâce à des outils prédictifs, pour essayer de réduire les pannes, optimiser les flux de données, le trafic, etc.
Il y a des outils d’IA qui sont utilisés pour améliorer la performance des content delivery networks [3], un des instruments principaux pour faire circuler l’information sur Internet. Par exemple, l’IA peut aider à prévoir certains pics de trafic ou adapter les ressources qu’il faut pour ces réseaux en temps réel.
Certains outils d’IA sont aussi mis un peu au service de certains réseaux plus décentralisés. On a parlé du Web 3.0, par exemple, cette idée qu’il peut y avoir des réseaux de type peer-to-peer ou des technologies de blockchain qui sont mises au service d’un Web futur, qui commence à être un peu présent. Pour cela, il faut faciliter l’adoption de modèles de réseaux décentralisés qui sont traditionnellement assez compliqués à mettre en œuvre, plus compliqués que les modèles centralisés, on peut donc songer à cela aussi.
L’idée, c’est que tous ces outils-là puissent aider à renforcer le passage à l’échelle, donc rendre les réseaux plus grands et plus importants ; l’efficacité énergétique aussi de ces infrastructures, et tout ça, bien sûr. Une des causes du besoin d’utiliser des outils comme ça pour la suite, c’est que le volume de données a explosé au cours de ces dernières années, il faut donc un certain nombre d’outils novateurs pour les gérer.
Il y a aussi une question d’usage de l’IA pour transformer les services qui nous sont proposés sur le Web. Là aussi les architectures du réseau changent.
Il peut y avoir des IA qui pilotent des services autonomes, intégrés, pour proposer des micro-services plus personnalisés pour certains clients. Les IA peuvent alimenter des recommandations très précises, faites à chaque utilisateur, ce qui peut aussi modifier les interfaces pour l’utilisateur. Par exemple, là on commence à remonter des couches les plus basses de l’infrastructure pour arriver en haut et, bien sûr, cette hyper-personnalisation est susceptible de poser des soucis ou des problèmes, il faut en être conscient. Ça signifie notamment que chaque acteur des services web peut implémenter ses propres solutions et ça peut contribuer, on en vient au mot clé que tu utilisais tout à l’heure de fragmentation, à fragmenter encore davantage certains protocoles et normes du Web, alors que, traditionnellement, le premier Internet a marché sur la base d’une suite de protocoles qui sont les mêmes pour tout le monde et qui favorisaient l’interopérabilité, les dialogues entre différentes parties du réseau. L’hyper-personnalisation peut amener des questions de fragmentation au niveau technique.
L’IA pourrait un peu amener des divisions et des fragmentations dans un paysage numérique qui, traditionnellement, est très mondialisé. On pourra revenir plus en détail sur certains de ces aspects, mais, très rapidement, je pense qu’il y a une question de contrôle de l’IA par certains gouvernements. Différentes politiques de souveraineté numérique, de cybersécurité, sont mises en œuvre par des États spécifiques ou dans des pays spécifiques. On cite souvent la Chine ou la Russie, mais c’est le cas aussi pour d’autres États. Dans ces contextes nationaux, l’IA est utilisée ou peut être utilisée pour surveiller, pour filtrer, pour moduler l’accès à Internet. Tout cela peut donc contribuer à la montée d’un certain nombre de réseaux qui seraient plus cloisonnés, on a pu appeler cela des silos. Un exemple, c’est le Great Firewall chinois [4], la grande machine mise en place par les entreprises chinoises en étroite collaboration avec le gouvernement.
Il y a aussi une question de possible biais ou localisation excessive dans les modèles utilisés par l’IA, puisqu’on sait que les systèmes d’intelligence artificielle sont souvent entraînés sur des jeux de données qui peuvent aussi être spécifiques à certaines régions ou à certaines langues. Cela peut, à terme, renforcer un certain nombre d’écarts, qui sont à la fois technologiques et culturels, entre certaines régions. Cela serait donc une fragmentation plus liée aux contenus et aux différents contextes socio-culturels.
Et puis, de plus en plus, il y a une question de guerre économique, de guerre technologique aussi qui concerne la course à l’IA. Chaque grand État qui a un géant du numérique, a aussi ses propres champions nationaux parmi les firmes technologiques, donc tout cela peut entraîner des standards qui seraient concurrents ou incompatibles entre eux.
Peut-être une dernière petite chose là-dessus. Typiquement, on attribue aux États-Unis plus une vision axée sur le besoin d’innovation rapide, une volonté d’anticiper, de brûler les étapes parfois sur l’innovation. Certains autres pays sont plus axés sur le contrôle national des écosystèmes technologiques — la Chine et la Russie, par exemplev— et, récemment, l’Europe s’est positionnée avec une approche qui se définit plus de régulation liée à certains principes éthiques, notamment avec l’AI Act [5].
Tout cela, tous ces aspects peuvent amener autant de défis de Splinternet, comme on a pu l’appeler, des risques de fragmentation qui peuvent se passer à la fois au niveau des standards, à la fois des frontières nationales et des silos mis en place par les entreprises qui seraient des champions nationaux.
Clément Durand : Là, on évoquait un peu l’aspect macro, gouvernance au niveau des États. J’aimerais qu’on redescende au niveau plus individuel. Comment vois-tu l’impact de l’IA sur les enjeux de vie privée et protection des données personnelles sur Internet ?, parce qu’on sait, notamment pour l’IA générative, qu’on a besoin d’encore plus de données qu’avant, peut-être, pour entraîner les modèles. On va scraper le Web, récupérer des données qui ne sont pas forcément tout le temps accessibles normalement. Comment l’IA est-elle en train de bouleverser un peu ces enjeux-là ?
Francesca Musiani : Je pense qu’un des problèmes des relations entre l’émergence de l’IA et les enjeux de vie privée, de protection des données, c’est qu’il y a au moins trois niveaux de défi : il y a du technique, il y a du juridique, il y a de l’éthique et tout cela s’enchevêtre de façon assez compliquée et intense.
Je pense qu’il y a effectivement, comme tu le disais, un premier aspect sur le fait que l’IA repose vraiment sur des volumes très importants de données pour pouvoir fonctionner efficacement. Ça entraîne une explosion de la collecte des données. C’est un enjeu de collecter des informations toujours plus précises, toujours plus granulaires sur les comportements, sur les habitudes, sur les préférences des utilisateurs pour toute firme qui produit des applications et des services basés sur l’IA. Il y a donc des risques immédiats de dérive assez importants qui peuvent se poser, notamment parce que les systèmes d’IA permettent d’exploiter ces données pour déduire un certain nombre d’informations sensibles qui ne seraient pas fournies directement par les utilisateurs. Ça peut être des informations sur l’état de santé, l’orientation sexuelle, la croyance religieuse. Tout cela c’est de l’inférence algorithmique. Traditionnellement, la protection de la vie privée était assez directement liée au fait que soit on fournissait, soit on ne fournissait pas des informations vis-à-vis de tel ou tel autre acteur. Maintenant, il y a tout un ensemble d’informations qui peuvent être déduites, même si on ne les a pas fournies explicitement, ça devient donc un gros souci de régulation aussi.
Et puis, il y a cette question antérieure à l’IA, que l’IA a ultérieurement intensifiée, qui est la question de la frontière entre l’espace public et l’espace privé. Un certain nombre de technologies d’IA ont une composante de surveillance importante. La reconnaissance faciale, même les assistants vocaux sont entraînés à reconnaître certains aspects de notre personnalité à partir de notre voix. Tout cela a toujours une facette de surveillance qui peut être omniprésente et très importante, donc ça renforce vraiment le fait que la frontière entre espace privé/espace public devient très floue.
Il y a aussi un aspect sur les nouvelles vulnérabilités dans la protection de données qui sont créées par l’IA. Tout d’abord, les modèles d’IA peuvent recroiser entre elles et agréger un certain nombre de données anonymisées, les reconstruire. Ça amène donc à la ré-identification des individus, donc, encore une fois, ça met en péril un certain nombre de principes traditionnels de protection des données.
Les modèles peuvent aussi involontairement exposer certaines données sensibles, s’il y a des biais dans la façon dont elles ont été entraînées ou s’il y a des bases de données qui sont utilisées et qui ne sont pas gérées de façon pleinement intègre, il peut donc y avoir des fuites à cause des biais de l’algorithme.
Et puis il y a des questions plus liées à la cybersécurité et aux cyberattaques. Les cyberattaques peuvent aussi devenir plus sophistiquées grâce à l’utilisation de certaines technologies d’IA, elles contournent plus efficacement certaines mesures de sécurité. Cela aussi touche très souvent à des jeux de données, y compris des données personnelles.
Et enfin, peut-être un dernier aspect qui n’est pas né avec l’IA, mais qui s’est renforcé avec l’IA, la question de l’asymétrie informationnelle entre les utilisateurs et les entreprises technologiques. L’IA peut renforcer ces asymétries de pouvoir et il y a des aspects de monétisation des données personnelles. Si les entreprises exploitent l’IA, par exemple pour affiner leur ciblage publicitaire, les utilisateurs, typiquement, sont assez peu conscients des données qu’ils partagent et de ce type d’usage qui est fait très largement en coulisse. Il y a de l’opacité, bien sûr, sur ces outils dans la même lignée. Du point de vue de l’utilisateur, une bonne quantité, pour ne pas dire la totalité de ces technologies d’algorithmes d’IA qui sont utilisées sont souvent des boîtes noires au sens qu’a pu élaborer la sociologie des techniques. Il y a un objet technique et on ne sait pas exactement ce qui rentre et ce qui sort de l’objet technique et qui a le contrôle dessus. Ça rend donc difficile la compréhension de la manière dont les données personnelles sont traitées et, par conséquent aussi, d’éventuelles contestations de la manière dont ces données sont traitées. On ne sait pas à qui s’adresser au cas où on suppose qu’il y a un souci.
Les régulateurs tentent désespérément de s’adapter à ce contexte changeant. Typiquement, le RGPD, le Règlement général sur la protection des données [6], qui existe depuis 2018 en Europe, impose certains principes qui n’étaient pas présents dans la régulation précédente sur la vie privée, par exemple la minimisation des données, une plus grande transparence, ou encore le droit à l’effacement et à la portabilité des données pour rendre plus facile de quitter un acteur technologique qui ne serait pas en train d’utiliser les données de la façon dont on le souhaite. Mais c’est sûr que ces règles, au fur et à mesure qu’elles sont ancrées, sont mises à l’épreuve par l’évolution très rapide des modèles d’IA et aussi à leurs besoins très importants en termes de données.
Clément Durand : Pour continuer sur cette partie réglementation. On entend beaucoup, en ce moment, avec l’AI Act européen, il y a eu la même chose avec le RGPD, le fait que la France, l’Europe serait une région qui réglementerait là où la Chine ou les États-Unis innoveraient, donc ça générerait un retard, des problématiques de dépendance économique. La question que j’avais envie de te poser, c’est comment, justement, ces modèles culturels ou géopolitiques qu’on peut voir en Europe, aux États-Unis, en Chine, en Russie, influencent-ils les développements de l’IA et la régulation qui est mise en place, ou pas d’ailleurs, dans ces régions ?
Francesca Musiani : Je vais peut-être commencer par la Russie, j’ai omis de le dire dans ma présentation, à part le projet sur l’IA pour l’intérêt public, ce qui m’a occupé au cours des dernières années, c’était un projet sur la surveillance et la censure en Russie et les techniques de contournement et de détournement de la loi par plusieurs acteurs en Russie pour essayer de contrer ces différentes initiatives de gouvernance de plus en plus coercitives.
En Russie, l’intelligence artificielle est assez largement utilisée comme un des outils dans l’arsenal à disposition du pouvoir pour renforcer son contrôle sur Internet. La Russie a notamment tenté d’améliorer son système de censure, l’améliorer clairement au sens problématique du terme, c’est-à-dire le rendre beaucoup plus performant et beaucoup plus ciblé par rapport à certains types de citoyens, avec l’idée de rendre ce système de plus en plus sophistiqué et automatisé. Notamment, un certain nombre de mesures de filtrage automatisé ont été mises en place, c’est quelque chose que l’IA permet de faire grâce à une analyse assez massive des flux d’informations en temps réel. Cela peut aider à identifier et à supprimer rapidement les contenus qui sont jugés illégaux ou subversifs, selon la manière, bien sûr, dont ces termes sont définis, ou pas, d’ailleurs, parce que le flou, une certaine ambiguïté est souvent entretenue sur le périmètre exact de ces mots. En tout cas, de facto, ça a très largement à voir avec la critique de l’État, le soutien aux oppositions, etc. C’est un premier point.
Ensuite, avec certains algorithmes, il est possible de détecter des contenus sensibles, même s’ils sont en train de contourner les mécanismes classiques de censure. Par exemple, on utilise des euphémismes, on utilise des codes, l’IA peut pointer, parfois quand même reconnaître des mots-clés et des contextes, même dans ces circonstances-là, c’est une partie du marché de la surveillance qui est en fort développement, malheureusement.
Il y a aussi un aspect de reconnaissance plutôt d’images et de vidéos. Il ne s’agit pas de repérer des choses problématiques pour le pouvoir dans les textes, mais beaucoup dans les images, les mèmes, les vidéos, ce qui rend encore plus difficile le contournement de la censure, puisque, parfois, on a recours à ces moyens-là pour passer des messages qui ne pourraient pas être passés en plein texte, pour ainsi dire.
Il y a des aspects de reconnaissance faciale, qui est déjà suffisamment controversée dans les pays démocratiques, mais dans les pays dits autoritaires, ça s’applique assez largement à l’identification des opposants politiques, sur les plateformes. Certaines plateformes, en Russie notamment, sont souvent coopératives avec les gouvernements et elles deviennent des espèces de leviers pour mettre en œuvre des algorithmes pour surveiller, pour profiler certains utilisateurs qui se seraient exprimés de façon dissidente. Les technologies de reconnaissance faciale permettent d’identifier des participants à des manifestations, notamment des opposants au régime. Et, encore une fois, ce qui est important aussi, c’est que ces images sont, après, croisées avec d’autres données, par exemple celles qu’on peut repérer sur les réseaux sociaux, du coup, ça permet ce dont on parlait tout à l’heure, des questions d’agrégation et de ciblage. Ça permet au gouvernement, à l’État, d’être plus performant dans le repérage des profils qu’ils considéreraient problématiques.
Et puis, bien sûr, il faut mentionner, notamment parce que c’est assez largement traité dans les médias concernant la Russie, les aspects plus de désinformation, de deepfakes. L’IA a aussi son rôle dans ces questions-là, dans la fabrication de contenus qui seraient pro-régime. Par exemple, on peut générer des narratifs ou des deepfakes qui seraient manipulés dans le but de discréditer les oppositions ou promouvoir des discours qui sont favorables au pouvoir ou parfois, tout simplement semer la confusion sur les fakes liées à certains aspects.
Il y a aussi la possibilité d’inonder de la désinformation. Au-delà de sa création, l’IA permet de produire et de diffuser assez massivement ce type d’outil.
Bien sûr, et on peut dire heureusement, il y a des aspects de résistance à tout cela qui sont aussi amplifiés ou qui sont mis en œuvre par le biais de l’IA. De plus en plus, c’est quand même une lutte asymétrique, mais il est possible de faire des choses avec l’IA pour contourner la surveillance et la censure, par exemple contourner les blocages avec des réseaux privés virtuels, optimiser les performances des réseaux privés virtuels pour échapper aux techniques de blocage. Il est donc possible de mettre en œuvre des solutions qui détectent et évitent automatiquement au moins certains points de censure sur les réseaux, des techniques de chiffrement avancé, notamment de bout en bout avec certaines messageries comme Signal. Telegram est très utilisée en Russie, mais son chiffrement de bout en bout n’est pas de très bonne qualité et il n’est même pas de bout en bout parfois. En général, utiliser des messageries chiffrées peut quand même contribuer à garantir des communications qui soient plus sécurisées, plus anonymes.
Il y a aussi un certain nombre de techniques de fragmentation de contenu qui peuvent être utilisées par des communautés d’activistes, on en a étudié certaines utilisant certaines techniques d’IA pour fragmenter ou masquer les contenus sensibles. En gros, on les fait circuler avec des formats qui sont plus difficiles à détecter automatiquement. C’est une des manières qui permet de contrer avec l’IA.
Encore une fois, c’est quand même une situation assez asymétrique, on va dire, de plus en plus, notamment ces trois/quatre dernières années.
Il y a bien sûr les aspects de contrôle centralisé des infrastructures. Roskomnadzor, qui est le gendarme des télécoms, le régulateur principal des télécoms, a vu ses pouvoirs largement augmentés au cours de la dernière décennie, donc a été le principal bras armé du gouvernement russe pour imposer des lois qui ont obligé, par exemple, un certain nombre d’entreprises technologiques nationales russes à coopérer très étroitement avec le gouvernement.
Voilà en ce qui concerne la Russie. La trajectoire va quand même vers une souveraineté accrue qui pourrait aller jusqu’à l’isolement de l’Internet national du reste du monde et l’IA peut jouer beaucoup dans ce processus en détectant et en bloquant des connexions étrangères, par exemple, pour aider à centraliser les serveurs sous un contrôle gouvernemental et renforcer la cybersécurité nationale, par exemple contrôler les infiltrations extérieures.
On verra comment tout cela évolue, mais c’est sûr que le rôle de l’IA dans tout cela, pour en revenir au propos, je sais que ça peut amener des surprises des deux côtés. Elle est un peu au centre d’une mobilisation, d’un ensemble de techniques et de stratégies qui incluent aussi des aspects hors-ligne pour affiner l’efficacité des deux côtés.
J’ai apporté l’exemple de la Russie.
Pour revenir au fait qu’il y a différents modèles qui sont développés dans différentes régions du monde, quand on parle de la Russie, on parle souvent de la Chine comme deuxième grand exemple d’un gouvernement autoritaire qui se sert beaucoup de la technologie et des infrastructures numériques pour renforcer son autorité politique.
Pour la Chine, contrairement à la Russie, la centralisation a eu lieu depuis beaucoup plus longtemps. La Russie a eu quand même une période de dérégulation du marché et de semi-liberté politique qui a été assez importante et assez longue, jusqu’à la fin des années 2000. En fait, la plus grande poussée vers l’autoritarisme a commencé en Russie seulement depuis le début des années 2010.
En Chine, c’est vraiment depuis quelques décennies que la centralisation est en œuvre. Un plan de développement de l’IA de nouvelle génération a été promulgué en 2017, si je ne m’abuse. Si on regarde, l’idée de ce plan c’est vraiment carrément de faire de la Chine le leader mondial de l’IA d’ici 2030, on va voir comment tout cela se déroule, la priorité est assez explicitement donnée à des applications de l’IA dans des choses comme la surveillance de masse et aussi ce qu’ils appellent le maintien de la stabilité sociale. De facto, ça veut dire que des outils comme la reconnaissance faciale, les systèmes de notation sociale, le Social Credit System dont on parle beaucoup par rapport à la Chine, vont être déployés, le sont déjà, mais vont l’être encore plus, à grande échelle. Tout cela se fait dans un cadre réglementaire qui est très centralisé et très orienté à favoriser le contrôle par l’État.
Il y a un ensemble important d’obligations, pour les entreprises, de partager leurs données avec les autorités.
Un accent très important est mis sur le contrôle de l’information et la censure algorithmique.
Ce qui est aussi très important concernant la Chine, ce sont les questions d’expansion et d’exportation très importantes de ces technologies d’intelligence artificielle. Ça se passe beaucoup vers des pays en développement. La Chine a beaucoup jeté son dévolu notamment sur le continent africain par rapport à ces questions-là, et a aussi des relations très importantes avec d’autres régimes autoritaires concernant l’exportation de technologies de reconnaissance faciale, de drones, de surveillance. Une industrie très florissante se développe, notamment cette initiative qu’on appelle les nouvelles routes de la soie numériques.
Au niveau de la gouvernance internationale, typiquement la Chine propose des normes et des standards qui visent vraiment à aligner l’adoption de l’IA sur son modèle centralisé. Parfois il y a aussi des propositions, mêmes à la limite du provocateur, comme le New IP, par exemple, une proposition par le biais de laquelle la Chine proposait presque de refaire l’Internet Protocol qui est vraiment le protocole fondateur de l’Internet, avoir un nouvel Internet. Ça n’est pas allé beaucoup plus loin que ça, mais c’est un indicateur d’un certain positionnement international.
En ce qui concerne les États-Unis, il y a, bien sûr, la recherche dans le développement de l’IA dans lequel ils sont des leaders, c’est un écosystème qui est très largement dominé par des entreprises technologiques privées qu’on connaît très bien. On les a appelés GAFAM, on les a appelés MAGMA, ce sont les grandes entreprises telles que Google, Microsoft, Meta ou Amazon, qui, bien sûr, se positionnent grâce à leur avantage technologique sur l’Internet classique, on va dire, dans l’innovation, dans l’adoption de l’IA. Et le gouvernement a traditionnellement eu un rôle de soutien en investissant dans la recherche et sans trop réguler. C’est un grand classique des États-Unis, avec l’idée qu’une régulation limitée ne va pas freiner l’innovation. Ça a toujours été le mantra du rapport des gouvernements, aux États-Unis, à l’innovation technologique.
Il y a quand même quelques initiatives un peu naissantes, comme l’AI Bill of Rights [7], qui a vu le jour en 2022, et qui montre quand même que, même dans ces systèmes relativement dérégulés, il y a une volonté naissante de protéger les droits humains et les droits des individus face à l’IA. C’est quelque chose qui n’est pas complètement absent des débats liés à la gouvernance de l’IA aux États-Unis, même si, contrairement à l’Europe, les États-Unis n’ont pas encore de cadre réglementaire global. Pour l’IA, ce sont plutôt des ensembles de règles qui sont définies au niveau des États, on n’oublie pas que les États-Unis sont un État fédéral avec les États qui ont des degrés d’autonomie assez importants au niveau de leur gouvernance. Ou alors, ça se passe par secteurs stratégiques, par exemple relatifs aux données de santé ou à la finance. Il y a des régulations qui sont plus spécifiques.
Enfin, pour revenir à l’Europe, pour se distinguer dans ce paysage assez compliqué, l’Europe a essayé de faire une approche réglementaire stricte liée à un positionnement qui se réfère au cadre de protection des droits humains, y compris à un niveau presque philosophique qui est vraiment assez typique de l’Europe, avec l’idée que l’IA doit être encadrée pour être au service des individus, avec une dimension éthique assez forte. Dans ce cadre, les initiatives réglementaires ont proliféré. On a cité le RGPD pour les questions de protection de données, mais, bien sûr, il y a aussi l’IA Act qui est actuellement à ses prémices. C’est quand même une régulation assez ambitieuse qui prévoit tout un système de classification des risques, par exemple, et interdit d’emblée certains usages ; le système de crédit social, par exemple, est mis hors périmètre du faisable, ou encore certaines pratiques de surveillance de masse. L’approche de l’IA de confiance est mise beaucoup en avant, y compris dans les programmes qui sont censés financer des recherches sur l’IA. Il y a, par exemple, une partie de Horizon Europe [8], le programme-cadre actuel du financement de la recherche, qui met en avant des mots-clés comme IA éthique, IA inclusive.
Peut-être le tout dernier truc, la position stratégique globale de l’Europe, il y a vraiment des tentatives d’établissement de standards au niveau plus global, au-delà du niveau régional européen.
Par contre, ce dont l’Europe souffre assez cruellement, et c’est assez historique aussi, c’est le manque de champions technologiques européens, ce que les États-Unis ont, ce que la Chine a, ce que la Russie a de plus en plus. L’Europe n’est donc pas beaucoup en mesure d’influencer par les marchés et par l’innovation, ça doit être plutôt par le biais de la régulation.
Clément Durand : Merci pour ce tour d’horizon.
Je sais que tu travailles aussi sur la question des valeurs et comment les technologies sont intrinsèquement porteuses de valeurs, et c’est encore plus vrai avec l’IA. Tu parlais des biais, mais pas que, qui vont être portés par les algorithmes. La question que j’avais envie de te poser, c’est comment ces valeurs sont-elles intégrées, consciemment ou pas, dans les algorithmes d’IA ? Je rajoute un élément à ma question. Il y a les valeurs, il y a aussi la question des récits culturels à côté des valeurs, les récits historiques propres à chaque pays, à chaque région. Comment cela joue-t-il aussi un rôle dans l’acceptation de l’IA dans les différentes parties du monde ?
Francesca Musiani : Cette question des valeurs inscrites dans la technique est une question importante, qui est aussi assez historique, bien avant l’Internet même. En fait, c’est une des grandes questions de la sociologie des techniques.
Par rapport aux algorithmes, et bien sûr à l’IA, un certain nombre de questions spécifiques se sont posées aux concepteurs humains de ces technologies et sur la façon dont ils intègrent leurs choix, leurs biais, leurs priorités dans tout ça.
Il y a tout d’abord un premier élément important : comment on définit les objectifs de ces algorithmes. En général, un algorithme est conçu pour optimiser les résultats par rapport à un objectif et ces objectifs peuvent être maximisés par rapport à certains contenus, améliorer l’efficacité d’une plateforme, identifier des visages ; ça peut être vraiment varié et tout cela, tous ces choix, traduisent en général des priorités qui ont trait à des considérations économiques, politiques, culturelles. Typiquement, si on prend l’exemple d’un moteur qui doit recommander des choses, il peut choisir de privilégier l’engagement sur la plateforme, par exemple, ou encore la véracité de l’information obtenue par le biais de recherche de sources, ou encore la diversité de cette information. Donc, selon ce qu’on choisit de privilégier parmi ces trois critères, par exemple, on n’aura pas les mêmes résultats proposés par ce moteur, pour donner un exemple.
Et tout pareil quand on cherche à évaluer la bonté d’un algorithme, comment il a bien rempli ses objectifs, sa précision, son coût, ce qu’on veut, les métriques qu’on utilise pour évaluer ces performances peuvent aussi refléter des valeurs. Par exemple, si on choisit que la priorité numéro 1 c’est la précision de l’algorithme, on peut finir par négliger certains biais ou certains impacts sociaux, par exemple le fait qu’il y a un certain degré d’injustice dans les décisions automatisées. Ce sont des exemples.
Il y a effectivement un deuxième aspect : des biais culturels peuvent être inhérents aux équipes qui développent ces machins-là. Typiquement on a pu dire, par moments, et désormais on essaye de faire quelque chose à ce sujet dans les grandes entreprises technologiques, que les équipes de développeurs sont souvent assez homogènes sociologiquement parlant. Elles peuvent être composées très majoritairement de personnes qui sont issues d’une même culture, d’un même genre, d’un même milieu social, donc, ça peut amener à possiblement ignorer certaines problématiques qui sont importantes pour des groupes qui seraient sous-représentés parmi les créateurs de ces algorithmes, typiquement ce que Safiya Noble
Il y a aussi des questions sur les données, elles-mêmes, sur lesquelles se basent les techniques d’IA. Dans ces données qui alimentent les algorithmes d’IA, il y a des traces de certaines structures sociales, de valeurs dominantes. On en a déjà un peu parlé, ce sont les questions de biais dans les données d’entraînement. Par exemple, les algorithmes apprennent à partir de jeux de données qui sont aussi historiques et qui reflètent peut-être certains biais historiques. Typiquement, prenons un algorithme de recrutement qui se base sur des données. Il y a des risques, il faut s’assurer qu’ils sont mitigés, qui peuvent reproduire certaines discriminations qui ont pu avoir lieu dans un contexte historique contre certaines minorités ou contre les femmes, parce que, par exemple, ces groupes ont été historiquement sous-représentés dans des emplois qualifiés. Si on donne à manger à l’IA un jeu de données qui comportent, inscrites en elles, ce type de biais, ça peut poser problème.
Ces inégalités peuvent être aussi perpétuées, du coup, par les algorithmes. Une question assez étudiée à ce sujet, ce sont les algorithmes qui doivent aider les banques à décider si octroyer des prêts bancaires ou pas, par exemple. Ces algorithmes peuvent discriminer indirectement, en excluant, par exemple, certaines zones géographiques, même si cette exclusion repose sur des variables économiques plutôt ethniques, ces biais peuvent se faufiler, peuvent renforcer des inégalités.
Bien sûr, tout cela n’est pas volontaire non plus, pas forcément, et c’est un des soucis sur la façon dont on peut essayer de gouverner ou de contrer cela. Certaines de ces utilisations d’algorithmes peuvent ne pas avoir d’intention explicite de nuire, mais il peut y avoir un certain nombre d’effets de renforcement, d’effets de boîte noire. Parfois, on cherche à comprendre comment on est arrivé à obtenir un certain résultat et une certaine classification par le biais d’un algorithme, notamment avec les systèmes de type deep learning, d’apprentissage profond, où beaucoup de choses se passent très profondément, dans les coulisses de l’outil. On n’arrive pas à expliquer, même pas les concepteurs parfois, pourquoi et comment une décision a été prise et dans quelle mesure des biais ou des injustices sont masquées ou peuvent l’être. L’attention entre performance et transparence des outils technologiques n’est sûrement pas propre à l’IA, mais le niveau d’opacité que peuvent avoir notamment certaines technologies d’IA est quand même très important par rapport à ça.
Clément Durand Je sais qu’à côté du travail que tu as pu faire sur la gouvernance, sur tous ces sujets-là, tu travailles aussi à regarder comment l’administration française s’empare des outils d’IA. La question que j’aimerais te poser, c’est : selon toi, quels sont les effets structurels, au niveau de l’État français, sur l’utilisation de ces outils, notamment dans la prise de décision, sur le fonctionnement de l’État et dans les relations avec ses citoyens ? C’était le cas déjà avec le passage au tout numérique, est-ce que ce n’est pas en train de s’accélérer ? J’ai des souvenirs sur la dématérialisation des procédures, où ça crée des contraintes qui n’existaient pas avant. Je sais pas si c’est toi qui utilisais le terme, mais est-ce que tu ne penses pas qu’avec ces outils d’IA, on se dirige un peu vers une sorte d’État automate où tout serait automatisé dans une logique d’efficience, d’efficacité, de rapidité ?
Francesca Musiani : C’est effectivement le cœur du travail qu’on a mené avec Olessia Kirtchik, notamment dans le cadre de ce projet dont je parlais tout à l’heure.
Ces cinq dernières années, cet argument selon lequel l’action publique en France peut être profondément transformée par l’intelligence artificielle a vraiment pris pied, avec deux aspects surtout : le fonctionnement interne de l’État, d’un côté, et sa relation avec les citoyens ; la technique s’en mêle aussi par rapport aux interfaces avec la population. Et là on retrouve vraiment, pour le dire vite et puis je vais rentrer un peu plus dans les détails, ces questions dont on vient de parler, à la fois l’accessibilité de certains services et la mesure dans laquelle ils peuvent prédire des choses ou encore l’efficacité de ces services. Et puis, d’un autre côté, les questions et défis potentiels, donc la transparence de ces services, l’équité de ces services et la mesure dans laquelle ils peuvent être souverains.
Je pense qu’il y a ce que l’IA peut faire, ce que l’État envisage que l’IA puisse faire, que les dispositifs algorithmiques puissent faire pour lui. C’est notamment mieux gérer les ressources à disposition de l’État et, potentiellement, améliorer l’efficacité des services publics. Par exemple, allouer des ressources, mieux répartir les moyens dont on dispose dans des secteurs clés. Est-ce qu’on peut anticiper avec plus de précision le besoin de tel hôpital plutôt que tel autre hôpital, de tel tribunal plutôt que tel autre tribunal, si on prend la justice, donc l’IA peut aider à l’allocation des ressources. Et tous les aspects de personnalisation peuvent, bien sûr, être adaptés à ce secteur-là, parce que l’IA peut aider à orienter tel ou tel citoyen vers des services qui seraient adaptés à ses besoins, des bourses, des aides sociales ; l’IA peut aider à tout cela.
Qu’est-ce qui se passe dans tout cela ? Bien sûr, plus l’État et les administrations s’appuient sur des modèles de type prédictif et de personnalisation, plus des logiques de gouvernance algorithmique ou de gouvernance par les données peuvent prédominer, avec un rôle de l’humain qui doit continuer à être préservé. Il faut faire un peu attention à cela.
Ce que l’administration peut aussi faire avec des outils d’IA, ce serait de la prévision de risques, ça peut être appliqué plutôt à des domaines comme la sécurité nationale ou les fraudes, les risques de fraude. Typiquement, on peut supposer que les services des impôts utilisent ou utiliseraient des outils d’IA pour détecter de plus en plus automatiquement des anomalies dans les déclarations fiscales, croiser des jeux de données qu’avant ils ne pouvaient pas croiser ou de façon beaucoup plus épisodique, etc.
Tout cela entraîne certains risques qu’on a déjà mentionnés : la reproduction ou l’amplification des discriminations préexistantes, une prédiction automatisée excessive qui réduirait la place de l’intervention humaine et, plus largement, du dialogue citoyen aussi. On peut supposer que l’État se doit de préserver, parmi ses missions, ce dialogue-là.
Tout cela a des conséquences, en a déjà, mais on suppose qu’il y en aura encore plus par la suite, sur la façon dont l’État fonctionne, notamment sur la façon dont les processus décisionnels se transforment. Il y a eu, par exemple, la controverse Parcoursup pour l’affectation des étudiants à des universités spécifiques, ou encore dans la Sécurité sociale, dans l’urbanisme, ce sont autant de domaines dans lesquels les algorithmes deviennent des codécideurs. Donc, si les algorithmes deviennent des codécideurs, ça réduit le rôle des agents publics dans une dimension un peu individuelle de la prise de décision et les agents publics courent le risque de devenir plutôt les gestionnaires d’un système géré ailleurs, où la décision ultime est de plus en plus reportée sur la machine.
Il y a aussi des aspects d’organisation politique, de privatisation de la gouvernance, parce que, bien sûr, plus les décisions sont centralisées, plus l’automatisation augmente, plus il y a de dépendance à des outils technologiques qui sont développés en partenariat avec des entreprises privées. C’est là que rentre aussi la question de la souveraineté numérique. La France a, bien sûr, des entreprises privées qui sont en mesure de développer ce genre d’outil et qui le font, Capgemini, Thales, etc., mais il y a aussi toujours la question, on en parlait tout à l’heure, le fait que l’Europe et les États européens sont en général plus ancrés sur la régulation que sur l’innovation endémique au territoire national et supranational. Ça peut introduire des dépendances d’acteurs qui ne sont pas européens non plus.
Pour en venir au troisième aspect, il y a un peu la question de la transformation, pas seulement de l’État en tant que tel, mais aussi de la façon dont il se rapporte aux citoyens. L’introduction de l’IA arrive dans une logique que, même avant l’IA, on a pu appeler de numérisation de l’État. Il est question de faire accéder aussi en ligne, voire seulement en ligne, ce qui peut poser des problèmes à certains groupes de citoyens en particulier, à de nombreux services publics : demande d’aide sociale, renouvellement de papiers, inscriptions scolaires. Mettre tout ça en ligne a bien sûr des conséquences. Certaines conséquences sont positives : ça marche mieux pour les citoyens qui sont déjà connectés, déjà familiarisés, au moins pour l’essentiel, avec le numérique. Ça peut réduire les délais dans beaucoup de traitements des demandes, mais ça a un certain nombre d’effets négatifs aussi. C’est ce qu’on a pu appeler, déjà avec l’Internet classique, la fracture numérique ou le manque de littératie numérique de la part de certains citoyens. Certains groupes sont, de facto, marginalisés du fait de leur manque d’aise avec le numérique. Et puis pour tout le monde, y compris pour ceux qui sont à l’aise, il y a quand même le risque d’une disparition progressive des guichets physiques, de pouvoir joindre une personne pour parler de ses soucis bureaucratiques ou administratifs, donc augmenter le manque de personnalisation de cette relation.
Les questions de transparence ou de son manque sont, bien sûr, assez importantes dans cette relation État/citoyen, cette opacité de la plupart des systèmes algorithmiques dont on a déjà parlé. Typiquement, pour en revenir à Parcoursup qui avait fait couler beaucoup d’encre et de voix, Parcoursup avait été beaucoup critiqué non seulement pour les résultats qui étaient obtenus, mais aussi pour l’impossibilité, pour les étudiants et pour les familles des étudiants, de comprendre quels avaient été les critères précis de sélection. On avait un résultat, mais on ne voyait pas comment les pièces qui composaient les dossiers des étudiants, qu’ils avaient pu apporter au système, avaient généré ces effets.
Tout cela peut donc augmenter une certaine défiance envers les outils numériques, perçus comme inaccessibles, perçus en partie comme injustes, etc.
Et il y a un risque non négligeable, que certains de nos interlocuteurs, quand on a fait les entretiens pour ce projet, ont pu appeler le désengagement démocratique, le fait que les citoyens se sentent exclus des décisions prises par des systèmes algorithmiques, encore plus que des décisions qui sont prises par les hommes politiques et les institutions humaines. On n’est pas dans le meilleur moment pour ça non plus, forcément, mais les systèmes algorithmiques et l’IA sont susceptibles d’accroître ces soucis.
Clément Durand : Justement, par rapport aux soucis que tu évoques, dans la presse ou en général, quand on parle d’IA, en tout cas quand on entend des personnes parler d’IA, ce sont souvent des entrepreneurs, des ingénieurs qui développent ces solutions, qui les vendent, moins fréquemment des chercheurs en sciences sociales, des scientifiques, qui peuvent apporter un autre regard et justement éclairer d’une autre façon les développements de l’IA. Comment, selon toi, pourrait-on imaginer des dispositifs ? Comment pourrait-on faire mieux entendre ces autres regards pour, justement, éclairer sur ces développements, les enjeux que ça pose, les aspects positifs, les aspects plus négatifs ? Tu parlais du désengagement des citoyens, comment permettre ça, en fait, dans le débat, pour permettre une meilleure compréhension des fonctionnements de ces technologies ?
Francesca Musiani : Parmi mes casquettes actuelles, celle que je peux mentionner à ce moment-là, c’est d’être dans le conseil scientifique de l’ANSSI [Agence nationale de la sécurité des systèmes d’information], l’Agence pour la cybersécurité française, dans laquelle je suis la seule sociologue du conseil scientifique, mon rôle est un peu d’expliciter les contributions des sciences sociales pour l’étude de la cybersécurité.
Ce que peuvent faire les sciences sociales sur ces questions-là, c’est vraiment de situer ces technologies, de les situer dans un contexte social, un contexte politique et géopolitique et un contexte socio-économique. Donc poser des questions peut-être plus que ça ne l’a été fait par le passé : quels groupes sociaux bénéficient le plus ou sont le plus marginalisés par ces technologies ? Comment ces systèmes algorithmiques ou d’IA reproduisent-ils ou amplifient-ils des inégalités existantes ou des problèmes structurels de la société qui seraient renforcés ? Typiquement, dans des projets comme le Social Credit System ou la justice prédictive, là où il y a des usages de l’IA pour des buts spécifiques, les apports que peuvent amener les sciences sociales, c’est de mettre l’accent sur les questions de liberté individuelle, de discrimination et aussi tout ce qui est logique de pouvoir, stratégie de pouvoir, configuration de pouvoir. Comment des stratégies portées par des acteurs ou par des groupes d’acteurs qui relèvent à la fois du politique, du technique et de l’économique, sont partie intégrante de la façon dont ces outils d’IA et algorithmiques arrivent à nous en fait.
Clément Durand : On arrive à la fin de cet échange. J’avais une dernière question pour toi. Je ne sais pas si c’est prospectif, en tout cas, si tu avais des recommandations, deux/trois recommandations à faire à des décideurs politiques ou économiques pour mettre en place une meilleure gouvernance, une gouvernance plus responsable de l’IA, ce serait quoi ?
Francesca Musiani : C’est une très grande question. Les chercheurs sont toujours relativement réticents à passer au stade des recommandations, au moins dans certaines disciplines. J’essaie de le faire quand même.
Tout d’abord, il me semble qu’il y a une question sur la nature de la régulation qu’on peut essayer d’appliquer à ces dispositifs-là, parce qu’il y a le challenge de l’évolution rapide de ces technologies qu’on a pu voir aussi par le passé. Au début des années 2000, j’avais étudié comment la régulation avait essayé de s’attaquer aux réseaux peer-to-peer, par exemple, aux réseaux pair-à-pair et il y avait eu des réponses de régulation très inadéquates aux contextes à la fois technique et socio-économique dans lesquels ces réseaux étaient créés, se développaient, parce qu’on avait essayé de cibler la technologie en soi, sans regarder le contexte plus général. Une première recommandation, ça pourrait être que les cadres réglementaires puissent être évolutifs, avoir des principes directeurs clairs, et je pense qu’une des forces de la régulation européenne c’est qu’elle réfère à des principes presque philosophiques sur ce que les individus doivent être et peuvent préserver comme leurs droits fondamentaux, typiquement protection de la vie privée, non-discrimination, responsabilité des algorithmes et de leurs concepteurs et, en même temps, que ce soit souple pour répondre à l’évolution des technologies, pour ajuster selon un certain nombre de défis qui pourraient arriver très vite et être assez inattendus aussi.
Donc, cette idée d’avoir un socle commun de principes directeurs, mais d’être disposé à revoir sa copie en termes opérationnels de façon plus importante.
Et puis, il y a sûrement du travail à faire par rapport aux firmes technologiques sur qui peut voir quoi. La question des audits des algorithmes, de la transparence, de l’explicabilité de ces algorithmes.
Je ne pense pas que le citoyen lambda puisse et doive avoir accès à tout algorithme, etc., de toute façon ce serait très compliqué de commencer à déchiffrer tout ça. Par contre, il faut vraiment un dialogue démocratique sur qui devrait pouvoir aller voir pour les citoyens, qui doit être le gendarme, au sens positif du terme, de ces dispositifs, qui peut aller regarder ce que ces firmes technologiques sont en train de faire, avec quelle fréquence, avec quelle profondeur d’analyse du code des dispositifs mis en place, à mon avis, c’est très important. Trouver les bons gendarmes et les bonnes modalités pour qu’ils puissent agir tout en n’entravant pas excessivement l’innovation, mais en préservant des principes politiques et démocratiques.
Je m’arrêterai peut-être là, ce sont des questions extrêmement vastes.
Clément Durand : Merci beaucoup, Francesca, d’avoir répondu à mes questions et j’espère à bientôt.
Francesca Musiani : À bientôt.
Voix off : L’épisode est maintenant terminé. J’espère qu’il vous a plu. N’hésitez pas à le partager autour de vous et à vous abonner au podcast pour écouter les prochains épisodes. À bientôt.