Caroline Lachowsky : Bonsoir à toutes et à tous. Bienvenue dans ce petit auditorium de la BNF [Bibliothèque nationale de France]. Merci à vous d’être là en vrai, en présentiel comme on dit, même masqués ça nous fait du bien. Merci aussi à tous ceux et toutes celles qui nous suivent sur la chaîne YouTube de la BNF.
Pour ce deuxième épisode de nos débats Au cœur de la science consacrés cette année aux intelligences au pluriel, à commencer par ce qu’on appelle l’intelligence artificielle, l’IA. Y a-t-il une intelligence artificielle ? Nous en avons débattu le mois dernier. Nous allons plus loin ce soir en nous interrogeant et vous pourrez d’ailleurs nous poser vos questions à l’issue de ce débat, sur les enjeux éthiques et sociaux de l’intelligence artificielle. Jusqu’où l’IA va-t-elle transformer nos vies publiques et privées, nos emplois, nos interactions, nos conversations ? Quelle place les machines apprenantes, dites intelligentes, et désormais affectives, vont-elles prendre dans nos vies et nos sociétés ?, et surtout quelle place voulons-nous leur donner en toute connaissance de cause, c’est surtout ça le problème, et en toute responsabilité, en voilà un autre de problème, éthique, sociale et juridique ? Voilà ce que nous allons nous demander en tentant de dépasser les fantasmes, les peurs, les promesses, en compagnie de nos intervenants qui ont tous les trois le mérite de savoir de quoi ils parlent.
Laurence Devillers, bonsoir.

Laurence Devillers : Bonsoir.

Caroline Lachowsky : Vous êtes professeure à l’université Paris Sorbonne, directrice de recherche au laboratoire interdisciplinaire des sciences du numérique du CNRS. Vos travaux, Laurence, portent sur les interactions homme/machine, notamment à travers la parole, la détection des émotions et la robotique affective. Vous êtes également membre du Comité national pilote d’éthique du numérique [1] et également du partenariat mondial sur l’IA, auteure de plusieurs ouvrages, le dernier que vous dédicacerez d’ailleurs Laurence tout à l’heure, juste en sortant de cette conférence, s’intitule Les robots « émotionnels ». Santé, surveillance, sexualité… : et l’éthique dans tout ça ? .
Face à ces toutes nouvelles questions éthiques, enfin nouvelles, oui, qui se renouvellent, soulevées par l’IA, face à ces formidables puissances de calcul de ces machines « apprenantes », toujours avec des guillemets, de ces robots « émotionnels », encore avec des guillemets, se posent évidemment des questions juridiques et de gouvernance sur lesquelles vous travaillez Antoinette Rouvroy. Bonsoir.

Antoinette Rouvroy : Bonsoir.

Caroline Lachowsky : Vous êtes philosophe du droit, chercheuse en sciences juridiques à Namur en Belgique, d’ailleurs merci d’avoir fait le voyage jusqu’à nous, et depuis quelques années vous travaillez sur ce que vous appelez la gouvernance algorithmique, ce nouveau mode de gouvernance qui se nourrit de données numériques massives. Comment ne pas se laisser calculer par tous ces algorithmes ? Vous vous interrogez notamment sur la convergence de toutes ces nouvelles technologies, big data, machine learning, et vous n’hésitez pas à appeler à une vraie réflexion collective à la fois éthique, juridique et psychologique pour tous, citoyens que nous sommes, comme décideurs. Une réflexion et des interrogations que vous partagez, Dominique Cardon. Bonsoir.

Dominique Cardon : Bonsoir.

Caroline Lachowsky : Vous êtes professeur de sociologie. Vous dirigez le Medialab de Science Po qui interroge précisément les relations entre le numérique et nos sociétés. Vous êtes l’auteur de plusieurs ouvrages, Culture numérique aux Presses de Science Po et À quoi rêvent les algorithmes : nos vies à l’heure des big data paru Au Seuil en 2015. À quoi rêvent les algorithmes ? À quoi rêvent les robots ? Et comment reprendre la main sur nos rêves humains, justement, face au pouvoir grandissant des machines que nous avons rendues « intelligentes », avec tous les guillemets qui s’imposent, mais jusqu’où ?
Pour ouvrir ce débat et relever les défis éthiques et sociaux de l’intelligence artificielle, un petit retour en arrière s’impose. Dans les trésors de la Bibliothèque nationale, consultables bien sûr sur le site Gallica, nous avons comme chaque fois déniché une perle, la voici, c’est la Une du numéro 31 de la revue Le petit inventeur, journal illustré paru le 1er janvier 1929. La couverture en couleur, vous le voyez, titrait « Ce que nous réserve l’électricité », montre le dessin de ce robot futuriste branché sur l’électricité en train de cirer les pompes, enfin les chaussures, excusez-moi, d’un homme confortablement installé dans son fauteuil. Il y a de quoi alimenter toutes nos questions, j’ai l’impression, sur les enjeux sociaux, éthiques et juridiques, mais aussi sur la manière dont nous nous les posons et dont nous pensons bien les poser.
Dominique Cardon, j’ai envie de m’adresser au sociologue que vous êtes pour commenter cette image qui date donc du siècle dernier. Comme quoi ces questions sur le rôle des robots et des machines ont une histoire, une histoire fantasmée peut-être, une histoire qui s’est accélérée aujourd’hui. C’est ça ?

Dominique Cardon : Absolument. Je laisserai Laurence pour les robots.
Le constat que je fais effectivement autour de l’IA c’est qu’il y a un énorme, un incroyable hype autour de ce mot, on en parle aujourd’hui. Ce mot a une histoire. Le projet de mettre de l’intelligence dans des machines a une histoire. Je pense que cette histoire est très importante pour comprendre le contemporain et le décalage un peu mythologique qui s’est constitué. En réalité, les gens qui ont lancé le projet de l’IA en 1956 avaient une idée symbolique de la machine qui est un peu figurée dans Le petit inventeur, dans ce dessin du Petit inventeur et aussi dans tous les films de science-fiction où on a des entités autonomes qui mèneraient des activités en fonction d’opérations dites intelligentes, c’est-à-dire qu’elles se donneraient à elles-mêmes leurs propres buts, leurs propres objectifs et qu’elles auraient un mode de raisonnement qui serait éventuellement logique, symbolique, interprétatif et, dans la science-fiction, auraient aussi une conscience.
Ce projet de l’IA a été débuté au milieu des années 50, il a connu deux vagues successives et il n’a jamais vraiment très bien marché, je le dis de façon caricaturale, il n’a jamais vraiment très bien marché.
Là on est dans une troisième vague de l’IA qui a une histoire longue, à laquelle Laurence a participé, qui est réapparue de façon forte avec des résultats extrêmement impressionnants à partir de 2010/2012. Le projet n’est pas du tout de rendre les machines intelligentes au sens de ce petit dessin, le projet est d’épouser la société en y prélevant plein de données avec une machine assez bête, extrêmement statistique, mais qui développe des modèles d’apprentissage. À la différence du modèle dit symbolique où la machine raisonne et, du coup, a une forme d’intelligence à laquelle on pourrait prêter éventuellement des attributs humains même si nous ne savons pas très bien ce qu’est l’intelligence humaine, là on a une machine qui perçoit. En fait elle perçoit des formes dans énormément de données, elle les apprend dans des modèles et ce modèle est dit connexionniste [2]. Ce qui est en train de bouleverser beaucoup de champs de recherche puis d’applications, de services, etc., ce sont ces nouvelles techniques d’apprentissage, qu’on appelle réseaux de neurones profonds [3], qui sont en train de se mettre en place.
Si j’ai fait ce petit rappel historique c’est pour dire que je crois qu’on a, dans nos sociétés, un décalage entre la transformation scientifique qui est vraiment une sorte de big bang parce que ça modifie tout, les gens qui faisaient de la recherche avec des méthodes symboliques dans les laboratoires de recherche sont en train de se dire « il faudrait que je mette de l’apprentissage », et puis l’image publique qu’on a de l’IA où on a gardé cet imaginaire qui a été inventé, en fait, par les fondateurs de l’IA symbolique dans les années 50. Je rappelle toujours cette petite anecdote frappante mais qui est typique : Marvin Minsky, un des pères de l’IA des années 50, était le conseiller scientifique de Stanley Kubrick pour 2001, l’Odyssée de l’espace. En réalité, tout cet imaginaire de la machine à conscience, de l’intelligence à conscience, n’est pas ce qui est en train de se faire. Ces machines prennent des données dans nos sociétés, elles fabriquent des modèles avec ces données et elles font des probabilités sur les chances que tel évènement puisse apparaître dans le monde et puis elles corrigent leurs erreurs. En fait, elles viennent d’un modèle beaucoup plus cybernétique dans l’affaire, donc on ne rend pas la machine intelligente ; on produit des artefacts qui se déploient de plus en plus dans notre environnement pour fabriquer de l’intelligence à l’interaction avec les données – je pense qu’on va beaucoup débattre de données – que nous, les humains, nous produisons. La machine ne s’est pas isolée de nos sociétés, en réalité elle s’est encastrée et prélève, par une série d’extensions successives dans le temps, dans l‘espace, des données de plus en plus nombreuses pour essayer de fabriquer des modèles de plus en plus pertinents, mais qui sont des modèles de perception plutôt que des modèles de raisonnement même, si on le dira sûrement tout à l’heure avec Laurence, on peut évidemment mettre du raisonnement sur ces techniques d’apprentissage.

Caroline Lachowsky : Laurence Devillers, puisque vous travaillez justement sur ces interactions homme/machine, j’ai envie de vous demander ce que font véritablement ces machines et qu’est-ce qu’aujourd’hui ces robots, qui n’ont plus rien de ce robot sur la couverture du Petit inventeur, font vraiment, sont capables de faire vraiment ? Qu’est-ce qu’on leur apprend ? Ce n’est qu’une question de données ? Ce n’est qu’une question de calcul ? En plus les termes sont compliqués : intelligence artificielle, neurones. Précisez-nous tout ça, Laurence Devillers, puisque vous travaillez dessus et depuis de nombreuses années.

Laurence Devillers : En fait il faut reprendre l’histoire quand même. L’intelligence artificielle dont vous parlez, des années 50, se développe sur deux axes : l’axe symbolique qui va enrichir peut-être l’idée de science-fiction dont vous avez parlé, mais aussi un axe connexionniste. Cet axe vient aussi de la même époque, en fait c’est l’idée de faire du biomimétique c’est-à-dire de reproduire des neurones comme des neurones de notre cerveau. On en fait un modèle mathématique en 1943, ce n’est pas récent. Le premier système d’apprentissage à partir d’un réseau de neurones c’est le Perceptron [4] de Rosenblatt qui date de 1957. Derrière, toute l’idée c’est que quand nous apprenons finalement nous apprenons par renforcement de certains liens entre nos neurones. On n’a pas des variables dans la tête, on a une intelligence qui apprend de façon distribuée. Toute l’idée de l’apprentissage machine c’est de simuler cela. Même si on prend des neurones artificiels, qu’on les met en réseau, on va essayer de faire un système multicouche capable d’adapter un certain nombre de paramètres qui sont la sensibilité d’apprentissage qui peut exister dans le vivant.
On a créé des machines qui, au début, ne marchaient pas. J’ai passé ma thèse en les utilisant pour faire de la reconnaissance de la parole, le bas niveau perceptif, disons, c’était pour passer du signal vocal représenté sous forme de vecteurs, de paramètres, en phonèmes qui sont les sons de la langue. Pour faire cela, j’utilisais ces modèles de neurones, mais ça mettait un mois sur un VAX [famille d’ordinateurs] parce qu’à l’époque je n’avais pas de machine qui puisse paralléliser les calculs. Or, derrière tout cela, ce sont des calculs mathématiques, des matrices et, en ce moment, nous avons une puissance de calcul qui est révolutionnaire par rapport à ce qu’on avait à l’époque. On travaillait déjà sur les données, on travaillait déjà sur les challenges, mais quand on parlait des données c’était un peu sale, à l’époque ce n’était pas le pétrole. On avait des difficultés pour monter des projets et faire financer la collecte de données.
De la même façon, les mathématiciens considéraient que ce qu’on faisait c’était de la petite mathématique, c’est-à-dire que c’était des statistiques. On a révolutionné tout cela. Pourquoi ? Parce que depuis on a maintenant des machines qui parallélisent, vous avez chez vous des GPU [Unité de traitement graphique] sur des petits portables avec une puissance de calcul que jamais on n’a eue à l’époque, on est capable de lancer des tâches qui apprennent à reconnaître par exemple un chat d’un chien sur des photos, à partir du son, des images satellites. Pour la médecine on parle beaucoup de pouvoir détecter dans des images, des radios, des formes de cancer de façon assez rapide. Pourquoi ? Parce que la machine va regarder sans présupposer, donc sans sémantique. Elle va regarder les corrélations des points qui sont sur l’image.

Caroline Lachowsky : On lui montre une quantité incalculable de données.

Laurence Devillers : Vous avez raison. En quoi c’est révolutionnaire ? C’est que l’humain, par exemple le médecin, ne peut pas voir autant d’images dans toute sa vie que ne pourrait en voir la machine. Donc la machine un, a cette fulgurance de données à son actif, deux, elle va regarder à des niveaux que nous ne voyons pas, que nous ne percevons pas. Par exemple quand j’écoute des sons, je n’entends pas les ultrasons, les infrasons et la machine peut les entendre. Quand je regarde un visage je ne vois pas des micros phénomènes ; si je ralentis une vidéo, peut-être que je vais voir des micros mouvements que je n’avais pas vus, la machine peut voir tout ça. Elle est maintenant extrêmement rapide, elle va beaucoup plus vite que nous, donc c’est normal qu’elle gagne au jeu de go qui est un jeu fini qui est très simple.
Maintenant j’en viens aux robots. Quel est l’intérêt du robot ? C’est de mettre sur une machine plusieurs de ces algorithmes d’intelligence artificielle capables de détecter des formes, d’apprendre en regardant quelqu’un faire une tâche, tout un tas de ces capacités qui sont liées à l’humain.
Maintenant je dirais qu’il y a toujours pas de pilote dans l’avion, c’est-à-dire qu’on a beau mettre sur ces plateformes tout un tas de modules capables de reconnaître des formes, d’interpréter, de traduire, de faire beaucoup de choses qu’on imagine comme très performantes, eh bien ce pauvre robot a du mal à de se déplacer. Si on le met dans un endroit comme ça, ça va être très compliqué pour lui parce qu’il y a des marches, parce qu’il y a des choses qu’il ne sait pas faire au premier niveau. On parle du paradoxe de Moravec [5], c’est-à-dire qu’il est capable de faire des tâches intellectuelles répétitives sur un grand nombre de données, faire le journaliste, faire de la synthèse, parler 23 langues, par contre, quand il s’agit de déboucher un évier, eh bien non ! Parce que c’est toujours différent dans la vraie vie. Cette variabilité, le fait que les choses soient un peu cachées, qu’on les devine, notre intuition, notre capacité à interpréter des choses qu’on ne voit pas, la machine n’a rien de tout ça, elle apprend très lentement. Même s’il commence à y avoir des robots maintenant et qu’on essaye, comme je le fais, de travailler sur l’affect, c’est-à-dire de détecter nos émotions, vouloir en générer à travers ces machines, la machine n’a absolument pas les mêmes capacités que nous. Il ne faut pas en avoir peur pour cela. Il faut bien comprendre ces concepts et je pousse pour qu’on éduque les enfants dès l’enfance sur ces systèmes : que sont-ils capables de faire ? Que peuvent-ils nous apporter ? Ils peuvent effectivement nous apporter beaucoup si on sait les manipuler et si, évidemment, ce ne sont pas des leaders, des géants du numérique qui font des monopoles autour de tout cela en essayant surtout de nous manipuler. Beaucoup de choses sur ces sujets-là.

Caroline Lachowsky : On va revenir sur tout ce qu’ils peuvent nous apporter, mais, Antoinette Rouvroy, je voudrais vous faire intervenir puisque, justement, on n’a pas besoin d’avoir peur pour le moment de ces robots, ce n’est pas ça la question, par contre ils fonctionnent, ils apprennent en nous calculant à partir d’une masse de données considérable. C’est là-dessus que vous travaillez.

Antoinette Rouvroy : Oui. Pour moi le phénomène des données massives, ces tsunamis de données, ces phéromones numériques qui prolifèrent en temps réel de nos actions, de nos interactions, de nos trajectoires, mais aussi des objets que nous utilisons et qui sont connectés entre eux, etc., toute cette masse de données, cette matière signalétique en quelque sorte, comme disait Félix Guattari, c’est une matière qui n’a pas de signification en elle-même, qui n’a jamais de signification que potentielle. Ça veut dire que les données émanent comme une couche supplémentaire, on pourrait même dire comme des déchets toxiques, parce qu’il devient parfois même plus difficile d’effacer les données que de les conserver. Donc ça émane, ça se produit, ça prolifère et, à partir de là, on peut effectivement inférer, on est même obligé, en fait, d’automatiser la transformation de ces données brutes, comme on les appelle, en informations opérationnelles. Je dis informations opérationnelles parce que ça n’a plus rien à voir avec le vrai ou le faux. Que produisent les algorithmes quand soi-disant ils nous regardent, d’ailleurs de leur regard sans regard parce que ça contourne complètement l’épistème visuel, ça n’est que du calcul, ça ne nous regarde pas. Il faut oublier cette histoire de panoptique « vous êtes regardé, surveillé, etc. ». On est dans un tout autre régime, on ne vous regarde pas, on vous calcule effectivement.
Mais que voient – pour utiliser quand même la métaphore visuelle – les algorithmes ? Ils ne voient rien. Par contre ils défont toutes nos images, c’est-à-dire qu’ils vont nous calculer d’une manière qui nous est incompréhensible et qui contourne absolument par exemple toutes les catégories statistiques auxquelles nous sommes habitués, ou les catégories socialement éprouvées de genre, de classe sociale, de milieu socioprofessionnel. Les algorithmes nous donnent l’impression de pouvoir passer à travers tous ces masques sociaux, toutes ces catégories toujours trop enfermantes, toujours un peu normatives, et nous donnent l’impression d’une très grande objectivité dans la mesure, précisément, où ils contournent la subjectivité du regard humain.
C’est déjà quelque chose d’assez particulier, c’est pour ça que je ne parle pas tellement de gouvernance mais plus de gouvernementalité.

Caroline Lachowsky : Algorithmique.

Antoinette Rouvroy : De gouvernementalité algorithmique en ce sens que ce nouveau mode d’ordonnancement du monde qui en passe par les algorithmes, par les données massives, transforme ; c’est une nouvelle rationalité de gouvernement.
Ce qui me préoccupe actuellement principalement c’est essentiellement la nouvelle temporalité, la temporalité extrêmement spéculative, préemptive, récursive, c’est-à-dire que c’est vraiment un bouleversement de notre temps qui est réalisé par les algorithmes. Les algorithmes ne voient rien. Quand je dis qu’ils ouvrent des espaces spéculatifs c’est qu’ils peuvent détecter non pas qui nous sommes, non pas ce que nous voulons, non pas nos intentions qui sont totalement indifférentes aux algorithmes, mais bien plutôt ce dont nos formes de vie sont impersonnellement capables.
Eric Schmidt [PDG de Google de 2001 à 2011, NdT] disait, il y a déjà quelques années, « nous ne savons pas exactement qui vous êtes, nous ne savons pas exactement ce que chacun d’entre vous veut, quelle est son intention, quelle est finalement sa singularité, par contre nous connaissons le banc de poissons dont vous faites partie », c’est-à-dire le profil général. Un profil ce n’est personne, c’est une forme spéculative, c’est une sorte d’ombre qui, si vous voulez, précède toujours l’objet. C’est une ombre éminemment mouvante qui ne vous correspond jamais complètement. Finalement ce n’est pas que vous êtes trop regardé, au contraire, grâce aux algorithmes on peut tenir compte de ce qu’il y a de plus éloigné des grands nombres, ce qu’autrefois, dans la statistique classique, on considérait comme du bruit. Aujourd’hui la distinction n’est plus faite de façon conventionnelle entre ce qui relève du signal et ce qui relève du bruit, tout est potentiellement signal, ça veut dire qu’on peut aussi tenir compte des particularités de vos modes de vie qui sont les plus éloignées des grands nombres, qui sont absolument particulières, c’est-à-dire qui ne vous rapportent à aucune moyenne ; on pourrait dire que ce n’est pas mal et ça correspond effectivement un peu à l’esprit du temps.
Dominique Cardon avait la bonne formule, « la haine de la moyenne ». Nous avons aujourd’hui la haine de la moyenne c’est pour ça que nous sommes très preneurs de toutes les personnalisations à l’échelle industrielle que peuvent réaliser les algorithmes, c’est-à-dire façonner un environnement informationnel et physique qui est parfaitement adéquat à mes profils, à mes multiples profils, c’est-à-dire à cette multitude sans autre qui me constitue. Nous voulons chacun être reconnu non pas comme la ménagère de moins de 50 ans, mais comme unique, créative, un être absolument génial qui sort de l’ordinaire, etc., qui est irréductible à aucun groupe et c’est précisément ça que proposent les algorithmes.
Un autre aspect qui me semble vraiment important relativement au temps cette fois-ci, c’est qu’on a toujours considéré que l’incertitude radicale, c’est-à-dire l’excès du possible sur le probable calculable, que cet excès-là, cette incertitude radicale, constituait jusqu’à présent une limite qui s’imposait à l’action intentionnelle ou à la volonté intentionnelle des acteurs. Grâce aux algorithmes de machine learning c’est exactement l’inverse. S’ouvre à nous la perspective d’une gestion ou d’une non gestion, d’une ingouvernance si vous voulez, d’une ingouvernance du monde social sur le mode du trading à haute fréquence. Le trading à haute fréquence c’est la digestion en temps réel de l’incertitude, c’est-à-dire la détection non pas de ce qui arrive mais des émergences possibles et la possibilité, pour les acteurs, d’agir par avance sur ces nouveaux espaces spéculatifs, sur ces opportunités et ces risques, de façon préemptive de manière à faire advenir effectivement, parmi tous les possibles, le seul possible qui convient à la fonction objective de l’algorithme, c’est-à-dire à l’intérêt sectoriel de celui qui utilise l’algorithme.

Caroline Lachowsky : Avant de faire réagir Laurence Devillers, je voudrais votre point de vue Dominique Cardon. En écoutant Antoinette Rouvroy je me dis à la fois que c’est formidable, c’est génial si on peut être précisément hors des cases et, en même temps, j’entends bien que derrière il y a d’énormes enjeux. Je ferai réagir Laurence aussi, mais je voudrais avoir votre point de vue Dominique Cardon.

Dominique Cardon : C’est un débat qu’on a avec Antoinette depuis très longtemps et toujours avec plaisir. L’argument est effectivement exactement celui que vient de dire Antoinette. La réserve que fait le sociologue, moins philosophe qu’Antoinette, c’est qu’en réalité je pense que l’imaginaire de cette intelligence artificielle est celui qui est décrit, sa réalité c’est que pour l’instant ça ne marche pas du tout. Ça marche très mal pour l’instant.

Caroline Lachowsky : C’est autre chose qui se passe en fait.

Antoinette Rouvroy : Ce n’est pas la question du vrai ou du faux, ni si ça marche ou si ça ne marche pas. À la limite moins ça marche, mieux ça marche !

Laurence Devillers : Exactement !

Dominique Cardon : On pourrait dire ça !

Caroline Lachowsky : Moins ça marche mieux ça marche !

Laurence Devillers : Oui parce qu’on fait attention à la machine, on l’aide en tant qu’humain. En fait on va développer une hybridation.
La connaissance générale des personnes sur ces outils est très faible parce qu’ils ne savent pas quels sont les algorithmes qui sont derrière, mais comme ils nous imitent on a tendance à être en empathie vis-à-vis d’eux. Vous prenez un aspirateur tout simple, quand il est cassé, les gens le rapportent chez Darty en disant « je veux le même, il connaît ma maison, il a un nom ». Quelque part, on projette sur ces machines des formes de vie ou de connaissance, elles sont proches, elles sont dans notre intimité, elles sont chez nous. On parle aux agents conversationnels. Vous ne pouvez pas imaginer à quel point les gens vont aller vers ces sujets. Au Japon, pour que finalement on accepte ces différents outils, j’ai entendu comme critère que c’était important qu’ils aient effectivement l’air pas dominant. Il est donc utile de jouer avec ça. Ça joue beaucoup sur les affects et ce sont les vraies décisions pour nous embarquer dans l’idée qu’on peut les aider à s’améliorer.

Caroline Lachowsky : Il faut qu’on soit empathique avec nos machines ! Dominique Cardon.

Dominique Cardon : Il y a évidemment une affaire statistique derrière. On a beaucoup fait de statistiques dans lesquelles on prédit toute une série d’évènements pour les gens et où on leur donne un score de crédit : est-ce qu‘on va leur accorder leur crédit, ou pas, en fonction de variables symboliques qu’évoquait tout à l’heure Antoinette ? Aujourd’hui des modèles viennent dire on va arrêter de représenter la société âge, sexe, revenus, etc., faire des modèles interprétables de ce type-là, on va prendre les données de caisse, les tickets de caisse de supermarché, on va prendre les traces de navigation sur Internet, on va y mettre aussi de la mobilité géolocalisée et puis on va faire une modèle des gens. Ce modèle, c’est exactement ce qu’indiquait Antoinette, va être plus personnel parce qu’il va tracer des singularités des personnes qui seraient sous les définitions catégorielles et arbitraires que nous avons définies sur l’âge, le sexe, le revenu, etc. Donc il y a finalement cette prétention à aller capturer quelque chose qui serait plus singulier, plus subtil du sujet, pour lui faire une prédiction qui serait plus adaptée. Je pense qu’une des raisons d’une partie du succès un peu commercial, c’est-à-dire relations publiques des gens qui fabriquent ces algorithmes, c’est de nous dire ça : on va calculer la société autrement parce qu’on en a assez de représenter les gens dans ces fameuses catégories, clusters de groupes, on va pouvoir calculer plus finement.
Quand je dis que ça ne marche pas, c’est qu’aujourd’hui la plupart des algorithmes qui font ces choses-là reviennent quand même vers la moyenne. Il y a évidemment cette potentialité des big data. On pourrait tout aspirer, tout mettre ensemble et dans, ces cas-là, ce serait ce rêve un peu laplacien de dire qu’il y aurait un ordre immanent du monde dont on pourrait découvrir la structure parce qu’on serait à un niveau quasiment atomistique. La réalité c’est qu’ils n’ont finalement pas assez de données, ils n’ont pas forcément les bonnes données. On a beaucoup d’enquêtes. Je pourrais raconter une magnifique enquête qui a été faite à Standford. Des familles américaines sont suivies de la naissance des enfants jusqu’à 40 ans, elles sont interviewées tous les ans avec des questionnaires incroyablement longs, on a toutes les informations sur leur vie sociale, leur vie éducative, leur vie familiale, leur vie extra-scolaire, etc. Ils ont lancé cette masse absolument énorme de données comme données sociales à toutes sortes d’équipes de recherche en machine learning pour faire le meilleur modèle prédictif de la réussite sociale ou de l’emploi. Tous ces modèles donnent des résultats minables. La conclusion c’est qu’il est probable, finalement, que ce qui est en train de se jouer dans le deep learning c’est parce qu’on a, comme l’a très bien Laurence, des données à un niveau granulaire, l’image ce sont des pixels rouges, verts, bleus, on a granularisé le son. Quand la donnée initiale est extrêmement granulaire on peut se passer de toute théorie, on enlève tout, on met le résultat final et on fabrique un modèle d’apprentissage. Mais quand, en réalité, on cherche à résoudre des problèmes plus complexes parce qu’on les a représentés avec des catégories, parce qu’on a beaucoup de données mais on n’a pas exactement la bonne catégorie qui va symboliser le genre de signal dont on a besoin, l’efficacité de ces modèles est plus faible. Je pourrais prendre un exemple même dans l’analyse d’imagerie médicale ; ça marche très bien quand on a bien échantillonné et paramétré des modèles de détection sur des IRM qui ont été calibrées et prises au même moment des symptômes, etc., mais quand on est en situation réelle on a des taux d’erreur qui restent importants. C’est formidable, c’est incroyable ce qui se passe, mais on a mis le produit de contraste, on n’a pas mis le produit de contraste, etc., les modèles commencent à bouger. On voit bien qu’on peut apprendre de ces données en les rendant granulaires mais le passage de modèle qu’on a appris de façon simple sur le son, l’image et le texte parce que là on a effectivement des résultats spectaculaires, quand on commence à rencontrer les données du monde social et qu’on bascule le modèle dans des données plus réelles, en apprentissage on dit « ça ne généralise pas », ça ne généralise pas si bien que ça, ça commet beaucoup d’erreurs et, du coup, ça revient souvent vers des résultats où on est vers la moyenne.

Caroline Lachowsky : Laurence Devillers, vous qui êtes vraiment les mains sous le capot et qui travaillez sur des agents conversationnels, la parole, l’interaction entre machines, je vois que vous n’êtes pas tout à fait d’accord.

Laurence Devillers : En fait, les données de comportement sont des données réelles, excusez-moi !

Dominique Cardon : Oui, mais votre ticket de caisse dans tel supermarché ce n’est pas le ticket de caisse dans l’autre supermarché, si les deux bases de données ne sont pas connectées on rate tout.
Les recommandations d’Amazon vous recommandent plein de livres que vous avez achetés en librairie. Le réel est quand même souvent plus complexe que la base de données.

Laurence Devillers : À l’heure actuelle je suis en train de travailler sur des normes là-dessus, sur la manipulation subliminale, sur le fait qu’on va calculer dans votre comportement, qui va plus loin que le ticket de caisse, qui va scruter ce que vous regardez sur Internet, énormément d’informations que, peut-être, vous n’avez même pas en tête, pour aller chercher des signaux qui vous ramènent plutôt dans un groupe et vous envoient des informations marketing, publicitaires ou de la politique ; vous faire changer d’avis c’est le grand enjeu actuel de tous ces systèmes qu’on appelle du nudge. Nudge, incitation à faire, ça vient des travaux de Richard Thaler [6], prix Nobel d’économie en 2017. Je travaille actuellement sur ces sujets-là en poussant des robots à venir questionner des gens ou des enfants à l’école et en essayant de nudger verbalement. Ce sont donc des informations qu’on va chercher dans la tessiture de la voix et ça marche très bien.

Caroline Lachowsky : Comment travaillez-vous avec ces robots, ces agents conversationnels ? Vous avez travaillé sur les robots émotionnels, encore un mot ! On a bien compris qu’il nous fallait de la compassion pour ces robots, parce que sinon ça ne marche pas, pour nos machines, nos petits outils qui sont nos doudous aujourd’hui. Justement comment est-ce qu’on interagit avec des machines et, tout de même, comment ça marche ?

Laurence Devillers : Le sujet que j’ai abordé, je travaille sur les émotions en modélisant les émotions des machines depuis les années 2000 parce que j’avais des systèmes avec des agents conversationnels qui répondaient au téléphone sur des tâches. Quand quelqu’un n’était pas content et disait « ça ne marche pas ce truc ! », la machine disait « veuillez répéter votre question ». Il y a eu un moment où on a entendu des trucs comme ça. Dans la tessiture de la voix il me semblait que c’était important de pouvoir améliorer un peu la réponse que faisait le système, donc j’allais chercher des traits liés à la colère, etc. J’ai fait partie de ces gens qui ont débuté sur ces sujets, ça avait débuté en 1997 au MIT par les travaux de Rosalind Picard [7]. En fait ce sont trois grands domaines : détecter l’expression des émotions, évidemment pas ce qui est caché, on ne lit pas dans le cerveau, c’est l’expression que vous avez sur le visage, dans la voix, par les gestes, et qui ne marche pas bien, comme vous le dites quelque part, mais qui marche déjà suffisamment pour nous manipuler, c’est ce que je veux dire. D’ailleurs perceptivement les humains entre eux ne se comprennent pas tous, en plus on travaille sur quelque chose qui est culturel : les émotions sont idiosyncrasiques, ça vient de votre éducation, la façon dont vous interagissez est liée à la hiérarchie. Au Japon, par exemple, on a une espèce de rire pour dire à son supérieur hiérarchique « je ne suis pas d’accord avec vous, mais je vais le faire quand même ». C’est multi-facette, le langage est d’une richesse incroyable. Bien évidemment qu’on ne va pas dans le marbre chercher la réalité, mais on cherche des indices qui permettent de savoir si vous êtes content, pas content, triste ou pas. Par exemple Amazon Echo, Alexa d’Amazon, va travailler là-dessus pour travailler sur l’isolement. Vous voyez le marché derrière ! Les gens isolés, tout seuls chez eux, qui vont commander un service et on va leur envoyer de la publicité. Vous allez avoir des machines qui vont de plus en plus venir vous proposer de choses parce qu’elles ont décelé des petits facteurs comme ça. Ce n’est pas une réalité, ce n’est pas ça. On va chercher de plus en plus grâce à ces algorithmes, avec ces objets, à vous représenter. Donc on peut vous manipuler facilement parce que vous ne savez pas ce que c’est, vous n’avez pas l’imagination de ce que ça peut être. Quand vous êtes sur Internet, que vous cherchez des choses, Google travaille là-dessus aussi et ne va pas chercher vos tickets de caisse, il va chercher si vous avez aimé ça, quels sont vos amis. Facebook fait la même chose, vous propose de nouveaux amis parce qu’ils pensent la même chose que vous sur des aspects assez fins, assez faux peut-être de temps en temps, mais qui sont quand même révélateurs d’un pouvoir derrière qui est caché et ce n’est absolument pas normal ! C’est totalement dissymétrique c’est-à-dire qu’on n’a pas conscience de tous ces algorithmes qui sont derrière, qui nous profilent, qui nous mettent dans des bulles, qui nous renvoient des choses qui ont été décidées par autrui, qui mettent un ordre dans ce que vous cherchez sur Internet. Tout ça c’est de la manipulation plus ou moins déguisée. Il est important de monter des normes en Europe pour dire « attention on veut que les gens soient au courant ». Ce n’est pas le consentement avec des pages et des pages que personne ne lit. Il va falloir éduquer pour qu’on prenne tous conscience de cela et si on peut pousser les industriels parce que des normes c’est dire aux industriels « attention, on est conscient de ça, on ne veut pas que ça se passe comme ça, et vous mettez peut-être des clignotants pour dire « là je profile la personne » ou je ne sais quoi », en tout qu’on soit conscient de ce qui se passe sinon on va être dans un monde terrible où une petite partie de la société qui manipule l’autre.

Caroline Lachowsky : Donc il faut, si je vous entends bien, et on va y revenir, à la fois l’éducation, il faut comprendre ce dont il s’agit, il faut se rendre compte de ce qui se passe réellement et pas de nos peurs à nous mais bien qu’on est calculé, que tous ces ordinateurs apprennent ces expressions faciales à coups de calculs parce qu’on leur en montre une quantité folle. Il faut qu’on comprenne ce qui se passe et qu’ensuite on installe des normes, on va y venir, des normes juridiques, des normes éthiques. Très compliqué !

Laurence Devillers : Il y a les règles juridiques, je pense que vous avez compris ce que c’est : interdiction de sous peine d’amende. La CNIL fait le grand gendarme. Il y a des règles qu’on ne peut pas vérifier, elle n’a pas les armes pour aller vérifier ce qui se passe.
Les juristes sont très bien parce qu’ils disent « il faut faire ci, il faut faire ça », mais, derrière, il faut que les industriels soient capables d’aller lever le capot de la machine et ce n’est pas facile parce que l’apprentissage machine n’est pas forcément explicable. On a bien entendu, ce ne sont pas des raisonnements symboliques ce sont des matrices de chiffres. Il va falloir rendre ces matrices plus explicables et puis il faut les encadrer. Il faut donner aux médecins des batteries d’exemples où la machine doit se comporter de telle manière ou lui montrer des exemples pour lesquels elle fait des erreurs. Il faut arrêter de dire que les machines ne font pas d’erreurs, elles en font énormément mais très différentes de nous. Nous faisons des erreurs sur certaines choses, les machines en font d’autres. Il faut apprendre à manipuler ça. Dès l’enfance il faut éduquer sur le pouvoir de ces machines dont il ne faut pas avoir peur pour certains sujets. En même temps, il faut interdire certaines applications. Vous voyez bien ce qui se passe en bioéthique, ce n’est pas parce qu’on sait produire des choses ou manipuler la génétique qu’on le fait. C’est la même chose pour tous ces outils. Il faut apprendre en quoi ils peuvent nous servir, sur quels domaines, et avoir une vision un peu plus large en disant « là c’est interdit », mais il y a plein de zones de gris dans lesquelles ce n’est pas du tout évident de trouver quelles sont les mesures, d’ailleurs on l’a vu avec les propos haineux, Facebook n’est pas capable de gérer ça et il n’ouvre pas non plus le capot aux chercheurs. Il faut se trouver des façons, des méthodologies pour décrire cela, et l’éthique va suivre la technologie, ce n’est pas dans le marbre. Il s’agit d’étudier ça sur le long terme, il faut qu’on réclame plus de recherche, plus d’imbrication entre la recherche et l’industrie si on veut utiliser ces différents outils ; il faut travailler sur le monitoring, la surveillance sur le long terme, se doter d’outils de mesure et, pour cela, il faut travailler vraiment sur comment c’est construit, qu’est-ce que je donne comme bornes et qu’est-ce que je donne aussi à chacun comme droit d’avoir un regard sur ces sujets.

Caroline Lachowsky : Antoinette Rouvroy, c’est à vous. Je vous vois bouillir.

Antoinette Rouvroy : Je suis un peu en porte-à-faux. J’ai l’impression d’entendre encore parler le bon vieux libéralisme alors que ces techniques, cette nouvelle rationalité gouvernementale est vraiment post-libérale, c’est-à-dire qu’elle n’a plus pour sujet le sujet libre, rationnel, autonome, l’unité fondamentale des libéralismes. On est dans un contexte avec cette émergence : par qui les big data sont-ils détenus ? Par les GAFAM en grosse majorité et par leurs équivalents asiatiques. Les algorithmes sont développés surtout par ces industriels-là simplement parce que ce sont eux qui ont amassé le maximum de données, ils en ont plus que n’importe qui d’autre, donc ils ont les moyens de développer. Bref ! On est face à un phénomène qu’il faut quand même appeler de son nom, c’est-à-dire qu’on est face à un capitalisme numérique qui n’a strictement rien à faire du sujet, de l’éthique fondée sur le sujet, etc. On est passé à un autre monde, à un monde qui est post-sémiotique, c’est-à-dire que ce que manipulent les algorithmes ce ne sont pas des individus, ce ne sont pas des sujets. J’entends la crainte de la manipulation des sujets mais je pense que la critique doit être plus radicale, non pas politiquement radicale mais aller à la racine des choses et la racine des choses c’est ce tournant sémiotique. On est face à un tournant numérique qui est une évolution du tournant linguistique, c’est-à-dire que l’unité de compréhension, d’explication du monde n’est plus le mot qui passe par un sujet rationnel, mais est la donnée, c’est-à-dire du signal décontextualisé et recontextualisé ensuite de façon tout à fait déterritorialisée. Si vous voulez c’est une sorte de grand corps sans organes dans lequel l’organe ou l’organisme aurait été remplacé par le cloud de données, on va dire ça. On est dans un autre monde.
Je suis moi-même juriste donc ça me fait mal au ventre de devoir le dire, mais un droit qui se contenterait de dire qu’il faut faire du droit éthique ou de l’éthique juridique. Je suis désolée mais la régulation éthique de l’intelligence artificielle est complètement à côté de la plaque si on ne comprend pas d’abord, par exemple, que la notion de donnée à caractère personnel n’a absolument aucun intérêt dans ce contexte de données massives. Il n’y a pas de donnée personnelle, la donnée est fondamentalement relationnelle. Ce qui donne de l’utilité, de la valeur, de la signification à une donnée, ce n’est pas son contexte référentiel, c’est-à-dire sa densité en informations, ce qu’elle renseigne sur une personne individuelle. Non ! C’est la potentialité qui sera précisément d’autant plus grande qu’elle est insignifiante, c’est-à-dire qu’on la rend amnésique de son contexte de production, finalement amnésique de la singularité de la vie dont elle ne témoigne plus mais qu’elle fragmente pour pouvoir, justement, être corrélée. Pour participer au capitalisme numérique les données doivent voyager léger c’est-à-dire sans contexte référentiel pour davantage pouvoir participer et être enrôlées dans toutes sortes de calculs qui ensuite vont, si vous voulez, permettre de la spéculation, c’est-à-dire non pas manipuler des individus, manipuler ce que les gens vont vouloir, mais au contraire adapter la normativité à la sauvagerie des faits.
En fait l’hubris est là aujourd’hui. Il est précisément dans cette volonté non pas de domestiquer, en anglais on dit leverage, c’est-à-dire de profiter ou d’exploiter l’incertitude radicale de nos comportements. On n’est pas en Chine. En Chine ça se passe différemment. Ici, au contraire, l’enjeu est de libérer toutes les pulsions. L’enjeu n’est plus du tout de cadrer les comportements dans certaines limites, l’enjeu c’est le désapprentissage de l’intelligence de toute limite. C’est ça le capitalisme numérique, c’est le désapprentissage des limites y compris des limites organiques, des limites fondées sur la limitation des ressources. Là je vous parle du côté le plus sombre de ce qui est en train d’arriver, le capitalisme numérique, ce coffre, est une perspective et c’est une utopie, je dirais une dystopie, en tout cas c’est complètement farfelu, l’idée finalement de transformer ou de traduire la perspective d’effondrement en perspective d’illimitation de la croissance. Pourquoi ? Parce qu’en fait aujourd’hui on ne capitalise non plus sur le travail, ce n’est plus le travail humain qui produit de la valeur, ce n’est même plus tellement les organismes vivants, bien qu’il y ait le bio-capitalisme, etc., ce sont les données et les données c’est du pur virtuel tellement c’est déconnecté du vivant, déconnecté de tout. Nick Land [8] avait perçu cette idée, il y a déjà longtemps, que la cybernétique et le capitalisme c’est la même chose, c’est exactement la même chose, c’est l’idée d’une émancipation du calcul contre tout ce qui devrait interrompre le calcul, c’est-à-dire l’incalculabilité de la fragilité de la vie, c’est-à-dire la passibilité des organismes vivants. C’est ça l’enjeu aujourd’hui.
Il y a quand même une urgence. Moi qui ai des enfants jeunes je m’inquiète de leur avenir. Aujourd’hui l’enjeu ce n’est pas de protéger les données à caractère personnel, individuelles, etc. Au contraire ! Cette revendication de vie privée, ma vie privée, ma bulle, etc., va exactement dans le sens de cette fragmentation, c’est-à-dire dans le sens à la fois de cette hyper-haute résolution du numérique qui passe à travers toutes les formes signifiantes, évidemment à travers toutes les formes politiques ou les formes de mobilisabilités politiques, haute résolution mais aussi haute déterritorialisation. Frédéric Neyrat [9] avait cette phrase que je trouve admirable, en une phrase il a tout résumé, il dit que les deux maux dont meurent aujourd’hui les sociétés, c’est cette utopie de l’indemne, cette idée d’une indemnité, c’est-à-dire que quoi qu’il arrive de toute façon les technologies vont nous sauver, on peut continuer à tout détruire ! Cette idée qu’on va être indemne parce que les technologies vont nous sauver, l’intelligence artificielle va nous sauver, etc., donc on peut continuer à tout détruire, cette idée de la programmabilité des conduites et ça ne marche pas ! Bien entendu que ça ne marche pas ! Quand je disais tout à l’heure « moins ça marche, mieux ça marche » c’est précisément ça, c’est précisément cette précarité ontologique, le fait que les sujets sont des processus en constant dépassement d’eux-mêmes, donc qui produisent toujours de nouvelles données, ce qu’on n’avait justement pas prévu. Et c’est précisément de ce qu’on n’avait pas prévu, de ce qui était imprévisible, incalculable, des erreurs, c’est bien parce qu’il y a des erreurs et qu’il y a de l’incalculabilité, que les données sont limitées, que les algorithmes apprennent. Quand je dis que c’est un nouveau monde pour la rationalité moderne, héritée de Kant, c’est un renversement complet de perspective en même temps qu’une nouvelle baffe narcissique à l’être humain.

Caroline Lachowsky : Ça promet ma chère Antoinette ! Du coup on se demande quels sont les enjeux. Je pensais qu’on allait effectivement parler d’enjeux éthiques, d’enjeux juridiques, de questions pour l’emploi.

Antoinette Rouvroy : Si ça ce n’est pas un enjeu éthique, excusez-moi !

Caroline Lachowsky : C’est un enjeu totalement énorme ! Dominique Cardon, je ne vais pas vous demander de nous rassurer, mais quelles sont les pistes par rapport à ça et est-ce que vous partagez ce que vient de dire Antoinette ? Finalement les vraies questions, les vrais enjeux ne sont pas du tout ce que l’on croit. Nos peurs ne sont pas celles que l’on devrait avoir ; pour en revenir à l’image du robot ce n’est vraiment pas ça le problème et vraiment pas ça la question.

Dominique Cardon : Du coup je me trouve dans une situation ! Je vais faire le modéré.

Caroline Lachowsky : La prochaine fois !

Dominique Cardon : Je partage avec Antoinette l’idée que les débats éthiques top-down depuis les institutions sont importants et nécessaires, mais qu’ils sont un peu vains. C’est très concret, en réalité il y a plein d’intelligences artificielles, on parle de plein de sujets en même temps, donc faire une norme, une règle juridique sur plein de sujets c’est bien pour se donner des orientations : il faut que ce soit plus transparent, il faut que ce soit auditable, il faut qu’il y ait du consentement. On ne peut pas être contre, mais on n’a pas dit grand-chose quand on a dit ça, surtout quand on ne l’a pas fait. Tu l’as très bien dit Laurence, en réalité il faut une implémentation de ces normes.
Les choses auxquelles je suis attentif c’est d’abord au fait que demander une auditabilité, une transparence des algorithmes c’est très important, je pense qu’il faut vraiment le faire, il faut le faire surtout vis-à-vis des grands acteurs du Web dont on a parlé, c’est absolument évident, ils masquent tout, ils cachent tout, ils ne répondent pas ou il y a un code de conduite, ils répondent à un vague questionnaire tous les ans, mais on ne sait pas, ce n’est pas vérifiable, ce n’est pas auditable, c’est problématique. On va effectivement tomber sur d’énormes systèmes calculatoires dans lesquels on va avoir un immense vecteur qui va être face à « c’est le modèle qui a pris ça » donc, en réalité, ce n’est pas vraiment auditable.
En revanche ça veut dire, c’est mon côté social-démocrate, on ne perd pas la main. Je pense qu’il faut une critique forte.

Caroline Lachowsky : On ne perd pas la main parce qu’il faut une critique forte, parce qu’il faut toujours un humain, comme le rappelle aussi Laurence, derrière la machine et qu’il y en toujours.

Dominique Cardon : Il y a des humains derrière la machine et surtout il y a des bases de données. Là on dit les données sans dire bases de données. Quand on s’occupe concrètement des choses, les données ce sont des bases de données qui ont été constituées de telle ou telle manière, on les a extraites et parfois de façon absolument problématique et scandaleuse, mais on les a extraites avec des formats, des cases. Il faut auditer les bases de données qui servent à l’apprentissage des modèles. En réalité les modèles qui nous calculent, qui nous prédisent et qui nous promettent autant de choses, ont été fabriqués sur ces bases de données et ce sont les bases de données qui produisent les biais, ce sont les bases de données qui génèrent les futurs calculs. Ce ne sont pas les seules parce que les objectifs d’apprentissage qu’on va donner vont évidemment jouer un rôle central. Là il y a une critique qui est intéressante à faire.
Par rapport à ce qu’a dit Antoinette, là on rentre plus dans des dispositifs de recherche, je crois beaucoup qu’en réalité, pour faire la critique des nouveaux calculateurs, comme Antoinette l’a dit, c’est post-sémiotique, en fait on n’y comprendra rien. On peut mettre tous les gens qu’on veut, c’est post sémiotique. Il faut remettre autour du calcul des systèmes de rétro-ingénierie qui nous remettent des variables ou des patterns qui soient symbolisables et compréhensibles pour effectivement exercer une critique, pour voir si l’algorithme qui dit qu’il fait ça le fait réellement, a bien fait ce qu’il dit avoir fait, et retrouver des chemins, on appelle ça des validations ou de la vérification post-hoc. Après ça devient très prosaïque parce qu’il faut prendre les chantiers un par un et dans ces chantiers un par un il y a aussi des différences importantes à faire.
Je ne partage pas vraiment l’avis mais c’est aussi ce que la directive européenne a donné, il y a plein d’endroits où ça ne me pose pas de problème, mais il faut qu’il y ait un consensus de nos sociétés pour dire que si on ne comprend pas tout ce n’est pas très grave.
Là, tous dans la salle, vous ne comprenez rien aux modèles qui servent à faire les prévisions météorologiques, vous vous en servez, mais vous n’y comprenez strictement rien et ce serait très long. Pour l’instant ces modèles sont plutôt symboliques, mais ils vont utiliser de plus en plus des techniques d’apprentissage, ça ne me gêne pas. Évidemment si ces modèles font de la détection d’émotions pour ensuite essayer de faire un détecteur de mensonge dans le cadre de cour criminelle, ça m’ennuie gravement.
On voit bien qu’il va falloir évaluer le risque des prédictions dans nos sociétés et trouver des manières de se dire qu’il y a des moments, des endroits où il va falloir effectivement rendre ce calcul peu appréhendable symbolique parce qu’on va avoir besoin de le vérifier.
Pour vraiment finir et conclure, parce que je partage vraiment vos points de vue, il ne faut pas laisser les grands opérateurs du numérique faire eux-mêmes cette vérification ou bien dire aux autorités de régulation « vous voyez, je l’ai bien faite ». Il faut absolument que les régulateurs, les sociétés, et les sociétés ça veut aussi la société civile, les ONG et les chercheurs, puissent accéder et faire ces vérifications de façon indépendante.

Caroline Lachowsky : Laurence Devillers, est-ce que c’est possible, justement, de faire ces vérifications ? Vous qui faites aussi partie de nombreux comités d’éthique pour réguler l’IA, internationaux et européens, est-ce que c’est possible ? Est-ce que c’est faisable ? Est-ce qu’il y a aussi une volonté de le faire ?

Laurence Devillers : Je crois que sur l’Europe on a montré qu’on avait une volonté de le faire, qu’il faut aussi être solidaires et pousser. Même si on souhaitait, demain, se passer de toutes ces technologies, il ne faut pas rêver ! Vous les avez sur votre téléphone et partout, sur votre ordinateur, dans votre voiture. Il y a de l’IA partout ! La plupart du temps, quand on diabolise les données comme on vient de l’entendre, du coup qu’est-ce que ça a comme répercussions ? C’est aussi une espèce de paradoxe : vous donnez vos données sans arrêt sur le téléphone puisqu’elles s’en vont auprès des géants du numérique qui capturent comme ils veulent les données sur notre territoire, par contre, quand on dit « donnez vos données pour qu’on fasse des modèles qui soient souverains, sur lesquels on travaille ici, où on essaye effectivement de rendre plus transparent et de le faire correctement », là plus personne ne veut donner ses données. C’est terrible !
Je vous raconte une espèce de paradoxe. Je viens de la technologie de la langue. Dans le laboratoire dans lequel je suis on travaille sur des modèles de traduction, de reconnaissance de la parole, d’identification de la langue, des tas de choses comme ça. Figurez que sur l’Europe on met en avant le plurilinguisme en disant « dans la langue j’ai la culture, je vais sauvegarder la culture de chacun », ce qui est formidable. Jusqu’à présent comment marche la traduction ? Comment marche-t-elle la plupart du temps dans les systèmes utilisés par l’Europe ? Ça marche avec une langue pivot. Quelle est la langue pivot ? C’est l’anglais.

Dominique Cardon : Il y a maintenant d’autres langues sur les vecteurs.

Laurence Devillers : Non. Pour l’instant. On va faire du multilingue. Je viens d’écouter ça pendant trois jours, c’était encore avec une langue pivot qui est l’anglais. Si vous regardez le nombre de technologies qui sont développées dans le monde, 60 % sur la langue sont faites sur de l’anglais et très peu sur nos langues européennes. Il faudrait un petit peu renverser la vapeur ! Si on veut effectivement pouvoir les utiliser, ouvrir le capot, vérifier ce qui se passe et avoir des technologies souveraines, il faudrait aussi que nos industries soient émergentes. Ce qui se passe pour l’instant, en Europe en tout cas, c’est d’un côté une peur assez, comment dire, fantasmée, parce qu’on n’est pas à la fin du monde, il ne faut pas exagérer, ce n’est pas parce qu’on a des portables et des algorithmes qui permettent de reconnaître des chiens et des chats qu’on en a partout. C’est à nous de dire ce qu’on veut faire. C’est à nous de dire au politique quelle est notre vision du monde, comment nous voulons organiser cela. Je suis sidérée et je demande au gouvernement tous les jours, dès que je peux, dès que qu’on me donne la parole — j’ai écrit ce livre Vague IA à l’Élysée — pour demander pourquoi on ne débat pas là-dessus, pourquoi le numérique est sous le ministère de l’Économie. Les sciences du langage sont de la culture. Pourquoi n’existe-t-il pas un ministère qui englobe le fait qu’on a besoin d’en parler pour l’éducation, pour la santé, pour tout un tas de choses, pour l’écologie. Ce n’est évidemment pas la solution à l’écologie puisque tout ça coûte en énergie. Bien sûr que non !

Caroline Lachowsky : C’est un point qu’on n’a pas abordé, l’enjeu énergétique, bien sûr !

Laurence Devillers : C’est une équation qu’il faut calculer. On doit trouver des marqueurs de tout cela. On doit rendre plus transparent le fait que tout cela est là, que c’est invisible sur son portable, c’est invisible dans toute la vie autour de soi et que chacun a aussi sa responsabilité dans tout ça lorsqu’il va travailler, regarder sous Google, avoir un portable de Apple, etc. On doit pousser ces industriels à jouer le jeu correctement et pour l’instant ce n’est pas le cas. Les BATIX, les Baidu, Alibaba, etc., qui sont les pendants des GAFA, Google, Meta qui arrive bientôt, sont terribles parce qu’ils sont sur le pouvoir économique de tout ce qui est en train d’être fait. Je rejoins ce qui vient d’être dit, il y a un danger, il ne faut pas laisser faire, il faut aussi qu’en Europe nous ayons notre façon de gérer au mieux les choses.
Je prends l’inverse maintenant. On a à gagner sur la santé. On a à gagner à corréler des données entre l’environnement et la santé pour mieux comprendre certaines maladies, pour mieux soigner le cancer, pour arriver à faire des choses assez fulgurantes, on a intérêt à pouvoir corréler des données comme celles-là. One Health [10] était, par exemple, un des grands programmes que je trouve très intéressant pour aller sur des sujets de moins de dépenses d’énergie, on a aussi besoin de ça. Il faut que l’équation, qui est complexe, soit regardée dans toutes ses dimensions.
Ce que je trouve incroyable c’est que dans la société on ne pousse pas les politiques à parler plus de ça, on laisse faire. Les choses invisibles n’ont pas l’air de nous perturber, par contre dès qu’on dit « il faudrait collecter des données. — Ah non je veux pas ». Il y a en cela à rationaliser et à trouver comment on peut équilibrer et comment on peut rester souverains de notre culture parce que c’est ça qui est en jeu lorsque je n’utilise que des outils américains. Qu’est-ce qui se passe en Afrique ? En Afrique, à l’école, les enfants apprennent maintenant le chinois, le mandarin. En Afrique, c’est la nouvelle grande guerre entre les Américains et les Chinois pour prendre le pouvoir. Imaginez où cela va !
Dans les normes, la guerre des normes également. Je pilote un groupe sur les normes, très peu d’industriels européens sont là. Il y a beaucoup de GAFA, il y a Huawei derrière. Toutes ces puissances sont en train de travailler là-dessus et c’est notre avenir.
On a intérêt à ne pas avoir peur de tout, ne pas non plus être naïfs. Il faut se donner les outils pour mieux contrôler. Il faut absolument demander à ce que ces débats soient menés dans la société avec une vision à long terme, avec une vision sur les dépenses d’énergie, une vision de l’écologie du numérique et qu’on ait une troisième voie.
Comme vous le disiez tout à l’heure, je suis aussi dans des comités internationaux comme le PMIA, Partenariat mondial en IA [11], qui est une émergence de ce qu’a fait le président Macron avec Justin Trudeau à Biarritz, qui est en fait de mettre ensemble 25 démocraties qui travaillent sur différents sujets. En France on a deux sujets : l’innovation et le futur du travail. Est-ce que vous entendez parler de cela ? Non, et c’est anormal ! J’ai demandé que le Medef soit dans la boucle, j’ai demandé que des syndicats de travailleurs soient dans la boucle. Il faut absolument qu’on réfléchisse tous, qu’on débatte et qu’on trouve les bonnes idées. Il ne s’agit pas d’être arc-bouté contre ou totalement pour en essayant d’en tirer une manne économique. Il faut vraiment raisonner sur le futur de nos enfants, c’est-à-dire dans quelle vie vont-ils vivre ? Que peuvent faire ces outils et qu’est-ce qu’ils ne peuvent pas faire ? À nous de décider de cette éthique-là.

Caroline Lachowsky : À nous de décider Antoinette, peut-être rapidement si on veut répondre à des questions.

Antoinette Rouvroy : Justement c’est bien là l’enjeu. L’enjeu c’est la décision. L’énigme qui me travaille depuis longtemps c’est cette question de la problématisation. Puisqu’on nous parle toujours de solutions logicielles, solutions d’intelligence artificielle, mais qui a décidé de ce qu’était un problème, le problème auquel répond l’intelligence artificielle ?
Comme le dit Dominique on a parlé de beaucoup de choses très différentes. Les intelligences artificielles qui font de la hiérarchisation de contenus ou celles qui font de l’évaluation de crédit, celles qui font du scoring, qui font des appariements, ce sont chaque fois des choses très différentes dont les enjeux éthiques et juridiques sont extrêmement différents.
Pour vous parler très brièvement de ce que c’est. Pour moi le rapport entre cette normativité algorithmique et la normativité juridique à laquelle, je pense, nous devons tenir parce que le risque c’est que le droit lui-même se fasse progressivement grignoter par cette rationalité spéculative. Et là qu’est-ce qu’on perd ? On gagne certainement beaucoup de choses, pour donner aussi des exemples positifs parce que je ne suis pas luddite du tout, je trouve ces technologues passionnantes pour des tas d’exemples dont certains m’ont d’ailleurs été donné par Laurence. Dans le domaine du droit c’est notamment très intéressant d’avoir des algorithmes qui peuvent donner, rendre une image un peu en miroir de toute la jurisprudence, analyser toute la jurisprudence passée sur un sujet, donner un état du droit. Les algorithmes ont la capacité de détecter des régularités sur des très grands nombres. Aucun juriste, quand bien même il est très appliqué à étudier la jurisprudence, ne peut voir tout ça, donc ce sont des choses qui sont très intéressantes, bien entendu ! Il ne reste pas moins, quand on parle d’algorithmic decision-making, en fait de décision prise par un algorithme, on vous dit que ce ne sont que des recommandations par exemple une recommandation de libérabilité conditionnelle, un score de libérabilité conditionnelle c’est-à-dire un score de risque de récidive détecté par des algorithmes, on peut se dire « de toute façon c’est le juge qui décide ». Vous voyez que le problème n’est pas dans les algorithmes. Le juge va généralement se conformer à la recommandation de la machine s’il craint, dans son milieu non algorithmique, c’est-à-dire dans son milieu social, dans le milieu de l’administration de la justice, d’être très sévèrement sanctionné s’il prend une décision contraire à la décision de maintien en détention qui lui a été recommandée par l’algorithme et que, effectivement, il y a récidive.

Caroline Lachowsky : Je me permets de vous interrompre, Antoinette, parce qu’à la séance précédente nous avons évidemment parlé aussi de ces questions juridiques et d’une autre manière disant qu’au fond les algorithmes ne faisaient que reproduire, répercuter en plus grand des inégalités déjà existantes.

Antoinette Rouvroy : Bien sûr. Par exemple si vous entraînez les algorithmes sur toute une jurisprudence biaisée, qui a été rendue par des juges biaisés, l’algorithme va être biaisé. C’est tout à fait garbage in, garbage out comme on dit, c’est évident.
Pour toutes ces raisons je pense que l’essence du droit ou l’essence du jugement ou de la décision et de la dignité du jugement tient précisément à ce que le jugement est toujours pris sur fond d’indécidabilité. Décider, Derrida [12] en parlait dans Force de loi, ce n’est pas suivre le résultat d’un calcul, sinon on n’est pas un juge, on est une machine à calculer et ça n’a rien à voir. Le juge prend une décision et il sait qu’il prend une décision injuste, toujours. Il sait très bien que la loi n‘est pas conforme à la justice mais que son interprétation de la loi, un peu en son âme et conscience, est une approximation, la meilleure approximation possible, un peu comme un algorithme d’ailleurs. Finalement la fonction objective du droit, si on peut traduire ça comme ça, du système juridique, c’est la justice.

Caroline Lachowsky : Dominique Cardon.

Dominique Cardon : Juste sur cet exemple que tu connais bien, c’est au cœur de notre débat, s’il y a des biais dans les algorithmes des décisions passées des juges c’est que les juges, dans la sacralité du jugement qu’est l’incertitude, etc., ont pris plein de mauvaises décisions, des décisions racistes, des décisions discriminatoires, etc.

Antoinette Rouvroy : On peut faire appel.

Dominique Cardon : C’est une magnifique exaltation de la décision du juge. Quelqu’un qui fait un peu de statistique se dit que ce serait quand même pas mal d’équilibrer les cours américaines : on sait que la décision n’est pas la même si elle est prise le matin ou l’après-midi après le repas, etc., donc il y a un petit point. Ce petit point m’amène sur une chose centrale que disent les sociologues, mais très prosaïque, nous sommes vraiment prosaïques sur les algorithmes, mais que tu soulignes, ce n’est pas parce que notre environnement incorpore de plus en plus de calculs qu’on est de plus en plus manipulé, etc., partout. Il y a une agentivité [13] humaine qui est très forte. La vraie défense en fait sur les algorithmes c’est d’augmenter notre agentivité critique et là on a plein d’exemples Dans le cas des juges que tu signales, tu connais les enquêtes d’Angèle Christin [ethnographe, maître de conférence et professeure au département de Sociologie de l’Université de Stanford], etc., les juges ont ça dans leurs dossiers, ils prennent les décisions à plein d’autres moments.
Les très bonnes enquêtes montrent que les gens savent qu’il y a un algorithme d’Amazon dont on nous raconte partout qu’il manipule tout le monde, mais leur copain c’est vachement mieux comme recommandation que les algorithmes et c’est un peu toujours pareil. En réalité il y a aussi une autre force, c’est le sociologue qui rappelle ça, que sont nos relations, nos subjectivités, nos affinités, plein de choses qui font que bizarrement, dans la mythologie qui s’installe autour de l’intelligence artificielle, le sujet devient cette pâte disparaissant dans laquelle il suffit qu’on le nudge à droite, qu’on le nudge à gauche et il suit. On a ce débat sur la désinformation dans lequel on fait dire un peu n’importe quoi à l’idée que les gens seraient désinformés parce qu’on les a simplement piqués avec du Cambridge Analytica [14]. Il n’y a aucune enquête qui montre que Cambridge Analytica a déplacé des voix.
En réalité on oublie que nous sommes des sujets, que nous sommes bombardés d’informations, qu’il y en a qui nous guident, qu’il y en a qui ont des effets structurants, il y a vraiment des effets forts, mais il y a aussi une capacité d’agentivité des humains qu’il faut constamment attiser et qu’ils ne font pas aussi docilement tout ce que ces techniques leur recommandent.

Caroline Lachowsky : vive l’inventivité critique des humains !

Antoinette Rouvroy : Je veux juste terminer sur mon argument sur la justice. Le juge prend effectivement plein de décisions, le juge décide, en fait il est tout aussi arbitraire, finalement, que la machine, on va dire ça comme ça, dans une certaine mesure, mais il justifie, il est responsable de sa décision, ce que n’est pas nécessairement un algorithme qui va apprendre. Si vous voulez l’algorithme va digérer son erreur et l’erreur n’est pas une faute pour l’algorithme, l’erreur est une occasion de s’améliorer, ce n’est jamais une faute, tandis qu’un juge est responsable des conséquences de sa décision.

Dominique Cardon : Je peux te rejoindre sur ce point.

Antoinette Rouvroy : Merci. Parce qu’on sait ça, parce qu’on sait que juge est imparfait contrairement à la mythologie qu’on se fait un peu de l’algorithme parfait, objectif, qu’on se fait dans la mentalité commune. Comme on sait que le juge est imparfait c’est pour ça, finalement, que le droit est une sorte de dogmatique, c’est vrai que c’est dogmatique, mais c’est une dogmatique consciente d’elle-même et qui, dès lors, organise elle-même la remise en question de ses propres productions. Et c’est finalement ça la beauté du droit qui est dans cette négativité, toujours dans cette possibilité, dans le fait qu’il est tellement imparfait. Je pense que ce sont ces imperfections-là auxquelles il faut tenir et ce sont ces imperfections-là qui font qu’on justifie les décisions à l’égard non pas d’un calcul, mais à l’égard de la singularité de la situation d’une personne vivante sur qui le jugement va produire des effets très significatifs.

Caroline Lachowsky : Responsabilité, décision, créativité et inventivité humaines. Est-ce qu’il y a des questions parmi tous les sujets qui sont là ? Il y a un micro qui tourne. On va peut-être prendre plusieurs questions.

Public : Je vais avoir un petit de mal à m’exprimer par rapport au niveau du débat. Est-ce qu’on a du recul, est-ce qu‘on a des études sérieuses sur le comportement des gens depuis l’arrivée du Minitel, depuis Internet, depuis 30 ou 40 ans ? Est-ce qu’il y a vraiment des études très sérieuses sur le comportement des humains ?

Caroline Lachowsky : Vous voulez répondre ? Laurence.

Laurence Devillers : Il y a un nombre important, plus de 90/95 % de personnes qui ont des portables. Il y a des quantités incroyables de gens qui se connectent sur Internet, des heures sont passées devant des machines ce qui n’était pas le cas avant. On passe énormément de temps devant une machine, donc oui, ça a des incidences. On sait que ça a des incidences sur l’attention des enfants à l’école. Il y a eu des quantifications, de nombreuses études montrent que ça a des répercussions non négligeables et qu’il faut éviter que les petits enfants soient devant des écrans. Il y a des littératures incroyables sur la petite enfance par rapport à ces machines. Il faudrait poser une question précise parce que sinon…

Caroline Lachowsky : On va peut-être prendre une autre question.

Puiblic : Bonjour. Je voulais demander à Madame Rouvroy quelles sont les préconisations au vu de la relationnalité des données et au fait que, tout à l’heure, vous avez critiqué les solutions libérales, individualistes. La deuxième question concerne les infrastructures. C’était un peu l’absent de la discussion, c’est-à-dire que les bases de données c’est très important mais les bases de données sont à 80 % sur le sol américain ce qui implique l’extraterritorialité du droit américain, etc. C’est l’enjeu de la souveraineté numérique en Europe.

Caroline Lachowsky : Antoinette peut-être.

Antoinelle Rouvroy : Merci beaucoup. Cette question du statut des données est effectivement une question extrêmement pertinente. On a l’habitude, on a une sorte de prédisposition à considérer que la donnée c’est nécessairement personnel. Ça vient de la bioéthique. On a calqué le statut de la donnée sur le droit médical, c’est-à-dire qu’on a presque lié ça à la dignité humaine. Un juriste italien, Stefano Rodotà [15], parlait de habeas data, comme si je maîtrise mon corps. Je comprends, mais en même temps ce n’est pas votre corps. La donnée est quelque chose qui est produit à propos de vos comportements, ce n’est pas un élément de votre corps humain, donc les enjeux ne sont pas tellement proches du droit médical.
J’avais cette idée, peut-être un peu folle et que je n’ai pas encore vraiment développée, de plutôt fonder cela sur le droit des peuples à disposer d’eux-mêmes. Exiger effectivement un consentement beaucoup plus collectif peut-être, une gestion beaucoup plus collective des données, certains pensaient à un droit social des données. Il y a là une tout autre généalogie pour penser la protection des données. Le réductionnisme ou l’individualisme méthodologique n’est pas une fatalité même si tous nos droits et libertés fondamentaux sont essentiellement, et pour de bonnes raisons en fait, fondés là-dessus. Je pense qu’il y a lieu relativement à ces enjeux, qui sont très rhizomatiques, de penser les choses tout autrement, en se fondant sur le droit des peuples à disposer d’eux-mêmes ; c’est effectivement un enjeu de souveraineté. C’est un enjeu de souveraineté de pouvoir décider collectivement de comment nous sommes calculés, quels sont les critères de mérite, de besoin, de désirabilité, de dangerosité qui président à la répartition des opportunités dans une société donnée. Ce sont des enjeux fondamentaux de justice qui doivent être délibérés au Parlement. Or aujourd’hui, ceux qui calculent ça, calculent ça au départ des données. L’enjeu est vraiment structurel et collectif.
Quant aux enjeux des infrastructures, on a effectivement cette idée que l’économie numérique est quelque chose de tout à fait abstrait, évanescent, angélique, qui ne laisse pas de traces, qui est aérien. En fait c’est une économie qui est éminemment cannibale. Elle est cannibale, elle mange de la chair humaine parce que les composants électroniques sont fabriqués au départ de ressources qui ont été extraites notamment au Congo par des enfants ou dans les usines de Foxconn qui produisent les éléments de microélectronique, par des gens dont on reproduit juste la force de travail en les nourrissant le minimum, etc. Rematérialiser les enjeux est quelque chose d’absolument essentiel et voir qu’il y a là aussi des enjeux de justice globale absolument essentiels. Je pense que tant qu’on ne discutera pas de ça, on ne résoudra rien.
Je pense que vous posez vraiment les bonnes questions.

Caroline Lachowsky : Rematérialiser les enjeux, un droit social des données. Laurence Devillers, votre point de vue là-dessus.

Laurence Devillers : La question posée c’était pourquoi les plateformes sont-elles américaines ?

Caroline Lachowsky : En gros, quelles pistes donner, et la question des infrastructures, les datacenters.

Laurence Devillers : On a aussi des datacenters en Europe et on a des solutions européennes. Je ne sais pas pourquoi j’ai à répondre à cette question qui vous était adressée, mais je vais répondre quand même.

Caroline Lachowsky : Dominique Cardon vous y aurez droit aussi.

Laurence Devillers : Je ne comprends pas pourquoi les gouvernements… alors que les Américains font ça, en tout cas privilégient les acteurs américains, ce sont les gouvernements américains qui ont fait monter les GAFA. Donc pourquoi nous, quelque part, nous ne préservons pas aussi notre territoire en poussant les industriels et en utilisant leurs services puisque finalement, même à l’Élysée, on travaille avec Microsoft, etc. Je suis allée à un dîner à l’Élysée tout au début, avec Cédric Villani, où effectivement les acteurs qui étaient autour de la table étaient les GAFA avec les grands Américains présents comme Yann Le Cun [16], mais il n’y avait pas un industriel français. Je pense qu’il y a sans doute quelque chose qui est en train de changer parce qu’on se rend compte qu’il est maintenant nécessaire de réellement travailler sur ces sujets et pas juste des promesses. Il y a des solutions qui devraient être proposées pour le Health Data Hub [Plateforme des données de santé], que je connais bien aussi pour être dans son conseil scientifique. J’espère que derrière il y aura la pérennisation aussi pour d’autres sujets. OVH avait aussi des solutions, en Europe il y en aura d’autres. Peut-être que c’est en mettant plusieurs acteurs européens autour de la table qu’on arrivera à faire toute la solution entière que proposait Microsoft. En tout cas ce sont pour moi des sujets essentiels, vous avez raison, il faut en parler de plus en plus.

Caroline Lachowsky : Et les mettre sur la table. Dominique Cardon peut-être un mot, je crois qu’il y a encore une question.

Dominique Cardon : Le Health Data Hub est au cœur de beaucoup de controverses. Les gouvernements européens et français font des choses, mais ils ne font pas assez. Il y a évidemment le thème d’un retour de la souveraineté dont je ne suis pas fan, donc il y a des gens qui disent qu’il faut que le cloud soit souverain donc que les infrastructures soient relocalisées. Le gouvernement a inventé un truc bizarre, le « cloud de confiance », ça veut dire qu’on met effectivement bien les infrastructures en Europe, mais on accepte que ce soit Microsoft et les logiciels de Microsoft qui les utilisent ! Voilà !
Tout à l’heure Laurence tu as semblé dire, et tu as raison, je partage cette idée que c’est un enjeu politique majeur et qu’il faut faire quelque chose. Il s’est passé quand même beaucoup en Europe depuis quatre/cinq ans sur le RGPD [17] et là il y a quelque chose d’énorme qui arrive, énorme !, ça m’impressionne pas beaucoup, un truc un peu costaud qui arrive qui s’appelle le Digital Services Act et Digital Markets Act [18] qui vont normalement permettre de mettre en place des dispositifs d’audit dans lesquels la responsabilité des plateformes, l’implémentation d’une obligation et les pénalités pour les plateformes vont être quand même beaucoup plus fortes. Je sais que le capitalisme numérique part dans tous les sens, mais les plateformes savent qu’elles vont y passer sur les droits voisins, sur toute une série de choses.
C’est ma vision du droit, je ne suis pas spécialiste du droit mais le droit arrive toujours en retard, les États se lèvent toujours en retard, c’est vrai qu’ils ont des problèmes, il faut les mobiliser, ils ne sont pas très compétents sur le domaine, mais il y a moment où ils arrivent quand même et sur plein de dossiers successifs l’Europe est en train de prendre des décisions qui, d’ailleurs, servent d’exemples à certains Américains pour leur propre débat.

Caroline Lachowsky : Je vois qu’il y a encore une question parce qu’on va devoir arrêter assez rapidement.

Public : Bonsoir. Pour fonder une éthique, une norme ou un droit social, on a entendu parler de devoir de transparence, d’éduquer le consommateur, de re-symboliser les choses. Est-ce qu’on devrait gérer l’actuel ou est-ce qu’on devrait intégrer un principe de précaution, essayer aussi d’anticiper ce que pourrait devenir l’intelligence artificielle, peut-être en limitant la corrélation des données dans certains domaines ou en ayant des règles spécifiques à la géolocalisation, des choses comme ça ? Est-ce qu’il y a des anticipations qu’il serait souhaitable d’avoir ou des stratégies spécifiques ?

Laurence Devillers : Je pense que vous avez raison, c’est aussi ce que j’appelle. On devrait avoir une vision, anticiper ce qui va se passer et essayer de comprendre là où c’est vraiment utile, là où il y a une dépense d’énergie qui n’est pas utile. Ce n’est pas utile que tout un chacun fasse du métavers avec des antennes 5G et un millième de notre territoire recouvert de datacenters pour que tout le monde ait la capacité d’utiliser ça pour aller jouer.
À côté de ça, sur la santé, il y a des choses qu’on peut faire qui sont utiles pour tout le monde. Je pense qu’il faut comprendre qu’il faut donner ses données, qu’il faut travailler ensemble. On pourrait aussi faire ça pour beaucoup d’autres données dans la société. Le fait d’être solidaires et de comprendre que c’est une intelligence collective qu’il faut mener avec débat autour de ce qui est tolérable ou pas, avec anticipation, avec des marqueurs qu’on va calculer sur tout ça, qui seront pet-être un peu faux, peut-être un peu vrais, mais c’est une dynamique qu’il faut avoir et qu’il faut continuer.
Vous avez raison il faut pouvoir anticiper et avoir une vision à long terme.

Caroline Lachowsky : Antoinette assez rapidement puisqu’on a encore deux questions.

Antoinette Rouvroy : Je crois effectivement qu’il y a lieu d’anticiper en domestiquant la corrélation, puisque les corrélations veulent nous domestiquer je pense que c’est à nous à domestiquer les corrélations. C’est un enjeu de droit. C’est un enjeu juridique.

Caroline Lachowsky : Comment fait-on ?

Antoinette Rouvroy : Je ne sais pas comment ça se passe en France, mais en Belgique, par exemple, les assureurs sur la vie n’ont pas le droit de tenir compte des données génétiques quand bien même des informations, un diagnostic génétique, auraient été données volontairement par le preneur d’assurance de manière à prouver qu’il n’est pas à risque génétique donc pour avoir un avantage comparatif par rapport aux autres personnes assurées ou avoir une baisse. Donc il y a des asymétries informationnelles qui sont protégées par le droit. Le droit protège contre la transparence dans un certain nombre de cas. Je pense que par le biais de la corrélation il y a moyen de contourner toutes ces opacités organisées par le droit de manière, en fait, à protéger les personnes vulnérables de nos sociétés. C’est un exemple dans lequel on doit domestiquer la corrélation et empêcher la corrélation d’établir par proxys, si vous voulez, de générer des données sensibles sans utiliser de données sensibles.

Laurence Devillers : C’est une bonne piste. Il y a plein de projets comme ceux-là pour les enfants aussi, pour les personnes vulnérables, les personnes âgées, on est tous en train de dire qu’il faut faire attention. Par secteur et pour certaines catégories de personnes il faudrait absolument faire des différences.

Antoinette Rouvroy : Par ailleurs, je pense qu’il faut sortir du fétichisme de la donnée à caractère personnel, notamment dans le domaine de la recherche sur les soins de santé, dans la recherche sur les maladies orphelines, etc. J’ai entendu parler des chercheurs en génétique ou en épidémiologie qui sont bêtement bloqués dans leurs recherches à cause de cette usine à gaz du RGPD. Parfois le droit fait mal et là il fait mal et il tue !

Laurence Devillers : Non, non, non ! Le RGPD est quelque chose d’essentiel maintenant il faut faire des différences.

Caroline Lachowsky : Pour la protection de nos données.Maintenant il va falloir y réfléchir

Antoinette Rouvroy : Sans fétichisme.

Caroline Lachowsky : Il y a deux questions et on va ensuite devoir arrêter. Une par ici, Madame.

Public : J’utilise Qwant et non Google. On n’entend guère parler de Qwant [19] je suis scientifique, je m’y intéresse, c’est pour ça que je l’utilise. Par contre, derrière, je ne sais pas du tout comment il fonctionne. Est-ce qu’on est dans la même hiérarchisation des informations que Google ? Est-ce qu’on peut dire que c’est comparable ? Oui ! Sauf qu’on me dit que Qwant est européen et je préfère utiliser Qwant que Google.

Laurence Devillers : Qwant vient de faire un accord avec Google, non ?

Public : D’accord, donc je suis à nouveau piégée par Google.

Laurence Devillers : Je réclame qu’il y ait plus de transparence, pas sur tout mais sur ça au moins, sur les capacités de ces machines, sur qui est derrière. On n’aura pas la transparence sur tout, mais si on pouvait au moins savoir, ce que vous dites Madame, « je travaille avec Qwant, qu’est-ce que c’est que Qwant ? ». Il faut vraiment que ce soit plus facile d’accès ; c’est ça l’IA de confiance, qu’on soit au moins en capacité de comprendre les différents systèmes qui sont mis derrière tout cela.
Quand vous prenez un médicament, par exemple, vous avez une posologie et on vous dit « attention, effets secondaires, attention à ci, attention à ça ». Je veux qu’on ait la capacité des algos, qu’ils ne soient pas capables de changer comme ça sans qu’on soit du tout informé et qu’on soit des cobayes de Google, Alexa Amazon. Rappelez-vous que Facebook a fait des expériences sur nous, sur un grand nombre de personnes, pour voir la propagation des émotions en changeant la façon dont les gens parlaient. Il y en cela à comprendre. Nous n’allons pas vous répondre sur toutes les questions. Il faut absolument que tout un chacun dans la société réclame ça, réclame le droit à avoir plus de transparence sur ce que font les GAFAM.

Caroline Lachowsky : Dernière question.

Public : J’avais une question sur l’informatique affective. On parle de plus en plus des thématiques liées à l’informatique affective, notamment les robots émotionnels. Comment peut-on imaginer l’application de cette technologie dans l’industrie ? Est-ce qu’on doit craindre une surveillance, voire un contrôle dans nos prises de décision puisque les émotions sont quand même un peu à la base de notre libre arbitre ? Est-ce qu’on doit craindre que les industries nous influencent à travers ça ?

Laurence Devillers : C’est là-dessus qu’on fait une norme, Je suis sur ISO Affective computing, des normes ISO d’ailleurs tenues par des Chinois, qui sont les leaders, qui veulent qu’on en mette partout. À mon avis, il faut avoir conscience que ça peut être très intéressant de travailler là-dessus. Si vous suivez quelqu’un qui a des pathologies, qui est dépendant de drogues, avec des problèmes d’addiction, il y a tout un tas de maladies qui sont plutôt des maladies de comportement mental ou autres dans lesquelles les patients pourraient être mieux surveillés où on pourrait vraiment avoir un gain sur cela. Maintenant, évidemment que l’utiliser pour vous manipuler sur Internet et vous faire acheter ci ou ça c’est complètement inadmissible pour moi. On va effectivement aller sur des contraintes fortes pour les industriels, en tout cas pour dire « si vous utilisez cela, la personne qui est en face doit savoir qu’il y a ces objectifs derrière et ces systèmes qui sont utilisés ». On ne pourra pas tout interdire. En tout cas, pour qu’on soit en capacité de compréhension des systèmes qui sont mis en œuvre il ne faut pas interdire la recherche, mais ça ne va pas dire qu’il faut les développer dans n‘importe quelle technologie, bien entendu.

Caroline Lachowsky : Merci beaucoup.
Votre dernière question nous amène vraiment au livre de Laurence Devillers que Laurence va dédicacer si vous sortez par cette sortie sur ma gauche.
Merci beaucoup Antoinette Rouvroy pour nous avoir ouvert un peu les yeux et les oreilles.
Merci Dominique Cardon d’avoir été le sociologue un peu modérateur autour de ces algorithmes.
Laurence Devillers, je vous remercie.
Merci beaucoup à vous tous qui êtes ici. Rendez-vous, si vous le voulez, le 18 mars prochain ici même pour une prochaine conférence autour des intelligences, avec un « s », animales et vous allez voir qu’il y aura de quoi faire.
Rendez-vous aussi sur la chaîne YouTube de la BNF. Merci beaucoup à tous. Je vous rappelle que si vous sortez par cette sortie-ci Laurence Devillers va dédicacer son ouvrage.
Merci à toutes les équipes de la BNF.

[Applaudissements]