Bonjour à tous. Je suis Marion Magné. Je suis développeuse pour des applications web dans le domaine de la santé. J’étais déjà venue à Paris Web il y a quelque temps pour parler de l’importance de la transmission de l’information dans l’informatique. J’arrive avec un sujet qui est dans la continuité de celui-là puisque c’est l’importance de se former à l’éthique dans le milieu de l’informatique.

Pour commencer, vous pouvez vous demander ce que ces œuvres ont en commun. C’est assez connu, dans chaque cas ce sont des mondes où une super technologie ou une intelligence artificielle, que sais-je, a pris le contrôle et, généralement, c’est ça ne s’est pas très bien passé.

Dans le monde d’aujourd’hui on en est assez loin, quoi que... On n’est pas là pour condamner la technologie. J’imagine que si vous suivez ces conférences c’est que, comme moi, vous êtes plutôt pro-tech dans la limite du raisonnable et assez curieux de ce que ça peut nous apporter. Encore une fois, vu que je ne vois pas vos réactions en direct, je vais simplement partir du principe que vous êtes d’accord avec moi quand je dis que si on est tous en faveur du progrès technologique, ce n’est pas à n’importe quel prix. C’est là que l’éthique et, dans notre cas, plus spécifiquement l’éthique de l’information entre en jeu.

Qu’est-ce que l’éthique ?
La définition assez classique qu’on peut trouver dans les dictionnaires, c’est que c’est un ensemble de règles de bonne conduite, de principes moraux, ce qui est assez vaste, plutôt subjectif. Ce qui va être moral pour moi ne l’est pas pour mon voisin. C’est pour ça que l’éthique s’est un peu développée, à la limite on peut parler de spécialisation, c’est-à-dire que, pour chaque domaine, un certain nombre de principes éthiques se développent auxquels chacun est censé obéir pour nuire au moins de monde possible.

Par exemple, dans l’éthique médicale, on connaît le serment d’Hippocrate : d’abord ne pas nuire, c’est assez simple et assez précis, le soignant ne doit pas nuire aux intérêts de son patient. Que se passe-t-il quand la médecine est pratiquée sans principes d’éthique ? C’est là qu’on va trouver des expérimentations un peu douteuses au nom de l’avancée de la science, mais sur des cobayes plus ou moins consentants.

L’éthique de l’informatique dans tout ça ?
Vu notre sujet, on va plutôt se concentrer sur l’éthique des sciences informatiques, éthique de l’information ; vu que ce concept ne sort pas de nulle part, je vais faire un petit point historique.

On commence à parler d’éthique de l’information dès 1947, avant de parler d’éthique de l’informatique, avec un chercheur qui s’appelait Norbert Wiener [1]. On sort de la Seconde Guerre mondiale, les progrès technologiques sont extrêmement rapides et un peu hors de contrôle. Les dérives se sont bien fait sentir des années auparavant, donc on essaie de mettre un petit d’ordre dans tout ça. Wiener prédit une quatrième révolution industrielle avec l’évolution des techniques d’information et développe des grands principes qui se veulent universels : à ce moment-là Wiener ne part pas dans une éthique propre à l’informatique. Ces principes sont la liberté, l’égalité et la bienveillance, donc ces technologies ne doivent pas nuire à la liberté, ne doivent pas instaurer d’inégalités et ne doivent pas être utilisées dans le but de nuire. C’est assez universel comme le dit Wiener.

Dans les années 70 on observe l’émergence de problèmes d’éthique spécifiques à l’informatique, c’est-à-dire que contrairement à ce que pensait Wiener 30 ans auparavant, on ne peut pas se contenter d’appliquer les principes globaux d’éthique au domaine de l’information. On commence à trouver des cours de sensibilisation pour les étudiants des sciences informatiques dès cette période, mais ce n’est pas généralisé, c’est dans quelques universités américaines. Je n’ai pas trouvé de source pour les universités françaises.

Ensuite, dans les années 80/90, commencent à émerger des problèmes concrets. On n’en est plus au stade de la suspicion : ces problèmes sont posés par la propriété intellectuelle du contenu informatique créé et ensuite, avec l’avènement d’Internet, de propriété intellectuelle de ce qui est mis à disposition sur Internet et les problèmes créés aussi par les premières bases de données de masse. Déjà à l’époque c’était une question qui se posait, imaginez ce qu’il se dirait aujourd’hui avec la quantité d’informations rassemblées sur chaque individu.

Dès cette époque il y a des inquiétudes, quelques universités donnent des cours des cours d’éthique pour sensibiliser à ce sujet et, en 1996, on a un premier appel de plusieurs chercheurs dans une grande revue universitaire pour une formation systématique des futurs informaticiens à l’éthique, mais qui restera sans suite. Il y aura d’ailleurs une réponse, dans ce même journal, de plusieurs informaticiens qui disent, en gros, « on n’en a a pas besoin, fichez-nous la paix ! ».

Pourquoi aurait-on besoin d’éthique ?
Pourquoi je ne suis pas d’accord avec ces informaticiens et pourquoi, pour moi, a-t-on besoin d’éthique dans l’informatique ?

Il faut retenir que les technologies ne sont pas neutres, il y a toujours un être humain pour la conception derrière, quoi qu’on en dise, même si maintenant il y a des générateurs automatiques de code, ces générateurs automatiques de code n’ont pas été créés par d’autres générateurs automatiques de code, ils ont bien été créés par un être humain.

On va reparler de la médecine. Ce sont les mêmes biais qui vont pousser des médecins non sensibilisés par exemple aux questions de racisme à traiter différemment des patients selon leur couleur de peau ou des médecins non sensibilisés qui vont traiter différemment des patients selon leur genre, que sais-je. Là c’est la même chose, une personne non sensibilisée va avoir des biais de part son éducation, de part son expérience et elle va les faire ressortir dans son travail.

Pourquoi a-t-on besoin d’éthique ? J’ai sélectionné deux petits exemples qui nous viennent du monde anglo-saxon, je ne sais pas si on doit dire cocorico, je n’en ai pas trouvé d’aussi graves en France. Peut-être qu’on n’a pas fait ces technologies, je ne sais pas.

Dès les années 80, il y avait des inquiétudes quant aux bases de données massives qui étaient créées et ça n’a pas loupé. Je pense que beaucoup d’entre vous ont dû entendre parler de Cambridge Analytica [2]. Pour ceux qui ne connaissent pas, il s’agit d’une entreprise anglaise qui a rassemblé un maximum de données notamment via les réseaux sociaux, d’ailleurs Zuckerberg est encore entendu là-dessus et prétend ne rien savoir. Ils ont acheté énormément d’informations à Facebook pour faire des publicités ciblées et pensées pour chaque catégorie de public, afin de persuader d’abord aux USA un maximum de personnes de voter pour Trump, puis en Angleterre un maximum de personnes de voter pour le Brexit.

À la base j’ai un background en psychologie. En psychologie sociale, on voit qu’on peut diviser la population en catégories — c’est un petit peu terrible — et, en poussant sur les bons boutons, on peut faire faire ou dire à ces catégories absolument ce que l’on veut ; c’est ce qui s’est passé pour Cambridge Analytica. Ils ont fait des publicités ciblées selon les catégories en jouant sur leurs peurs. On a vu les résultats des élections de 2016 aux États-Unis et après le vote pour le Brexit. Ça a super bien marché alors que ce n’était pas les intentions de vote au début.

Un autre scandale quand même assez grave aussi, qui nous vient du monde anglo-saxon mais cette fois uniquement des États-Unis, c’est le scandale révélé par ProPublica [3]. En fait, un algorithme calculait les chances de récidive d’un prisonnier pour déterminer si on pouvait le laisser sortir en conditionnelle ou pas. Sauf qu’à un moment les résultats ont été comparés par des chercheurs et ils se sont rendu compte qu’à informations égales, l’algorithme donnait davantage de chances de récidive et, du coup, moins de chances de passer en probation, aux prisonniers noirs.

Dans le cas de Cambridge Analytica, on a clairement une atteinte à la démocratie, au droit de s’informer librement et, dans l’autre cas, une atteinte à la liberté tout court à cause d’un biais raciste des concepteurs.

But de la formation à l’éthique
Le but de la formation à l’éthique c’est d’éviter ce genre de choses.
Déjà apprendre à avoir soi-même, au maximum, du recul, évidemment. Malheureusement ce n’est pas évident d’éviter tous ces biais, au moins les identifier, les limiter au maximum.
S’interroger sur le but d’une technologie, d’une création, ne pas être pris, je vais dire par l’euphorie — c’est peut-être un petit peu fort —, mais par la joie de développer des technologies, de travailler sur des trucs un peu intéressants, stimulants, nouveaux. Prendre cinq minutes pour se dire « OK, en quoi ça peut être utilisé ? Pourquoi je fais ça ? Est-ce que c’est encadré ? Est-ce qu’il y a un danger ? » ; s’interroger sur ses créations.
Et aussi apprendre à réagir. Là on parle d’une éthique pas seulement comme d’une science philosophique, qui est très intéressante en soi, mais aussi comme de l’éthique dans la composante de nos vies professionnelles. On doit apprendre à utiliser, on doit apprendre à réagir quand on voit qu’elle n’est pas respectée.

Comment et pourquoi agir ?
On va commencer par le pourquoi. J’entends qu’une personne, fondamentalement bien intentionnée, ne réagit pas forcément tout de suite. On peut se dire qu’on se fait des idées, qu’on imagine le pire sur un produit qui tout est fait innocent, qui n’a pas de mauvaises intentions. Plus égoïstement on peut s’inquiéter sur les retombées sur sa carrière, que sais-je.

On va rappeler un point important : ce qui est éthique n’est pas forcément légal, donc ce qui manque à l’éthique n’est pas forcément illégal.

Dans certains cas, il va y avoir des cadres juridiques déjà existants qui vont faciliter les démarches. C’est-à-dire que si on voit quelque chose qui, non seulement nous paraît peu éthique mais en plus on se demande si c’est vraiment légal et qu’on s’aperçoit que non, là c’est quand même assez simple, on signale que c’est hors la loi, « ah oui, pardon, excusez-nous » et si jamais la personne insiste on appelle les institutions compétentes, la CNIL, que sais-je. C’est relativement simple, il n’y a pas trop de questions à se poser là-dessus.

On va aussi rappeler pourquoi c’est important de le signaler : nul n’est censé ignorer la loi. On va garder des traces écrites, il y a des tableaux d’organisations, c’est assez simple de savoir qui a fait quoi et qui était au courant de quoi.

Ce qui pose ensuite un autre problème, c’est la méconnaissance possible des personnes techniques sur le domaine dans lequel elles travaillent. Par exemple, comme je l’ai dit, je travaille dans le domaine de la santé. Si on nous demandait de coder quelque chose qui aille à l’encontre de la dernière loi en vigueur, qui est sortie hier, sur la gestion des hôpitaux, on ne serait pas forcément au courant et la personne en faute serait forcément le commanditaire ou le créateur du projet. Idéalement on devrait tous pouvoir prendre bien connaissance de notre contexte fonctionnel, mais ça demande encore du temps qui n’est pas toujours disponible.

Pour résumer, dans le cas d’une demande illégale c’est plutôt simple, on remarque un problème, on le signale, rien de spécifique à l’informatique.

Mais, quand un problème est toujours légal, par contre ça ne nous paraît pas très clair, pas très éthique, que fait-on ?
On a reconnu, on soupçonne un truc un peu pourri dans le royaume du code, on a reçu le descriptif d’un projet, on n’aime pas trop la direction que ça prend, on n’est pas sûr du produit, comment agit-on ? Déjà l’important c’est de communiquer ; on discute : est-ce que les doutes sont partagés ? Est-ce que tout le monde a les mêmes informations ? Pour la communication dans les équipes, il existe déjà des formations, que ce soit à la fac ou en entreprise.

Quand il s’agit d’un truc un peu plus grave qu’un travail en équipe, avec le quatrième participant qui n’a rien foutu à part mettre son nom sur le dossier, on conseillera quand même de ne pas faire d’accusation directe, de tout communiquer par écrit et de s’appuyer sur les bases de communication non violentes qui sont également enseignées dans les entreprises parfois pour éviter les énervements en réunion.

Ensuite on se renseigne. Pour se renseigner, on se tourne vers les associations qui existent, je pense notamment à La Quadrature du Net [4] en France. Il en existe d’autres, il en existe aussi dans le monde, au niveau européen. Ce sont des associations qui traitent déjà de ces questions, qui peuvent vous aiguiller sur vers qui s’adresser.

Quelques pistes pour la formation.
Pour la formation, de quoi aurait-on besoin ? On a besoin de savoir communiquer dans l’équipe, d’exposer calmement ses opinions, ses problèmes.
On a besoin de bases en éthique pour remettre quelque chose en question et aussi avoir ce réflexe en fait de prendre du recul. Ça ne dépend de l’intelligence de chacun, c’est simplement quelque chose qui s’apprend en fait, comme remettre en question les fake news.
Passer par l’étude de cas concrets, parce que si on voit qu’on a tous fait philo en terminale, je pense qu’on a tous oublié. C’est en voyant des cas concrets, comment dénouer une situation, comment identifier, qu’on voit comment mettre en pratique ces mêmes principes.
En entreprise, l’idéal ce serait quand même d’avoir un minimum de temps d’apprentissage pour le cadre fonctionnel, voir les problèmes que ça peut poser.

Pour la formation, l’idéal c’est quand même d’en faire une étape du cursus académique. J’ai fait un peu mes devoirs avant de vous présenter ça, ça commence à être présent dans quelques écoles d’ingénieur en France, dans certains cursus universitaires aussi, mais c’est encore loin, malheureusement, d’être généralisé. Ça passe aussi par la mise à disposition de ressources pour les professionnels, que ce soit via les hackerspaces, via Internet, via des associations que j’ai pu mentionner tout à l’heure. À terme, idéalement, ce serait aussi de proposer des formations dans les entreprises sur la forme de cas concrets.

Quand j’ai commencé à préparer cette présentation et à travailler sur ce sujet il y a plusieurs mois, on m’a beaucoup répondu que ce n’est pas dans l’intérêt des entreprises que des personnes techniques commencent à remettre en cause leur moindre décision. J’ai envie de penser que certaines entreprises vont quand même voir un peu leur intérêt dans le sens d’une chaîne de réflexion supplémentaire sur le produit, plus d’investissement, que ça finisse par ça.

Je vous remercie et j’attends vos questions lors de la diffusion de cette conférence. Merci beaucoup.·