États-Unis : la reconnaissance faciale accusée de favoriser les biais racistes

D'abord IBM, puis Amazon et Microsoft. Dans le sillage de Black Lives Matter, les géants américains du numérique arrêtent ou suspendent leurs projets dans la reconnaissance faciale, accusée de reproduire des biais ethniques lorsqu'elle est utilisée par la police.

C'est une technologie qui n'a plus le vent en poupe aux États-Unis. La reconnaissance faciale, adoptée par de nombreuses polices pour identifier et trouver plus rapidement des suspects, est aujourd'hui accusée d'aggraver les discriminations et de menacer la vie privée. Les associations qui en dénonçaient les biais depuis plusieurs années ont eu gain de cause cette semaine dans le sillage du mouvement Black Lives Matter : IBM, Amazon et Microsoft ont toutes annoncé la suspension ou l'arrêt de projets dans ce domaine et notamment leur collaboration avec les polices américaines. Des décisions très symboliques mais dont on peine encore à mesurer la portée, tant ces techniques sont utilisées.

Un fantasme de policier devenu réalité

Pour de nombreux policiers, la reconnaissance faciale est synonyme de gain de temps et d'efficacité. Dans un article publié en 2019, le Washington Post s'était intéressé au premier service de police américain ayant déployé "Rekognition", le logiciel vendu par Amazon, aujourd'hui leader du secteur. Le journal avait enquêté sur la police du comté de Washington, dans la banlieue de Portland, qui utilisait ce programme depuis 2017.

Pour les agents, le changement était total : "Du jour au lendemain, les policiers pouvaient scanner le visage d'un suspect et le comparer à plus de 300 000 photos d’identité judiciaire prises à la prison locale depuis 2001". Auparavant, il fallait faire avec l’ancienne technique : faire passer la photo d’un suspect à ses collègues au cas où ils le reconnaîtraient. L'usage s'est donc très vite généralisé, avec plus de 1 000 recherches effectuées en 2018 d'après le journal, en utilisant parfois les réseaux sociaux pour identifier quelqu'un. Interrogés, les policiers affirmaient que le logiciel leur faisait gagner du temps, "boostait" leur nombre d’arrestations, sans qu'aucune poursuite n’ait été intentée pour erreur d’identification, d’après la police et plusieurs associations. La même année, le Washington Post comptait 52 000 recherches effectuées par le FBI (la police fédérale) avec cette technique et en 2016, la faculté de droit de Georgetown avait recensé 52 polices locales qui l'utilisaient.

Mais rapidement, cette banlieue semi rurale du nord-ouest américain est devenue le théâtre d'un vif débat sur cette façon de faire la police par algorithmes. Avocats, chercheurs en intelligence artificielle, défenseur des droits civiques… De nombreuses voix affirmaient que cette technologie pouvait amener à l’arrestation de personnes innocentes avec des conséquences dangereuses, menaçant la vie privée et même la vie des gens. 

Des cas de biais ethniques prouvés et documentés

Les détracteurs de cette technologie s'appuient sur des exemples reconnus. "On a des cas de biais ethniques prouvés et documentés qui ont eu lieu lors de 'l'entraînement' des algorithmes de reconnaissance faciale", explique Nicolas Mazzucchi, spécialiste cyber à la Fondation pour la recherche stratégique. "Cette technologie appartient au domaine de l'intelligence artificielle et recourt au 'machine learning' pour apprendre à effectuer ses tâches. L’entraînement se fait avec une base de données, mais si cette base est incomplète ou pas représentative, on crée des biais ; et la programmation influe aussi".

En 2015, on a un exemple avec Google Images, dont l'algorithme a été entraîné à partir d’un jeu de données incomplet. On lui demandait de reconnaître trop peu de points sur le visage pour arriver à un triage fin et cela a mené à des généralisations racistes : cet algorithme avait tendance à identifier les personnes noires avec des singes. Google l'a immédiatement retiré. - Nicolas Mazzucchi, checheur à la Fondation pour la recherche stratégique, spécialiste des questions cyber.

Et le chercheur cite aussi l'exemple de Microsoft, qui avait lancé un algorithme d'intelligence artificielle sur Twitter en 2016 : TayTweets. "Il était censé imiter une personne mais, en faisant ce qu’on appelle un apprentissage non supervisé et en laissant l’algorithme se débrouiller tout seul sans modération. Le compte s’est retrouvé très rapidement à avoir des tendances nazies… Au bout de quelques heures seulement. Microsoft l’a retiré en disant qu’il fallait revoir la façon dont ils faisaient les choses : un algorithme n’est qu’un programme et ce qu’il fait dépend de la façon dont on le fabrique et l’entraîne". En l'occurence, des internautes avait testé les limites de l'algorithme en lui demandant ce qu'il pensait du racisme ou de répéter des phrases négationnistes, ce qu'il avait fini par faire...

Mais dans le cas de la police, les biais sont aussi documentés, notamment par une chercheuse du MIT (Massachusetts institute of technology) qui a travaillé sur le sujet : Joy Buolamwini, fondatrice de l'algorithmic justice league. "Elle s’est spécialisée sur ces questions et il se trouve qu’elle est une femme et noire", explique Caroline Lequesne Roth, maître de conférences en droit public et responsable du Master 2 droit algorithmique et gouvernance des données à l'université de Côte d'Azur. "Elle a vu que les systèmes de reconnaissance faciale ne l’identifiaient pas. Ces logiciels faisaient moins d’1% d’erreur sur un homme blanc, mais 35 à 38% pour une femme de couleur. Cela crée évidemment une discrimination et tend les relations avec la police avec le risque d'être arrêté, emmené au poste, etc."

"Dans la mesure où ces entreprises (Amazon, Microsoft) ont pris position pour soutenir Black Lives Matter, les associations les ont pressées de transformer leur parole en acte", ajoute Caroline Lequesne Roth, "et c’est pour cela qu'elles ont annoncé suspendre ou renoncer à leurs projets". 

Bras de fer entre polices et défenseurs des libertés

Ces annonces représentent un tournant mais, pour autant, il ne faut pas en surestimer la portée, affirme Caroline Lequesne Roth : "IBM occupait la position la plus confortable parce qu'elle est loin d'être le leader du marché, contrairement à Amazon et Microsoft. Pour ces dernières, elles ont fait ces annonces auprès de l'opinion publique parce qu'on est arrivés à un point de rupture, mais elles ne vont pas pour autant arrêter de faire du lobbying".

La période qui s'ouvre sera sans doute déterminante pour l'avenir de cette technologie car Amazon a annoncé un moratoire d'un an durant lequel l'entreprise suspend la vente de Rekognition aux services de police, le temps que le pouvoir politique établisse des règles éthiques qui fasse consensus. Les élus démocrates à la Chambre des Représentants ont d'ailleurs annoncé une proposition de loi pour réformer la police. "Mais cette période pourrait aussi se terminer par un renforcement de ces technologies, un moratoire d'un an pour mieux sauter... Car il s'agit d'un marché très lourd avec des investissements massifs, auxquels on ne renonce pas comme cela du jour au lendemain. Il faut être prudent", prévient Caroline Lequesne Roth.

Et le rapport de force ne se fait pas seulement avec les associations et les défenseurs des droits civiques. En interne, ces grandes entreprises doivent aussi tenir compte du refus de leurs propres employés. "Cela a été le cas avec Google il y a quelques années, qui a dû faire face à un mouvement de fond de la part d'ingénieurs qui travaillaient sur les domaines d'intelligence artificielle, qui ont refusé de travailler pour certains programmes de la défense américaine", précise Nicolas Mazzucchi, qui voit aussi l'intérêt de ces entreprises en terme d'image publique. "Il ne faut pas oublier que ces entreprises tiennent aussi et surtout par l'image qu'elles affichent vis à vis de l'opinion. Amazon fournit Rekognition mais aussi des services pour le grand public et une mauvaise publicité pourrait avoir des résultats importants sur le chiffre d'affaires".

Toutes ces annonces ne sont donc sans doute pas dénués d'arrière pensée mais auront-elles des conséquences durables ? "Il y a une vraie ouverture et je pense que les Etats-Unis sont mûrs pour avoir une législation numérique qui soit plus protectrice de la vie privée des citoyens, ce qui aujourd'hui est finalement relativement peu le cas", estime Nicolas Mazzucchi. "Mais ce sera difficile car toute l’architecture juridico-administrative mise en place dans les années 90 dans le numérique tend à favoriser l’accès aux données par les agences publiques, et notamment tout ce qui est lié à la police, à l’armée ou au renseignement.

Les forces de sécurité américaines ont été en pointe dans le développement de l’intelligence artificielle avec des outils comme Predpol et Predcrime, utilisés dans un certain nombre d'états pour prédire des crimes et délits, un peu comme dans Minority Report. Le mouvement qui pourrait se passer dans les mois qui viennent irait à rebours de tout ce qui s’est passé aux États-Unis depuis les années 90... C'est pour cela qu'il faut être prudent sur le pronostic."