Anthropic contre le Pentagone, un bras de fer décisif sur le recours à l'IA par l'armée

L'entreprise américaine Anthropic veut imposer des limites à l’armée pour l’utilisation de son chatbot Claude, ce que refuse le Pentagone. France 24 vous explique pourquoi ces lignes rouges sont à la fois essentielles et insuffisantes.

Le Pentagone veut pouvoir mettre de l’IA partout dans l’armée, Anthropic un peu moins. L’affrontement entre le ministère américain de la Guerre et le concurrent d’OpenAI pourrait décider de l’étendue du recours par les militaires américains aux chatbots et à l’IA.

Pour le créateur de Claude, l’heure tourne. Pete Hegseth, le ministre de la Guerre, a sommé Anthropic de céder avant vendredi 17 h 01 (heure de la Côte Est, soit 23 h 01 heure française). La start-up semble décidée à refuser, mettant ainsi en péril des accords d'une valeur de 200 millions de dollars (169,36 millions d’euros environ) avec le Pentagone.

Deux lignes rouges

Le ministère de la Guerre a en outre menacé Anthropic d’être qualifié de "risque [de sécurité] pour la chaîne d’approvisionnement" américaine, ce qui le disqualifierait de tout contrat avec le gouvernement américain.

Sur le papier, le Pentagone ne fait que demander à tous les fournisseurs d’IA de permettre à l’armée d’utiliser les chatbots "à toutes fins licites". Mais Anthropic estime que cette formulation n’empêche pas l’armée d’enfreindre ses deux lignes rouges en matière militaire.

La société ne veut pas que Claude soit utilisé pour de la surveillance à grande échelle des citoyens américains et pour des armes entièrement autonomes, comme par exemple des drones sans pilote humain.

La rébellion d’Anthropic peut sembler étonnante. Après tout, l’armée utilise déjà Claude depuis juillet dernier. L’accord permet d’intégrer ce chatbot dans les réseaux de communication confidentiels du gouvernement américain et de "l’utiliser pour la collecte et le traitement du renseignement", précise Sofia Romansky, coordinatrice du projet d’étude sur l'utilisation responsable de l’IA dans le domaine militaire au Centre de La Haye pour les études stratégiques.

Anthropic semble cependant avoir été pris de court par le recours à Claude dans le contexte de la capture du président vénézuélien Nicolas Maduro en janvier. L’entreprise aurait voulu en savoir plus sur la manière dont son IA a servi lors de cette opération controversée de l’armée américaine et si ce recours restait conforme à ses règles éthiques.

C’est peu après ce premier petit couac dans la relation entre le Pentagone et Anthropic que Pete Hegseth a exigé de pouvoir utiliser ces IA "à toutes fins licites" pour l’armée.

Le bras de fer vise à déterminer qui de l’État ou des sociétés privées "a le contrôle des cadres légaux et éthiques pour l’utilisation militaire de systèmes de traitement de données avancées dans des modèles d’IA générative", résume Emil Archambault, chercheur et spécialiste des technologies émergentes dans le domaine militaire au German Council on Foreign Relations (DGAP, Conseil allemand des relations étrangères).

Une IA qui appuie sur le bouton nucléaire ?

L’issue de cet affrontement est d’autant plus importante qu’il y a eu un "changement important dans la position des États-Unis" quant à l’utilisation militaire de l’IA avec le retour de Donald Trump à la Maison Blanche, assure Anna Nadibaidze, spécialiste des applications militaires de l’intelligence artificielle à l’université du Danemark du Sud. La nouvelle administration "a redéfini le concept d’utilisation responsable de l’IA en estimant, pour simplifier, qu’il serait irresponsable de ne pas intégrer cette technologie partout et sans limite", explique cette experte.

Autrement dit, rien n’empêcherait en théorie Pete Hegseth et Donald Trump de permettre à Claude ou ChatGPT de décider quand et contre qui utiliser l’arme nucléaire.

D’où l’importance de ces "lignes rouges" que des sociétés comme Anthropic voudraient faire respecter. Elles pourraient remplir un vide car "les cadres légaux ne sont pas encore définis et il n’y a pas de normes clairement établies qui gouvernent comment ces technologies peuvent être utilisées par les militaires", note Emil Archambault.

Les deux limites posées par Anthropic "représentent un peu le minimum syndical", estime Ingvild Bode, directrice du Centre d’études sur la guerre à l’université du Danemark du Sud et experte du rôle de l’intelligence artificielle dans les questions de sécurité internationale.

Même si c’est peu, "c’est une bonne chose qu’une entreprise privée rappelle ces lignes rouges", ajoute-t-elle.

Elles couvrent deux éléments cruciaux, d’après les experts interrogés par France 24. D’un côté, le refus de laisser Claude participer à un programme de surveillance massive des citoyens américains "touche à un principe éthique central qui est celui du respect de la vie privée", souligne Anna Nadibaidze.

De l’autre, Anthropic ne croit pas que "les systèmes d’IA actuels soient capables d’exécuter de manière fiable les tâches requises pour le contrôle de ces armes autonomes", explique Ingvild Bode.

C’est donc une ligne rouge technique. Ces chatbots restent de grandes boîtes noires, même pour leur créateur : ils "sont constitués de tellement de paramètres différents qu’il existe une grande incertitude sur la décision finale prise. Il y a donc des problèmes de fiabilité difficilement conciliables avec des armes autonomes", note Sofia Romansky.

Par exemple, dans le cas de drones de combat autonomes, personne ne peut garantir que l’IA "saura faire la différence entre un combattant et un civil, ou même distinguer un soldat ennemi d’un allié", souligne-t-elle.

Des limites "insuffisantes"

Dans ce contexte, ces lignes rouges sont autant des questions de principe qu’une "manière de prévenir un éventuel risque juridique", souligne Ingvild Bode. Anthropic n’aurait aucune envie d’être tenu pour responsable de conséquences dramatiques sur le terrain : "S’il était démontré qu’une erreur de l’IA avait conduit à la mort de civils, cela pourrait avoir des conséquences très coûteuses pour l’entreprise", ajoute Emil Archambault.

Si tous les experts interrogés reconnaissent que l’existence de ces deux lignes rouges est importante, "elles restent insuffisantes", assure Sofia Romansky. Ainsi, le refus de participer à un programme de surveillance massive "ne concerne que les citoyens américains. Qu’en est-il des résidents étrangers ?", s’interroge cette spécialiste. Cette ligne rouge est aussi très floue : à partir de combien de citoyens concernés peut-on considérer qu’il s’agit d’une surveillance de masse ?

Il en va de même pour les armes autonomes. "La frontière entre une arme 'entièrement' autonome ou 'partiellement' autonome est mal définie", souligne Emil Archambault. Même lorsqu’il y a une intervention humaine, "on sait qu’il existe une tendance à trop faire confiance aux conseils des IA. Quand tout va très vite et que l’humain est sous pression [comme dans le cas d’une frappe de drone par exemple, NDLR], il peut être tenté de suivre les recommandations de l’algorithme sans forcément vérifier par lui-même", explique Anna Nadibaidze.

Ainsi, le problème est qu’en fixant ainsi deux lignes rouges aussi nécessaires qu’imparfaites, Anthropic suggère que tous les autres cas sont acceptables. Alors même que l’exemple des armes semi-autonomes suggère que le recours à l’IA est problématique.

L’inflexibilité d’Anthropic sur ces principes a, d’après les experts interrogés, l’avantage de jeter une lumière crue sur les autres géants de l’IA qui ne semblent pas avoir les mêmes réticences.

Le Pentagone pourra toujours s’appuyer sur ChatGPT (OpenAI), Grok (xAI d’Elon Musk) et Gemini (Google), si Anthropic ne cède pas. Sauf que ce bras de fer semble avoir réveillé certaines consciences : plus de 100 employés de Google ont signé une lettre ouverte appelant leurs dirigeants à imiter Anthropic.

Ce combat risque aussi de laisser des traces si Anthropic cède. Dans ce cas, "de plus petites entreprises, qui voulaient aussi avoir une posture éthique, pourraient se dire que cela ne sert à rien car elles n’auront jamais les moyens de résister à la pression du gouvernement", estime Anna Nadibaidze. Tout l’écosystème de l’IA américain risquerait alors de se plier à la volonté de Pete Hegseth.