Quels principes juridiques pour les systèmes d’armes létales autonomes ?

La Russie a déployé en Syrie son nouveau robot terrestre Uran-9, “un excellent terrain d’entraînement permettant de révéler les côtés faibles et forts de toute arme”,

se réjouit le patron du constructeur Kalachnikov. © D.R.

L’intelligence artificielle est intrinsèquement à double usage (civil et militaire) tout comme les systèmes informatiques. Une réglementation efficace en la matière devrait faire en sorte que l’IA au service de la défense soit responsable, équitable, traçable, fiable et gouvernable. Or, malgré l’évidence des risques liés aux SALA (systèmes d’armes létales autonomes), ceux-ci ne font à ce jour l’objet d’aucune réglementation internationale ad hoc. Il faut donc rechercher dans quelle mesure les règles du droit international, tant public que privé, et du droit de l’Union sont adaptées à ces technologies. Tel est l’objectif fixé par la résolution votée par le Parlement européen le mercredi 20 janvier.

Autorité de l’état : souveraineté numérique, résilience stratégique et militaire

Le rapport observe en filigrane que les États membres doivent agir avec efficacité pour réduire leur dépendance à l’égard des données étrangères et veiller à ce que :

« la détention, par de puissants groupes privés, des technologies les plus élaborées en matière d’IA n’aboutisse pas à contester l’autorité de la puissance publique et encore moins à lui substituer des entités privées, en particulier lorsque le propriétaire de ces groupes privés est un pays tiers. »

L’écosystème mondial de l’IA est dominé par les géants du numérique américains (GAFAM) et chinois (BATX : Baidu, Alibaba, Tencent, Xiaomi), dont les capacités se trouvent renforcées par le rachat d’entreprises prometteuses qui permettent par exemple le paiement par reconnaissance faciale ou la marque ET Brain qui couvre les villes intelligentes, la santé, les transports aériens ou encore le secteur financier. Elles s’engagent avec d’énormes moyens dans la bataille de l’IA, telles des nations souveraines et développent à leur attention les technologies d’une course à l’armement numérique menée par de grandes puissances (Chine, Etats-Unis, Russie).

Si la résilience stratégique implique de ne jamais être pris au dépourvu, notamment en temps de crise, l’IA n’est pas une « simple » révolution technologique source de destruction créatrice, selon l’expression de Schumpeter. Appliquée au domaine militaire, elle est un outil stratégique dans un contexte où les acteurs, s’ils n’en sont pas au stade de la confrontation, ne s’engagent pas encore suffisamment sur le terrain de la coopération. Or, les principes généraux du droit international humanitaire, en premier lieu celui d’humanité, créent un véritable hiatus souligné par le rapport puisque seuls les êtres humains sont dotés de capacités de jugement. Le Sénat remarque justement que :

« les SALA permettraient en effet d’éliminer les barrières psychologiques à l’utilisation de la force létale, ce qui n’est pas le cas pour les drones qui restent pilotés par un être humain (d’où le syndrome post-traumatique parfois observé chez des pilotes de drones). » (Rapport d’information, – 2040, l’odyssée du SCAF – Le système de combat aérien du futur (senat.fr)

Les principaux États nations militaires développent des SALA à un rythme rapide car ils ont un intérêt propre à créer les capacités offensives les plus efficaces, indépendamment du cadre juridique. Les États-Unis développent le Sea Hunter, navire autonome transocéanique de 60 mètres, dédié à la lutte anti sous-marine et capable de naviguer dans les eaux internationales en s’adaptant de manière autonome aux règles de navigation en vigueur. La Russie, elle mise avant tout sur la robotisation. Elle a développé un petit char capable de suivre un soldat et de tirer vers la même cible.

Qui sait demain, un Etat ne pourrait-il pas répondre par une guerre conventionnelle à une cyberattaque ? Il est donc plus que nécessaire d’examiner l’incidence que peut avoir l’IA, en tant que facteur stratégique, sur la politique de sécurité et de défense commune de l’Union. La résolution du Parlement européen développe des principes directeurs qui devraient servir de base à l’interprétation du droit international humanitaire (v. infra).

 

Les risques éthiques des systèmes d’armes létales autonomes

Les principes juridiques de précaution, de distinction, d’intégrité territoriale, de non‑intervention et de recours à la force issus du droit de la guerre restent pertinents face à une technologie innovante car le principe de nouveauté ne peut être invoqué en soutien à une quelconque dérogation quant au respect des normes actuelles du droit international humanitaire (avis consultatif de la Cour internationale de Justice du 8 juillet 1996 sur les armes nucléaires). Or, le droit relatif à l’emploi de la force, tel que consacré par la Charte des Nations Unies (abstention du recours à la menace ou à l’emploi de la force dans les relations internationales), et le droit applicable dans les conflits armés reposent notamment sur deux principes cardinaux auxquels les SALA restent soumis :

–         La distinction entre combattants et non-combattants (les Etats ne doivent jamais prendre pour cible des civils, ni en conséquence utiliser des armes qui sont dans l’incapacité de distinguer entre cibles civiles et cibles militaires) ;

–         La clause de Martens, selon laquelle les personnes civiles et les combattants restent sous la sauvegarde et sous l’empire des principes du droit des gens, tels qu’ils résultent des usages établis, des principes de l’humanité et des exigences de la conscience publique (v. conventions de Genève du 12 août 1949) .

 

Le Parlement européen souhaite donc que les SALA ne soient utilisés que dans des cas précis et selon des procédures d’autorisation fixées à l’avance de façon détaillée dans des textes dont l’État concerné (qu’il soit membre ou non de l’Organisation du traité de l’Atlantique Nord) et assure l’accessibilité au public, ou au moins à son parlement national. En 2018, le Secrétaire général de l’ONU et le Parlement européen avaient appelé à l’interdiction de la mise au point, de la production et de l’utilisation de SALA « avant qu’il ne soit trop tard ».

En Corée du Sud, le robot sentinelle

Le principe de proportionnalité subordonne la légalité d’une action militaire au respect d’un équilibre entre l’objectif poursuivi et les moyens utilisés. L’appréciation de cette proportionnalité doit toujours émaner d’une personne humaine. Pour que les technologies soient centrées sur l’humain, elles doivent être utilisées au bénéfice de l’humanité et du bien commun et avoir pour but de contribuer au bien-être et à l’intérêt général de leurs citoyens. De plus, une personne doit avoir la possibilité de la corriger, de l’interrompre ou de la désactiver en cas de comportement imprévu, d’intervention accidentelle, de cyberattaques, d’ingérence de tiers dans une technologie fondée sur le système d’IA. Cela implique que les risques manifestes inhérents à toute décision prise par un être humain qui s’appuierait exclusivement sur des données, des profils et des recommandations générés par des machines est à proscrire.

Ce principe est à intégrer dès la conception des systèmes d’IA et devrait également s’intégrer via des lignes directrices sur la supervision et la surveillance humaines. C’est ce qui explique la position du Parlement européen :

« les systèmes totalement soustraits à un contrôle humain («human off the loop») et à une surveillance humaine doivent être interdits sans aucune exception et en toutes circonstances ».

(repris ici : Le Parlement européen légifère pour la première fois sur l’intelligence artificielle (francetvinfo.fr)

On exige ainsi des garanties telles qu’une surveillance humaine véritable par un professionnel qualifié, des règles strictes de déontologie et l’énoncé d’un cadre éthique commun. Les implications des progrès de l’IA pour la défense et la guerre devrait être analysées au regard de leur conception éthique c’est-à-dire garantissant l’intégrité des données à caractère personnel, l’accès et le contrôle individuels et en tenant compte des questions économiques et humanitaires.

La ‘reconnaissance automatique de cible’, Rafael, Israël

 

L’affirmation de principes universels pour que le cadre réglementaire ne soit pas dépassé par les évolutions technologiques

Le Parlement européen constate que les lignes directrices sur l’éthique du groupe d’experts de haut niveau ne sont pas suffisantes pour garantir que les entreprises agissent loyalement et assurent la protection effective des individus et que le Livre blanc de la Commission européenne ne tient pas compte des aspects militaires de l’utilisation de l’intelligence artificielle.

L’Union européenne, dans son ensemble, n’a accepté que récemment de discuter des implications de l’évolution de l’IA et de la numérisation dans le secteur de la défense. Aujourd’hui le Parlement européen estime qu’elle peut jouer un rôle crucial si elle aide les États membres à harmoniser leur stratégie en matière d’IA militaire afin qu’ils puissent prendre la tête des pourparlers à l’échelle internationale. Il invite donc le vice-président de la Commission / haut représentant pour les affaires étrangères et la politique de sécurité (VP/HR) à ouvrir la voie à des négociations mondiales.

Il s’exprime pour faire progresser les travaux d’élaboration d’un nouveau cadre normatif mondial vers un instrument juridiquement contraignant axé sur les définitions, les concepts et les caractéristiques des technologies émergentes relevant des SALA. Ces principes sont bien connus des opérateurs d’IA du secteur civil :

–         Loyauté, transparence, équité, gouvernabilité, précaution,

–         Responsabilité, et imputabilité,

–         Obligation de rendre des comptes, explicabilité et traçabilité.

L’explicabilité vise ici, à déterminer si, et dans quelle mesure, l’État, en tant que sujet de droit international et autorité souveraine, peut agir avec l’aide de systèmes d’IA dotés d’une certaine autonomie sans enfreindre les obligations découlant du droit international. Elle permet de vérifier par quel procédé les technologies d’IA à haut risque parviennent à des décisions, notamment en ce qui concerne les fonctions critiques telles que la sélection et l’engagement d’un objectif et le degré d’interaction nécessaire entre l’humain et la machine, y compris la notion de contrôle et de jugement humains. Cela nécessitera une formation appropriée des personnels civil et militaire (professions réglementées, activités liées à l’exercice de l’autorité de l’État, comme l’administration de la justice) afin de leur permettre de déceler avec précision les discriminations et les partis pris dans les ensembles de données et de les éviter.

Sur la responsabilité, le Parlement recommande que l’identité de la personne responsable de la décision de l’IA puisse être établie et retient la responsabilité des Etats membres, des parties à un conflit et des individus quant aux actions et effets prévisibles, accidentels ou indésirables des systèmes fondés sur l’IA.

 

Un contrôle ex ante, miroir de l’étude d’impact, permettrait dès la conception et à tout moment, lors des phases de développement, d’essai, de déploiement et d’utilisation de systèmes fondés sur l’IA, d’identifier les risques potentiels, notamment celui de victimes collatérales parmi la population civile, de pertes accidentelles de vies humaines et de dommages aux infrastructures.

 

Un contrôle ex post soutenu par des systèmes de certification et de surveillance rigoureux, ainsi que par des mécanismes clairs d’audit, audits indépendants et des tests de résistance spécifiques viseront à faciliter et à assurer le respect de cette conformité. Ces audits devraient être effectués périodiquement par une autorité indépendante qui superviserait les applications d’IA à haut risque utilisées par les pouvoirs publics ou les autorités militaires.

Non-prolifération des SALA : lege ferenda (un droit à construire)

L’examen du droit international conventionnel ne contient pas d’interdiction de recourir aux SALA. Si l’on examine le droit international coutumier, on constate que les membres de la communauté internationale sont profondément divisés sur le point de savoir si le non-recours aux SALA constitue l’expression d’une opinio juris (conscience d’être lié par une obligation juridique, conviction que l’on doit adopter un comportement donné). L’apparition, en tant que lex lata (loi qui existe), d’une règle coutumière prohibant spécifiquement l’emploi des SALA se heure aux tensions qui subsistent entre 28 Etats qui sont en faveur d’un instrument juridiquement contraignant interdisant les armes totalement autonomes (Autriche, Brésil, Chili…). En 2018, lors de la réunion annuelle des Etats parties à la Convention sur certaines armes classiques (CCAC du 10 octobre 1980, notamment l’interdiction de produire des « effets traumatiques excessifs »), une minorité d’Etats a utilisé les règles résultant du consensus pour bloquer toute progression sur ce terrain. La Corée du Sud, Israël, les Etats-Unis et la Russie se sont déclarés contre la négociation d’un nouveau traité, alors que la France envisage davantage un code de conduite qu’un traité d’interdiction.

Il est aussi envisagé d’inscrire les SALA à l’article 2 du traité sur le commerce des armes du 2 avril 2013 qui fixe son champ d’application afin d’éviter leur dissémination incontrôlée.

Le sujet de l’IA au service de la défense place la souveraineté numérique au centre de l’enjeu : ne pas être obligés d’adopter ou d’accepter des normes fixées par d’autres.

Suite à l’adoption par l’Assemblée Générale de l’ONU de sa résolution « Favoriser le comportement responsable des États dans le cyberespace dans le contexte de la sécurité internationale », deux groupes ont été formés pour guider les pourparlers :

–         Le Groupe d’experts gouvernementaux chargé d’examiner les moyens de favoriser le comportement responsable des États dans le cyberespace dans le contexte de la sécurité internationale (GEG), M. Guilherme de Aguiar Patriota (Brésil),

–         Le Groupe de travail à composition non limitée sur les progrès de l’informatique et des télécommunications dans le contexte de la sécurité internationale.

Le premier rassemble des experts gouvernementaux des Nations unies des hautes parties contractantes (Etats) à la CCAC, et le second tous les Etats membres de l’ONU qui peuvent auditionner des représentants de l’industrie, des ONG et des membres académiques.

En octobre 2020, la première commission de l’AG de l’ONU a entendu les présidents de ces deux groupes dont les travaux ont été ralentis par la crise sanitaire de la COVID.

Puis en novembre, elle a adopté quinze projets de résolutions, dont deux concurrents, portant sur la sécurisation du cyberespace : l’un américain appuyé par les pays de l’UE notamment, l’autre russe qui prévoit la création d’un autre groupe de travail pour remplacer ceux existant dès 2021 (« Progrès de l’informatique et des télécommunications et sécurité internationale »). Au nom de l’Union européenne, la représentante de l’Allemagne a expliqué qu’elle s’opposerait au projet de résolution russe qui va à l’encontre de la résolution A/73/27 puisque les travaux sont en cours et non finalisés.

Le prochain cycle de négociations aura lieu en mars 2021.

Cet article est publié également sur The Conversation.