Le comité d’éthique de la Défense ne s’est pas penché spécifiquement sur la question des drones, objet du dossier de ce numéro – il précise d’ailleurs explicitement que les systèmes téléopérés par un équipage n’entrent pas dans le périmètre de l’avis sur l’intégration de l’autonomie dans les systèmes d’armes létaux. Cependant, s’agissant de systèmes complexes, avec une part croissante de l’autonomie sur certaines fonctions, et des perspectives nouvelles dans le domaine (essaims…), la question des enjeux éthiques de l’autonomie fait sens et l’avis rendu en 2021 par le comité peut apporter un éclairage en la matière.

Mon propos s’articulera donc en deux parties, un bref rappel des points saillants de cet avis, et une réflexion personnelle sur la place d’un IA au sein de ce comité.

L’avis sur l’intégration de l’autonomie dans les systèmes d’armes létaux 

Sans m’attarder sur les recommandations de cet avis, qui parle par lui-même, il me semble utile d’en rappeler la trame et quelques éléments clés au lecteur, qui j’espère lui donneront envie de le lire.

En premier lieu, face aux SALA, systèmes d’armes létaux pleinement autonomes, des systèmes d’armes auxquels la France a déclaré renoncer mais que des acteurs pourraient chercher à développer, le comité introduit comme objet principal de sa réflexion la notion de SALIA, systèmes d’armes létaux intégrant de l’autonomie, dont l’emploi peut être nécessaire et légitime à certaines conditions.

En effet, si l’introduction d’avancées technologiques conduisant à un accroissement des capacités d’autonomie décisionnelle de la machine dans des fonctions de plus en plus haut niveau semble inéluctable pour préserver l’efficacité opérationnelle face à l’évolution des menaces, le comité identifie bien que l’usage de ces technologies comporte des risques, en particulier : les risques liés à l’apprentissage machine ; les risques d’altération des mécanismes de contrôle de l’humain ; les risques liés à l’emploi de ces systèmes qui nécessitent une grande rigueur sur la définition de leur cadre d’emploi. 

Face à ces risques, le comité réaffirme le principe pour lui incontournable de l’engagement en toutes circonstances de la responsabilité humaine, qui ne peut être déléguée aux machines. Elle concerne les acteurs de la conception du système d’armes dès le stade de l’expression du besoin, ceux qui le réalisent, décident de l’employer puis l’utilisent effectivement. Cela n’a rien de neuf, mais la notion d’« autonomie » accroit la sensibilité de ce sujet ; d’autant que l’identification de la chaîne de responsabilité n’est pas simple. 

LA RESPONSABILITÉ HUMAINE… NE PEUT ÊTRE DÉLÉGUÉE AUX MACHINES

Le comité souligne d’ailleurs que les mots tels qu’« autonomie » ou « intelligence » sont empreints d’ambiguïté lorsqu’ils sont appliqués à des machines et que les termes relevant du champ lexical de l’anthropomorphisme sont trompeurs lorsqu’ils sont utilisés pour décrire des objets, des armes ou des systèmes d’armes. Il recommande la plus grande vigilance dans l’emploi de ces termes, qu’il faut systématiquement contextualiser. 

Il recommande également de subordonner la conception et la mise en œuvre des SALIA au respect de garanties de bon emploi dans différents domaines :

• commandement, en veillant à préserver une chaîne de responsabilité, de commandement et de contrôle, 

• contrôle des risques, en appuyant les réflexions en la matière sur des fondements éthiques et en ne cherchant pas à donner un avis sur les technologies en soi, 

• conformité, avec des points d’attention spécifiques en matière de contrôle de licéité, 

• connaissance, en insistant sur l’importance des facteurs humains, de la formation et de l’entraînement, 

• confiance, ce qui doit conduire à poursuivre les initiatives de développement et de qualification de technologies de confiance (notamment dans le domaine de l’IA) et de veiller à l’autonomie stratégique.

Mon vécu d’IA au comité d’éthique de la Défense

Les membres du comité sont nommés intuitu personae et ne sont pas les porteurs de la position de leur institution d’appartenance. Les avis du comité, qui ne constituent pas per se des avis du ministère, sont portés vers la Ministre et ses grands subordonnés pour alimenter leur réflexion ; ils peuvent aussi servir de vecteur d’influence témoignant de l’importance apportée par la France à ces enjeux – à titre d’exemple, une délégation du comité a été invitée à présenter ses analyses sur les SALIA aux experts représentant les 125 Etats participant à la CCAC à Genève sur les SALA.

En effet, les travaux du comité s’inscrivent dans un paysage général où des réflexions connexes sont conduites par d’autres acteurs, soit dans des thématiques proches mais non militaires (biomédical, éthique du numérique), soit sur le domaine militaire par des tiers plus ou moins bienveillants à l’égard de nos institutions (think-tanks, ONG…) ; et les avis du comité ont donc vocation à être examinés par un large spectre d’acteurs, ce qui donne d’ailleurs un sel particulier à la participation à ses travaux.

Le comité d’éthique se caractérise par une belle interdisciplinarité. Ses dix-huit membres sont issus pour partie du ministère des Armées sur proposition des grands subordonnés (deux membres issus de la DGA : moi-même et Cathy Thilly-Soussan, conseillère financière, juridique et éthique auprès du DI), et pour partie de la société civile, avec des profils variés, qu’il s’agisse d’acteurs académiques (de l’histoire au numérique en passant par la géopolitique ou la neurologie), de militaires d’active, d’officiers généraux en deuxième section, d’ingénieurs, de juristes, de médecins… La diversité des expériences et des compétences qu’il rassemble, est une garantie d’indépendance et d’ouverture d’esprit et permet l’appréhension globale des questions qui lui sont soumises.

Le comité s’appuie pour rendre ses avis sur des consultations d’experts aux profils également variés. Ces consultations donnent l’occasion de recueillir des témoignages d’une grande profondeur. Des visites de sites du ministère, et les entretiens qui peuvent y être conduits, ainsi que la mise à disposition d’un riche corpus documentaire par le secrétariat du comité (documents de doctrine, publications de think tanks…), complètent ce tour d’horizon. 

Ma participation et celle de Cathy, y apportent, je l’espère, une sensibilité DGA, et en particulier pour que la réalité technique, qui s’impose parfois à nous, soit dûment prise en compte ; et pour s’assurer que les formulations des principes ou des recommandations ne soient pas inapplicables dans la vie des projets. Elle doit aussi permettre de connecter les travaux du comité à l’expertise du ministère : ainsi de la visite des centres DGA Maîtrise NRBC et DGA Maîtrise de l’Information au profit de délégations du comité, ou de la proposition de profils DGA à auditionner.

Pour ma part, j’y trouve une stimulation intellectuelle certaine ; cela apporte également un autre regard sur les opérations d’armement (retex de vécu opérationnel, sur l’environnement humain de nos systèmes d’armes) qui conduit à prendre de la hauteur et à avoir envie de regarder de plus près certains thématiques dans nos projets. Ainsi de l’importance des facteurs humains tant pour les plates-formes que pour l’ergonomie cognitive des systèmes d’information en général, à laquelle mon passage à DGA Maîtrise de l’Information m’avait sensibilisé, et que je confirme à l’aune de mes réflexions au sein du comité. 

En résumé, une belle expérience humaine. 

Michel Gostiaux, ICA, Directeur de DGA/UMNBC L’ICA Michel Gostiaux a été chargé du contrôle des activités militaires du CEA, architecte du système de forces dissuasion puis de préparation des systèmes futurs de missiles et de sous-marins, sous-directeur technique de DGA Maîtrise de l’Information, directeur adjoint de l’unité de management Opérations Navales. Il dirige aujourd’hui l’unité de management Nucléaire, Biologique et Chimique.