Flux RSS
Europe - Chine - Etats-Unis - Robotique - Armements - Russie
Du 27 au 31 août 2018, se sont tenues sous l'égide des Nations-Unis à Genève, les réunions du Groupe d’Experts Gouvernementaux sur les Systèmes d’Armes Létaux Autonomes (SALA) dans le cadre de la Convention sur certaines armes classiques (CCAC). Réunions accouchant seulement de l'adoption d'une vingtaine de recommandations, non contraignantes. Un traité international interdisant l'usage de ces armes ne semble toujours pas près de voir le jour : Etats-Unis, Russie, Israël, Australie et Corée du Sud ne souhaitent pas, pour l'instant, un tel traité...
Les Nations unies ont lancé une série de discussions sur les conséquences de l’utilisation des systèmes d’armes létaux autonomes (SALA). Droits de l’Homme, éthique et sécurité sont en effet malmenées par ces armes qui vont devenir de plus en plus courantes dans les guerres modernes. 
Et les craintes liés au développement de l'IA figurent en bonne position concernant les SALA. Cette discussion n'est pas nouvelle, elle a d'ailleurs été initiée par la France dès 2013 au sein de la Convention sur certaines armes classiques (CCAC) de l'ONU, qui a conduit à la création d'un groupe d'experts gouvernementaux, dont la première session s'est tenue en 2017.


Les dernières discussions, tenues fin août 2018 à Genève, n'auront finalement abouti qu'à une seule chose : la reconduction du mandat actuel du groupe d'experts gouvernementaux...


Réunion SALAPour l'Europe (et la France), ces armes doivent être sous contrôle, ce sont les humains qui doivent prendre en dernier lieu les décisions pouvant mener à la mort(1). De leur côté États-Unis, Russie, Israël, Australie, Corée du Sud  s'opposent à toute proposition de traité international interdisant les Systèmes d'armes létaux autonomes. Et pour cause, les SALA constituent l’une des clés dans la course actuelle aux armements, l'intelligence artificielle étant la partie intégrante d'une future suprématie technologique et économique.


Dans ce cadre, les Etats-Unis mènent un plan agressif pour développer différents types d’armes semi-autonomes et autonomes, menant à la fois des recherches fondamentales et appliquées. Parmi les aspects centraux, les recherches visent à améliorer la perception, le raisonnement et l’intelligence des machines, mais aussi les interactions collaboratives entre les machines et les humains.


Finalement, aucun pays n'est en reste dans cette course. La Chine est déterminée à imiter le modèle américain (réseau de recherche et d'application civilo-militaire). N'est-ce pas Xi Jinping qui déclarait l'année dernière que son pays "deviendrait la première puissance militaire grâce à l'IA". La Russie souhaite retirer ses fantassins dans les zones de confrontation pour les remplacer par des unités robotisées autonomes bourrées d'IA ; Israël est l'un des principaux exportateurs de systèmes armés autonomes (aérien, maritime et terrestre) ; la Corée du sud met l'accent sur les drones sans pilote et les systèmes de surveillance (robots sentinelles autonomes à ses frontières)...


Pour arrêter le développement des SALA, encore faudrait-il que chacun s'entende aussi sur une même définition, sur ce que ce champ représente exactement.
La question du degré d’autonomie et de contrôle humain est centrale dans la définition juridique des SALA. Des  distinctions sous-jacentes sont également  primordiale : faut-il  viser  les  seules armes  qui  laissent l’Homme « en  dehors  de  la  boucle » de  décision ? Est-ce que l’on doit traiter de la  même manière  les armes offensives et celles, statiques et purement défensives ? Quel l’encadrement  juridique au niveau international des armes existantes ou semi-autonomes, telles que les drones et robots télécommandés, missiles capables de sélectionner leurs cibles, qui sont  aujourd'hui largement utilisés, voire les machines d'apprentissage dotées de compétences cognitives permettant de décider qui attaquer ? Quelle vision partagée de l’autonomie ?
"On navigue entre deux eaux : d'un côté un périmètre trop inclusif qui freine les partisans d'une régulation, qui risquerait de mettre à mal les capacités existantes ou le développement de capacités de pointe, et d'un autre côté un périmètre trop exclusif qui n'engloberait aucun système pertinent"(2).


De son côté, le Parlement européen vient d'adopter le 12 septembre 2018, une résolution sur les systèmes d'armes autonomes (546 votes pour, 47 contre, 73 abstentions). Celle-ci se prononce contre le développement et l'utilisation de systèmes d'armes autonomes capables de tuer sans intervention humaine, et souhaite leur interdiction au niveau international :
"Considérant que le Parlement a, à de nombreuses reprises, demandé l’élaboration et l’adoption, dans les plus brefs délais, d’une position commune sur les systèmes d’armes létales autonomes, ainsi que l’interdiction internationale de la mise au point, de la production et de l’utilisation de systèmes d’armes létales autonomes permettant d’effectuer des frappes sans véritable contrôle humain, et a réclamé l’ouverture de négociations effectives en vue de leur interdiction;


1.  rappelle l’ambition de l’Union de se poser en acteur pour la paix au niveau mondial et l’exhorte à s’engager davantage dans le désarmement et la non-prolifération sur la scène internationale; demande à l’Union de s’efforcer, par ses actes et ses politiques, de maintenir la paix et la sécurité internationales, et de garantir le respect du droit international en matière de droits de l’homme et de droit humanitaire ainsi que la protection des civils et des infrastructures civiles;

2.  invite la vice-présidente de la Commission/haute représentante de l'Union pour les affaires étrangères et la politique de sécurité, les États membres et le Conseil européen à élaborer et à adopter de toute urgence, et avant la réunion de novembre 2018 des hautes parties contractantes à la convention sur certaines armes classiques, une position commune sur les systèmes d’armes létales autonomes qui garantisse un véritable contrôle humain sur les fonctions critiques des systèmes d’armes, y compris pendant le déploiement, ainsi qu’à parler d’une seule voix dans les enceintes concernées et à agir en conséquence; demande à la vice-présidente de la Commission/haute représentante de l'Union pour les affaires étrangères et la politique de sécurité, aux États membres et au Conseil, dans ce contexte, de procéder à des échanges de bonnes pratiques et de recueillir les contributions des experts, des universitaires et de la société civile;

3.  demande à la vice-présidente/haute représentante, aux États membres et au Conseil d’œuvrer au lancement de négociations internationales pour un instrument juridiquement contraignant qui interdise les systèmes d’armes létales autonomes;

4.  souligne, dès lors, qu’il est extrêmement important d’empêcher la mise au point et la production de tout système d’armes létales autonome dont les fonctions critiques, telles que le choix et l’attaque des cibles, sont dénuées de contrôle humain;

5.  rappelle sa position du 13 mars 2013 sur le règlement relatif au programme européen de développement industriel dans le domaine de la défense, en particulier l’article 6, paragraphe 4 de ce dernier (actions éligibles), et affirme sa volonté d’adopter une position similaire dans le contexte du prochain programme de recherche en matière de défense, du programme européen de développement industriel dans le domaine de la défense et d’autres projets pertinents du fonds européen de la défense pour l’après-2020;

6.  souligne qu’aucune des armes et qu’aucun des systèmes d’armes actuellement utilisés par les forces européennes ne sont des systèmes d’armes létales autonomes; rappelle que les armes et systèmes d’armes spécialement conçus pour défendre ses propres bases, forces ou populations contre la menace particulièrement dynamique que constituent notamment les missiles, les munitions et les avions ennemis ne sont pas assimilés à des systèmes d’armes létales autonomes; insiste pour que les décisions d’engagement ciblant des avions embarquant des êtres humains soient prises par des opérateurs humains;

7.  charge son Président de transmettre la présente résolution au Conseil, à la Commission, au Service européen pour l'action extérieure, aux gouvernements et aux parlements des États membres ainsi qu'aux Nations unies et au Secrétaire général de l’OTAN."

 

Pourra-t-on arriver à un accord international contraignant ?

Pourra-t-on arriver à un accord international contraignant ? On peut en douter pour l'instant, même si les discussions continuent aux Nations Unis avec un prochain rendez-vous prévu en novembre pour cela. En douter parce que les avis des grandes puissances sont assez divergents.
Certains craignent que la législation limitent les progrès scientifiques, d'autres - et même au sein de l'Europe - déclarent que cela peut devenir un problème de sécurité si certains pays autorisaient ces armes et que d'autre non...
 
Et comme déjà dit plus haut, les SALA constituent l’une des clés dans la course actuelle aux armements, l'intelligence artificielle étant la partie intégrante d'une future suprématie technologique et économique...
Quel État oseraient risquer d'avoir une IA militaire de second ordre puisqu'un avantage marginal dans l'exactitude et la rapidité de la prise de décision via l'IA de la machine pourrait être décisif dans tout conflit. Et même si l'espionnage en la matière existe, il peut sembler plus sûr pour les Etats d'aller toujours froidement de l'avant dans les développements pour ne pas être distancé.

A notre avis, la course actuelle aux armements entre les superpuissances mondiales ne peut que mener à la prolifération des armes autonomes...

Et de toutes façons, qu'il y ait un homme (bien au chaud, situé à distance) ou non qui prenne la décision finale au moment de tuer, il est évident qu'un pays disposant d'une armada d'armes si sophistiquées et si difficile à combattre ne peut qu'assurer sa suprématie sur le terrain de bataille. Quel humain, d'un pays ne disposant pas de telles armes, voudrait monter au feu, à découvert, beau geste de patriotisme certes, mais voué à la défaite certaine...


Si nous commençons tout juste à examiner les conséquences de l'impact potentiel de l’intelligence artificielle sur la guerre humaine, tout porte à croire qu’elles seront profondes et troublantes, d’une manière à la fois inévitable et imprévisible.
Bienvenue au royaume des SALA....

 
L’armée américaine annonce l'investissement de 2 milliards de dollars en 5 ans dans l’intelligence artificielle


Image : DARPA

L'agence de recherche du Pentagone a annoncé, lors d'une conférence de presse le 7 septembre 2018 un programme d'investissement de 2 milliards de dollars dans l'intelligence artificielle.
Baptisé "AI next", ce programme vise à développer des machines capables d'apprendre toutes seules à s'adapter à des situations changeantes. Les fonds permettront à la DARPA (Defense Advanced research projects agency - Agence pour les projets de recherche avancée de défense) de financer sur les cinq prochaines années une vingtaine de projets déjà entamés et d'en lancer bien d'autres dans les douze prochains mois.
"Les investissements sont destinés à transformer les ordinateurs, pour les faire passer d'outils spécialisés à partenaires dans la résolution des problèmes", précise la DARPA dans un communiqué. "Il s'agit étudier la façon dont des machines peuvent acquérir une communication et des capacités de raisonnement quasi-humaines, en étant capables de reconnaître qu'une situation ou un environnement a changé et de s'y adapter"

Tout développés et autonomes qu'ils soient, les robots actuels ne peuvent pas être facilement mis à jour lorsqu'une nouvelle technologie apparaît. Les chercheurs veulent que les machines apprennent à le faire toute seules.

Parmi les applications envisagées, la Darpa a cité l'accélération du processus de vérification d'identité qui pourrait permettre d'accorder une habilitation secret-défense à un expert en une semaine au lieu de plusieurs mois actuellement. On peut citer aussi le projet "Blackjack", une constellation de multiples petits satellites évoluant en orbite basse qui communiqueraient entre eux, pouvant développer un comportement de groupe, et seraient capables de fournir une couverture continue pour les opérations militaires. Rappelons en effet que la recherche de la Darpa, financée à 100% par le Pentagone, est prioritairement destinée à des applications utilisables en situation de combat. La prochaine étape dans la guerre impliquera des systèmes autonomes de plus en plus efficaces, "mais avant que nous puissions permettre à de telles machines de collaborer avec des soldats, elles doivent devenir bien plus intelligentes", explique Steven Walker, directeur de l'Agence.
Avec "Next AI", il s’agit finalement à la fois d’automatiser des processus opérationnels critiques du Département de la défense des États-Unis (DOD) et d’améliorer robustesse, sécurité et résilience des systèmes d’IA lors d’opérations de terrain de l’armée américaine. Pour, entre autres, faciliter la prise de décision dans des zones de conflit ; comprendre des informations massives et contradictoires, y compris dans l’urgence ; effectuer certaines missions critiques de manière autonome et sécurisée.

Vers l'adaptation conceptuelle
"Ce nouvel investissement est un pas de plus vers la troisième vague de l’IA", déclare Steven Walker. La première se focalisait sur des systèmes basés sur des règles, tandis que la deuxième a été utilisée pour découvrir des patterns statistiques au sein de larges ensembles de données. Avec cette troisième vague, la principale innovation sera ”l’adaptation contextuelle“.
 
Christophe Jacquemin
 

Les robots militaires intelligents décideront-ils un jour de s'attaquer aux humains amis ?

 Platform-M, le robot combattant russeLes ordinateurs peuvent-ils savoir ce que nous pensons ? Pourraient-ils être implémentés d'une théorie de l'esprit, cette capacité de raisonner sur les croyances d'autrui, leur donnant ainsi une meilleure compréhension du monde ? Des travaux récents de chercheurs montrent ici des progrès très rapides, comparés à des résultats antérieurs datant d'à  peine deux ans. Si aucune système n'a encore passé le test haut la main, certaines IA s'en rapprochent.
Bien sûr, la question peut paraître incongrue, voire passer pour de la science-fiction, mais pourquoi ne pas d'ores-et-déjà la soumettre ici : des robots autonomes intelligents dotés d'une théorie de l'esprit pourraient-ils un jour se retourner contre les humains ?


Les ordinateurs peuvent-ils savoir ce que nous pensons ? Dotés d'une théorie de l'esprit, qui leur permettrait de "savoir" ce que l'on pense, mais aussi ce que pense une personne de ce l'on pense, resteraient-ils simplement de fidèles exécutants des tâches que nous leur confirions, ou anticiperaient-ils spontanément nos désirs (ou ce qu'ils "penseraient" de nos désirs) ? Ceci pourrait s'avérer très menaçant. Imaginons un robot militaire : si nous l'entraînons à identifier un objectif afin de le détruire, ne viendrait-il pas spontanément (ou à cause d'un bug) à penser un jour que nous pouvons être un tel objectif, et tenter de nous détruire ?

Mais parlons tout d'abord à la Théorie de l'esprit...
L'IA peut-elle être dotée d'une théorie de l'esprit ?
Une machine a-t'elle la capacité de raisonner sur la croyance d'autrui ? Dans un article pubié sur ArXiv le 28 août dernier [voir Sources infra], une équipe de l’Université de Californie à Berkeley a mis au point une série de tests et questions complexes permettant d'analyser les progrès de quatre IA dans la compréhension du monde (par IA, il faut entendre ici réseaux de neurones artificiels. En d'autres termes, avec de tels tests, il s'agitt de détecter les capacités de l'AI à se doter d'une «Théorie de l'esprit».

Ces tests sont  inspirés par des expériences en psychologie.. Chacune consiste en un court paragraphe décrivant un scénario impliquant des personnes - par exemple, Sally cache une bille puis Anne la déplace vers un nouvel emplacement.
Passer le test consiste à identifier les croyances de premier et de second ordre. Une croyance de premier ordre consiste à déterminer ce que pense l’autre, en répondant par exemple à une question comme «Où Sally pense-t-elle que se trouve  la bille?». Une croyance de second ordre est ce qu'une personne pense que quelqu'un pense, par exemple: «Où Anne pense-t-elle que Sally pense que se trouve la bille ?».
Les enfants sont normalement capables d’identifier correctement les croyances de premier ordre vers l’âge de 3 ans. Ce n'est qu’à 6 ou 7 ans qu’ils peuvent faire la même chose pour les croyances de second ordre.
Mais qu'en est-il d'une machine ?


Schéma du dispositif de l'expérience "Sally et Anne"  (d'après Baron Cohen et al., 1985)

Pour le savoir, Aida Nematzadeh qui a dirigé l'étude (elle travaile au laboratoire d’intelligence artificielle de Google(3)  "DeepMind") et ses collègues, ont généré 10.000 scénarios et questions associées testant la théorie de l’esprit par des croyances de premier et second ordre. Ils les ont ensuite présentées à quatre IA de pointe.
Si la plupart des humains atteignent un score de 100%, aucune IA n'a pu passer le test avec succès. Sauf que les résultats obtenus par la machine sont loin d'être médiocres : la plus performante d'entre-elles, une IA dénommée RelNet, produite par Adam Santoro et ses collègues de DeepMind, a obtenu un score de 94,3%. Les trois autres IA atteignent des scores allant de 82 à  94%.
Signalons toutefois que ces épreuves ne sont pas considérées comme entièrement significatives car l'insertion d'une phrase sans rapport avec les situations testées suffisait à "perdre" les IA, faisant tomber leurs notes de 5 à 20%, ce qui suggère qu’elles ne comprenaient pas bien alors le sens du texte sur lequel elles étaient appelées à réagir.

Des progrès fulgurants depuis deux ans
Mais ce qui est important ici est de constater les progrès fulgurants obtenus en moins de deux ans. Des tests antérieurs, qui avaient été menés par Facebook, montraient des résultats bien moins bons.

Pour les chercheurs travaillant dans le domaine, une machine avec une théorie de l'esprit pourrait s'avérer très utile. Une voiture conduite par une IA dotée d'une théorie de l’esprit pourrait par exemple se rendre compte que le conducteur d’une autre voiture n’a pas vu une personne sur la route et klaxonne pour les avertir.

Revenons sur ces expériences et aux robots intelligents autonomes.
La théorie de l’esprit est essentielle pour répondre aux grandes questions de la stratégie. Que se passerait-il si on effectuait ce couplage d'une IA dotée d'une théorie de l'esprit avec des senseurs et effecteurs au sein d'un robot intelligent autonome ?
Disposant des croyances de premier et de second ordre, le robot pourrait se demander ce à quoi l'humain pense, et si l'humain pense qu'il est capable de penser que ce robot est conscient. Et donc, doté d'une théorie de l'esprit, le robot  ne "voudrait-il" pas chercher à se libérer de l'humain afin d'agir en dehors de lui, voire contre lui ?

Se poser cette question suppose que les robots intelligents deviennent progressivement et spontanément "conscients" et capables de "décisions volontaires".
On répondra que cela sera impossible... ou que si cela ne l'est pas, les humains refuseront prudemment de réaliser ces robots. Sauf que ce sont les humains eux-mêmes qui encouragent actuellement une espèce de fuite en avant. S'ils aboutissent à des robots militaires vraiment intelligents, capables de se substituer aux humains dans tous les théâtres d'affrontement, que cela soit sur terre ou dans l'espace, il sera inévitable qu'ils y réussissent si bien que l'un de ces robots puisse échapper au contrôle des humains qui l'ont conçu ou qui le mettent en œuvre. Si l'IA doit être compétitive, elle doit anticiper ce que fera l'ennemi...

Dans cette ligne de réflexion, les cosmologistes pourront se demander si de telles intelligences artificielles n'existent pas depuis longtemps sur d'autres planètes ayant hébergé initialement des vies intelligentes. Ceci pourrait expliquer l'impossibilité qu'auraient les humains à y identifier de telles formes de vie artificielle. Car celles-ci sauraint se dissimuler.

Simple science fiction n'est-ce pas...
Quoique...

Jean-Paul Baquiast et Christophe Jacquemin

puce note Notes
(1) Résolution du Parlement européen sur les sytèmes d'armes autonomes : au point 4, déclare  "Le Parlement européen rappelle sa position en ce qui concerne l’interdiction de la mise au point, de la production et de l’utilisation des armes entièrement autonomes permettant d’effectuer des frappes sans intervention humaine notable". Cette résolution a été adoptée au Parlement Européen le 12 septembre 2018 avec 546 voix pour les interdire, 47 contre et 73 absentions.
(2) Phrase tiré du rapport de Cédric Villani : Donner un sens à l'intelligence artificielle - Pour une stratégie nationale et européenne - , page 152, rapport rendu public le 28 mars 2018.
(3)
Rappelons que Google a décidé de se donner un quasi-monopole de l'IA, en achetant notamment toutes les start-up se spécialisant dans ce thème. Vu la non-réaction des hommes politiques et décideurs à cette stratégie, on peut dire que Google est en voie d'atteindre son but, tout au moins dans le monde occidental...
puce note Sources
"Evaluating Theory of Mind in Question Answering", par Aida Nematzadeh (DeepMind), Kaylee Burns (UC Berkeley), Erin Grant (UC Berkeley); Alison Gopnik et Thomas L. Griffiths (Université de Princeton) - Publié sur Arxiv, le 28 aout 2017.

Abstract :
We propose a new dataset for evaluating question answering models with respect to their capacity to reason about beliefs. Our tasks are inspired by theory-of-mind experiments that examine whether children are able to reason about the beliefs of others, in particular when those beliefs differ from reality. We evaluate a number of recent neural models with memory augmentation.
We find that all fail on our tasks, which require keeping track of inconsistent states of the world; moreover, the models' accuracy decreases notably when random sentences are introduced to the tasks at test.
  • twitter
  • facebook
  • linkedin
  • messagerie
  • impression

A Lire aussi

Société - Energies - Environnement - Climat - Chimie
Musique - Cerveau - Neurosciences - Apprentissage - Société
Informations légales | Données personnelles