27 mai 2006
Présentation par Christophe Jacquemin

Réseaux neuronaux
Une introduction

Réseaux neuronaux Une introduction - accompagné d'un modèle Java par Jean-Philippe Rennard Editions Vuibert Mars 2006

Voir aussi le site consacré à cet ouvrage : www.rennard.org/irn/

Les machines peuvent-elles penser ? Voilà ce que demandait en 1950 Alan Turing dans un fameux article(1) qui servit de "base de départ" à Allen Newell, J.-Cliff Shaw et Herbert Alexander Simon concevant à partir de 1952 la théorie des Heuristiques programmables qui allait, en 1956, rendre effectives les premières réalisations programmées de l'Intelligence artificielle. En fait, c'est dès les années 40 que, forts des progrès des neurosciences et de ceux de la logique mathématique, ont émergé les premiers travaux sur le cerveau artificiel. En s'inspirant de la structure du système nerveux biologique, on devrait pouvoir construire des systèmes artificiels dotés de puissantes capacités computationnelles. Très tôt a pu être montré que des réseaux d'unités logiques simples (neurones) sont capables de réaliser des opérations complexes ; plus encore, que de tels réseaux sont "Turing universels", c'est-à-dire qu'ils sont potentiellement aptes à traiter toute fonction calculable, voire, selon l'interprétation physique forte de la thèse de Church/Turing, à réaliser toute opération de traitement de l'information opérée par le cerveau biologique.

C'est sur ces bases que sont apparus les premiers réseaux apprenants, appelés "réseaux de neurones formels"(2). C'est à Franck Rosenblatt que l'on doit en 1958 le premier modèle de ces réseaux(3) - le Perceptron(4) - premier système artificiel présentant ainsi une faculté jusque là réservée aux êtres vivants : celle d'apprendre par l'expérience. C'est une extension du Perceptron, baptisée "Madaline" et réalisée par Bernard Widrow et Marcian E. Hoff, qui débouche en 1959 sur la première application réelle, encore utilisée aujourd'hui comme filtre adaptatif permettant de réduire l'écho sur les lignes téléphoniques. Mais si l'espoir était fort, la désillusion sera à la hauteur des promesses non tenues et, à la fin des années 60, d'importants résultats théoriques démontrèrent les limites intrinsèques des réseaux existants(5), hypothéquant alors l'avenir du domaine, qui entrera en hibernation durant plus de 10 ans

C'est tout d'abord à toute cette histoire que nous convie Jean-Philippe Rennard, en filigrane, au cours des pages de cet excellent livre Réseaux neuronaux. Comme le signale l'auteur, le renouveau du domaine, qui date du début des années 80, viendra paradoxalement plus de l'utilisation rénovée de l'outil mathématique que de nos progrès en neurosciences. Ceci ouvrira à un foisonnement de travaux donnant lieu à l'émergence de tout un ensemble de réseaux adaptés à des problèmes divers insolubles dans les réseaux anciens. Associés à l'extension de la puissance informatique, ils ont permis la multiplication des applications dans de très nombreux domaines, qu'ils concernent l'industrie, la finance, le marketing, ou encore l'écologie, le transport, les télécommunications, la robotique, les jeux vidéos, la synthèse vocale et la reconnaissance de l'écriture, en passant bien sûr par le domaine militaire ou médical...

Et c'est à la présentation détaillée de l'ensemble des grands types de réseaux neuronaux(6) à laquelle s'attaque ici avec talent Jean-Philippe Rennard, en en montrant à chaque fois la dynamique, les capacités et les limites. Richement illustré et accompagné de nombreux exemples, cet ouvrage est cependant plutôt à conseiller à l'amateur averti. Il satisfera tant le lecteur ayant des connaissances de base en informatique que l'étudiant, le professionnel ou le chercheur qui y puiseront toutes les bases formelles et références détaillées.

Et comme à son habitude, Jean-Phillipe Rennard ne se contente pas d'être "théorique" mais aussi "pratique" : le dernier chapitre est consacré à la mise en oeuvre et à la description d'un modèle objet permettant d'implémenter une très grande diversité de réseaux étudiés tout au long de l'ouvrage . Ecrit en langage Java, ce modèle simple permet à l'utilisateur de construire et de tester ses propres réseaux. Et comme l'auteur fait toujours les choses bien, sources et programmes d'illustration sont disponibles en ligne, à l'adresse http://www.rennard.org/irn.

Une des applications proposées dans le dernier chapitre de l'ouvrage : la reconnaissance de chiffres par un Perceptron multicouche L'applet Java implémente le système apte à reconnaître la numération hexadécimale sur un afficheur 7 segments. La partie inférieure de l'écran présente la courbe d'erreur.

Notes
(1) "Computing Machinery and Intelligence", Mind (1950), pages 135 à 175.
(2) Dénommés aussi réseaux de neurones artificiels. Ce sont des systèmes biomimétiques inspirés du fonctionnement des neurones biologiques, dont ils sont une métaphore. Aujourd'hui, le vigoureux domaine des algorithmes biomimétiques s'étend bien au-delà des seuls réseaux de neurones formels. Parmi les plus matures, mais aussi les plus prometteurs du domaine, il faut citer les algorithmes évolutionnaires qui montrent avec éclat la fécondité des transpositions informatiques des mécanismes biologiques.
(3) Si c'est en 1958 qu'apparaît le premier réseau de neurones artificiels, les premiers à avoir proposé un modèle sont deux bio-physiciens de Chicago, McCulloch et Pitts qui,en 1943, inventent le premier neurone formel qui portera leurs noms (neurone de McCulloch-Pitts ou automate à seuil). Puis, en 1949, Hebb proposera une formulation du mécanisme d'apprentissage, sous la forme d'une règle de modification des connexions synaptiques (règle de Hebb). Basée sur des données biologiques, celle-ci modélise le fait que si des neurones sont activés de façon synchrone et répétée de part et d'autre d'une synapse, alors la force de la connexion synaptique va aller croissant.
(4) "The Perceptron : a probalistic model for information storage ans organization in the brain", Psychological Review n° 65, pages 386 à 408. Le Perceptron est inspiré du système visuel et possède une couche de neurones d'entrée (perceptive) ainsi qu'une couche de neurones de sortie (décisionelle"). Ce réseau parvient à apprendre à identifier des formes simples et à calculer certaines fonctions logiques.
(5) Une critique violente du Perceptron sera formulée en 1969 par Minsky et Papert, montrant toutes les limites de ce modèle et soulevant particulièrement l'incapacité de ce système à résoudre les problèmes non linéairement séparables, tels que le célèbre problème du XOR. Il faudra attendre le début des années 80 et le génie de John Hopfield pour que l'intérêt pour ce domaine soit de nouveau présent : en 1982, il démontre tout l'intérêt d'utiliser des réseaux récurrents (dit "feed-back") pour la compréhension et la modélisation des processus mnésiques. Les réseaux récurrents constituent alors la deuxième grande classe de réseaux de neurones, avec les réseaux type perceptron (dit "feed-forward").
(6) Modèle fondateur (McCulloch-Pitts) ; Perceptron et Adaline ; Réseaux multicouches ; Réseaux récurrents ; Réseaux auto-organisés ; Réseaux évolutionnaires.

Automates Intelligents © 2006