Plan du site Aide Abonnement Nous Contacter


Actualité
Editorial
Interviews
Démocratie
Visites virtuelles
Art. Imaginaire
Du côté des labos
Le feuilleton
Manifestations
Biblionet
CD Rom
Echanges
Liens Utiles

 

Accueil > Du côté des labos
Automates Intelligents s'enrichit du logiciel Alexandria.
Double-cliquez sur chaque mot de cette page et s'afficheront alors définitions, synonymes et expressions constituées de ce mot. Une fenêtre déroulante permet aussi d'accéder à la définition du mot dans une autre langue.
 
Archives
2010-2011
2009
2008
2007
2006
2005
2004
2003
2002
2001
2000
1999
En guise d'introduction

27 décembre 2008
par Christophe Jacquemin

Voir un jour ce qu'on pense
en images ?

Photo © ATRPourra-t-on voir un jour ce qu'on pense en images ? Exprimer directement - via images sur écran - une pensée ou perception difficilement formulable par des mots ?
Va t'on, à plus ou moins long terme, disposer de systèmes permettant d'enregistrer nos rêves et de nous les restituer en images ? Voir en images ce que les gens pensent ?
Couverture de la revue Neuron  du 11 décembre 2008Bien sûr, nous en somme très loin, mais les travaux de l'équipe du Japonais Yukiyasu Kamitani publiés récemment dans la revue américaine Neuron(1) viennent tracer ici un premier sillon. Ce scientifique du laboratoire de neurosciences computationnelles, département de neuro informatique de l'ATR(2) affirme en effet avoir réussi "pour la première fois au monde à recréer tel quel, en image, le contenu de perceptions cérébrales complexes".... Un chercheur coutumier des premières mondiales puisqu'il s'est déjà illustré, il y a un peu plus de deux ans, avec la mise au point d'une interface cerveau humain/machine non invasive permettant par la simple pensée de faire effectuer en temps presque réel des mouvements simples à une main robotique [voir notre article du 26/05/06].

Menés en collaboration avec les Instituts japonais NICT, NAIST et NINS(3), les nouveaux travaux de Y. Kamitani ont consisté à reconstituer sur écran différentes images vues par une personne, par "simple" analyse des variations du débit sanguin au niveau de son cortex.
Via imagerie par résonance magnétique fonctionnelle (IRMf), les chercheurs ont tout d'abord cartographié les variations d'activité apparaissant dans la partie du cortex lié à la vision, lorsque le sujet regardait différentes images placées devant ses yeux. 400 images noir et blanc ont ainsi été présentées au hasard devant les yeux du sujet, chacune durant 12 secondes.
Pendant que la machine IRMf suivait toutes les deux secondes l'évolution de l'activité cérébrale, un ordinateur engrangeait les données, apprenant à associer les différentes modifications de l'activité cérébrale avec les différents modèles d'images. En d'autres termes, pour aboutir à ce dispositif de conversion de signaux cérébraux en images (inverse de celui qui s'effectue entre l'oeil et le cerveau), l'équipe a développé une sorte de décodeur des variations cérébrales, via l'association d'un type de signal et d'une forme basique connue. Ils ont ensuite combiné plusieurs couples signal-forme pour recréer des images complexes.

Ainsi, lorsque fut montré au sujet une nouvelle série d'images, telles que les lettres
N-E-U-R-O-N, le système a été capable de reconstruire et d'afficher sur l'écran ces lettres, uniquement en s'appuyant sur l'analyse de l'activité cérébrale du sujet.

 

Méthode utilisée

Cliquer sur l'image pour l'agrandirLorsque l'on regarde un objet, un paysage, une image ou quoi que ce soit, l'information visuelle est convertie en signaux électriques par la rétine, traités ensuite par les neurones cérébraux dans le cortex visuel, situé à l'arrière de la tête.

Si le cortex visuel est une structure hiérarchique composée de régions appelées "cortex visuel primaire", "cortex visuel secondaire", etc., la plus
grande précision dans la reconstruction des images a été obtenue ici lorsque l'activité du cerveau dans le cortex visuel primaire était activée (en d'autres termes : plus haut était l'ordre du cortex mobilisé (secondaire et suivants), moins bonne a été la précision obtenue). Les chercheurs ont également constaté que, dans le cortex visuel primaire, une plus grande quantité d'informations étaient obtenues en utilisant les motifs entre les signaux de l'activité cérébrale, plutôt que l'intensité des signaux individuels, en comparaison avec les cortex visuels d'un ordre plus élevé.

Méhode utilisée

Utilisant l'imagerie par résonance magnétique fonctionnelle (IRMf), la nouvelle technologie mesure la structure de l'activité cérébrale dans le cortex cérébral visuel déclenchée par les informations que l'image a fait entrer par les yeux.
Le champ de vision est divisé en petites zones, et le contraste dans chaque zone est estimé à partir des motifs d'activité du cortex. Les images sont reconstruites en combinant l'estimation des valeurs de contraste. L'erreur est ici réduite en combinant les estimations obtenues, en faisant l'hypothèse que le champ de vision est divisé en un certain nombre de résolutions différentes.

Durant l'étude, 440 images ont été présentées au sujet, pendant que le logiciel effectuait la corrélation entre chaque image et l'activité cérébrale correspondante.
L'image a été traitée comme une combinaison de petits éléments unité. L'angle de vue, de l'ordre de 1 ° (1.7cm lorsque vu à 1 m de distance) a été fixé à un pixel.

La corrélation entre l'image et l'activité cérébrale a été saisie dans le programme pour chacun des cas où trois éléments unité différents étaient utilisées, c'est-à-dire: 1 pixel (ligne) x 2 pixels (colonne), 2 pixels (ligne) x 1 pixel (colonne) et de 2 pixels (ligne) x 2 pixels (colonne).

A noter que les images ont été reconstruites avec précision, même lorsque le sujet observait des figures ou lettres n'ayant pas été utilisées dans l'apprentissage des motifs d'activité cérébrale. Il a également été possible d'identifier la bonne image parmi plus de 100 millions de candidats possibles*.
Signalons aussi que les modifications de l'image présentée peuvent être lues comme de la vidéo en utilisant le signal IRMf, qui est mis à jour toutes les deux secondes.

* Si des études précédentes utilisant l'IRMf ont déjà permis de prédire un état de perception en classant l'activité cérébrale en catégories prédéterminées (par exemple, travaux de Kamitani et Tong - 2005 ; Haynes et Reed - 2006), la reconstruction d'images visuelles lançait ici un incomparable défi , sachant qu'il est impossible de préciser l'activité cérébrale pour toutes les images possibles.

Images présentées et images reconstituées

Voir le film de démonstration

NB : le film est projeté à une vitesse six fois plus rapide que la vitesse d'origine.
Le retard dans la réponse hémodynamique n'a pas été corrigée : le temps de correspondance entre les images présentées et les images reconstruites a donc été préservé. Le temps initial est affiché en bas à droite.

Pour une meilleure illustration, chaque parcelle de l'image est représentée par un carré homogène, dont l'intensité représente le contraste du motif en damier.

 

Quelles applications dans le futur ?

© D.RPour le moment, le système est encore très limité car il ne permet pas de reproduire toutes les perceptions. Par ailleurs, son fonctionnement pour tout un chacun exigerait de dresser au préalable un tableau de correspondances entre formes et signaux pour chaque individu. Cependant, les chercheurs estiment avoir construit là une méthode d'analyse qui ouvre la voie à des applications qui relevaient jusqu'à présent du fantasme. Selon eux, le procédé permettra le développement de nouveaux modes d'interaction entre l'homme et les machines, en établissant un ensemble de relations entre une combinaison de mouvements et un motif de signaux cérébraux. Par exemple, "si nous arrivons un jour à mettre en images les signaux qui traversent nos neurones, nous pourrons peut-être regarder sur un écran nos rêves et autres pensées comme des films ou émissions de télévision", indique Yukiyasu Kamitani.

Le chercheur suggère également pour le futur des applications en direction des architectes, des concepteurs d'objets ou autres créateurs "en leur permettant de montrer ce qu'ils ont en tête, même s'ils ne trouvent pas les mots pour le dire ou ne savent pas le dessiner"(4).
L
e domaine de la psychiatrie est également évoqué : ce système pourrait fournir aux médecins une aide dans le traitement des troubles hallucinatoires en offrant cette fenêtre directe à l'intérieur de l'esprit des patients...

Ajoutons, pour notre part, l'intérêt par exemple de cette approche dans la compréhension future des niveaux de conscience lors des états de coma.

Lire les états émotionnels complexes comme dans un livre d'images ?

SelonYukiyasu Kamitani "cette technologie peut également être appliquée à d'autres sens que la vision. Dans l'avenir, il devrait être possible de lire les sentiments, les états émotionnels complexes et les pensées avec une certaine précision"...

Même s'il faut se méfier des effets d'annonce, il n'en reste pas moins que pour l'heure, l'équipe Kamitani a réussi à faire observer des formes (lettres de l'alphabet) à un individu et à les reconstituer sur un écran à partir de l'analyse de son activité cérébrale. Ceci constitue une indéniable percée.
Et si pour l'instant le système est uniquement capable de reproduire les images en noir et blanc, il ne fait nul doute en revanche qu'avec de le développement de l'amélioration de la précision des mesures il sera rapidement possible de reproduire ces images en couleur.

Notes
(1) Neuron du 10 décembre 2008, Volume 60, Issue 5, pages 915 à 929 :
"Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders", par Yoichi Miyawaki, Hajime Uchida, Okito Yamashita, Masa-aki Sato, Yusuke Morito, Hiroki C. Tanabe, Norihiro Sadato etYukiyasu Kamitani. (voir l'abstract).
(2)
ATR : Advanced Telecommunications Resarch - International Institute.
Site de son département de neurologie informatique : http://www.cns.atr.jp/dni/.
(3) Technologie issue des travaux conjoints de l'ATR (voir note 2), du National Institute of Information and Communications Technology (NICT) http://www.nict.go.jp/index.html ; du Nara Institute of Science and Technology (NAIST) http://www.naist.jp/index_e.html et du: National Institute of Natural Science (NINS) http://www.nins.jp/english/.
(4) Encore faudrait-il notamment pouvoir ici disposer de capteurs portatifs. Et puis, faut-il rappeler que, normalement, les architectes, designers ou autres créatifs se défendent pas trop mal en dessin... à moins que d'ici quelques années on n'ait finalement plus besoin de savoir dessiner pour être designer...


© Automates Intelligents 2008

 





 

 

 

Qui sommes nous ? Partenaires Abonnement Nous Contacter

© Association Automates Intelligents
Mention légale CNIL : 1134148