Automates
Intelligents s'enrichit du logiciel
Alexandria.
Double-cliquez sur chaque mot de cette page et s'afficheront
alors définitions, synonymes et expressions constituées
de ce mot. Une fenêtre déroulante permet aussi
d'accéder à la définition du mot dans une
autre langue.
Pourra-t-on
voir un jour ce qu'on pense en images ? Exprimer directement - via
images sur écran - une pensée ou perception difficilement
formulable par des mots ?
Va t'on, à plus ou moins long terme, disposer de systèmes
permettant d'enregistrer nos rêves et de nous les restituer
en images ? Voir en images ce que les gens pensent ? Bien
sûr, nous en somme très loin, mais les travaux de l'équipe
du Japonais Yukiyasu Kamitani publiés récemment dans
la revue américaine Neuron(1)
viennent tracer ici un premier sillon. Ce scientifique du laboratoire
de neurosciences computationnelles, département de neuro
informatique de l'ATR(2) affirme
en effet avoir réussi "pour la première fois
au monde à recréer tel quel, en image, le contenu
de perceptions cérébrales complexes"....
Un chercheur coutumier des premières mondiales puisqu'il
s'est déjà illustré, il y a un peu plus de
deux ans, avec la mise au point d'une
interface cerveau humain/machine non invasive permettant par la
simple pensée de faire effectuer en temps presque réel
des mouvements simples à une main robotique [voir
notre article du 26/05/06].
Menés
en collaboration avec les Instituts japonais NICT, NAIST et NINS(3),
les nouveaux travaux de Y. Kamitani ont consisté à
reconstituer sur écran différentes images vues par
une personne, par "simple" analyse des variations
du débit sanguin au niveau de son cortex.
Via imagerie par résonance magnétique fonctionnelle
(IRMf), les chercheurs ont tout d'abord cartographié les
variations d'activité apparaissant dans la partie du cortex
lié à la vision, lorsque le sujet regardait différentes
images placées devant ses yeux. 400 images noir et blanc
ont ainsi été présentées au hasard devant
les yeux du sujet, chacune durant 12 secondes.
Pendant que la machine IRMf suivait toutes les deux secondes l'évolution
de l'activité cérébrale, un ordinateur engrangeait
les données, apprenant à associer les différentes
modifications de l'activité cérébrale avec
les différents modèles d'images. En d'autres termes,
pour aboutir à ce dispositif de conversion de signaux cérébraux
en images (inverse de celui qui s'effectue entre l'oeil et le cerveau),
l'équipe a développé une sorte de décodeur
des variations cérébrales, via l'association d'un
type de signal et d'une forme basique connue. Ils ont ensuite combiné
plusieurs couples signal-forme pour recréer des images complexes.
Ainsi,
lorsque fut montré au sujet une nouvelle série d'images,
telles que les lettres
N-E-U-R-O-N, le système a été capable de reconstruire
et d'afficher sur l'écran ces lettres, uniquement en s'appuyant
sur l'analyse de l'activité cérébrale du sujet.
Méthode
utilisée
Lorsque
l'on regarde un objet, un paysage, une image ou quoi que ce
soit, l'information visuelle est convertie en signaux électriques
par la rétine, traités ensuite par les neurones
cérébraux dans le cortex visuel, situé
à l'arrière de la tête.
Si le cortex visuel est une structure hiérarchique
composée de régions appelées "cortex
visuel primaire", "cortex visuel secondaire",
etc., la plus
grande précision dans la reconstruction des images
a été obtenue ici lorsque l'activité
du cerveau dans le cortex visuel primaire était activée
(en d'autres termes : plus haut était l'ordre du cortex
mobilisé (secondaire et suivants), moins bonne a été
la précision obtenue). Les chercheurs ont également
constaté que, dans le cortex visuel primaire, une plus
grande quantité d'informations étaient obtenues
en utilisant les motifs entre les signaux de l'activité
cérébrale, plutôt que l'intensité
des signaux individuels, en comparaison avec les cortex visuels
d'un ordre plus élevé.
Utilisant l'imagerie par résonance magnétique
fonctionnelle (IRMf), la nouvelle technologie mesure la structure
de l'activité cérébrale dans le cortex
cérébral visuel déclenchée par
les informations que l'image a fait entrer par les yeux.
Le champ de vision est divisé en petites zones, et
le contraste dans chaque zone est estimé à partir
des motifs d'activité du cortex. Les images sont reconstruites
en combinant l'estimation des valeurs de contraste. L'erreur
est ici réduite en combinant les estimations obtenues,
en faisant l'hypothèse que le champ de vision est divisé
en un certain nombre de résolutions différentes.
Durant l'étude, 440 images ont été présentées
au sujet, pendant que le logiciel effectuait la corrélation
entre chaque image et l'activité cérébrale
correspondante.
L'image a été traitée comme une combinaison
de petits éléments unité. L'angle de
vue, de l'ordre de 1 ° (1.7cm lorsque vu à 1 m
de distance) a été fixé à un pixel.
La corrélation entre l'image et l'activité cérébrale
a été saisie dans le programme pour chacun des
cas où trois éléments unité différents
étaient utilisées, c'est-à-dire: 1 pixel
(ligne) x 2 pixels (colonne), 2 pixels (ligne) x 1 pixel (colonne)
et de 2 pixels (ligne) x 2 pixels (colonne).
A noter que les images ont été reconstruites
avec précision, même lorsque le sujet observait
des figures ou lettres n'ayant pas été utilisées
dans l'apprentissage des motifs d'activité cérébrale.
Il a également été possible d'identifier
la bonne image parmi plus de 100 millions de candidats possibles*.
Signalons aussi que les modifications de l'image présentée
peuvent être lues comme de la vidéo en utilisant
le signal IRMf, qui est mis à jour toutes les deux
secondes.
*
Si des études précédentes utilisant l'IRMf
ont déjà permis de prédire un état
de perception en classant l'activité cérébrale
en catégories prédéterminées (par
exemple, travaux de Kamitani et Tong - 2005 ; Haynes et Reed
- 2006), la reconstruction d'images visuelles lançait
ici un incomparable défi , sachant qu'il est impossible
de préciser l'activité cérébrale
pour toutes les images possibles.
NB : le film est projeté à une vitesse six fois
plus rapide que la vitesse d'origine.
Le retard dans la réponse hémodynamique n'a
pas été corrigée : le temps de correspondance
entre les images présentées et les images reconstruites
a donc été préservé. Le temps
initial est affiché en bas à droite.
Pour une meilleure illustration, chaque parcelle de l'image
est représentée par un carré homogène,
dont l'intensité représente le contraste du
motif en damier.
Quelles
applications dans le futur ?
Pour
le moment, le système est encore très limité
car il ne permet pas de reproduire toutes les perceptions. Par ailleurs,
son fonctionnement pour tout un chacun exigerait de dresser au préalable
un tableau de correspondances entre formes et signaux pour chaque
individu. Cependant, les chercheurs estiment avoir construit là
une méthode d'analyse qui ouvre la voie à des applications
qui relevaient jusqu'à présent du fantasme. Selon
eux, le procédé permettra le développement
de nouveaux modes d'interaction entre l'homme et les machines, en
établissant un ensemble de relations entre une combinaison
de mouvements et un motif de signaux cérébraux. Par
exemple, "si nous arrivons un jour à mettre en images
les signaux qui traversent nos neurones, nous pourrons peut-être
regarder sur un écran nos rêves et autres pensées
comme des films ou émissions de télévision",
indique Yukiyasu Kamitani.
Le chercheur suggère également pour le futur des applications
en direction des architectes, des concepteurs d'objets ou autres
créateurs "en leur permettant de montrer ce qu'ils
ont en tête, même s'ils ne trouvent pas les mots pour
le dire ou ne savent pas le dessiner"(4).
Le domaine
de la psychiatrie est également évoqué : ce
système pourrait fournir aux médecins une aide dans
le traitement des troubles hallucinatoires en offrant cette fenêtre
directe à l'intérieur de l'esprit des patients...
Ajoutons,
pour notre part, l'intérêt par exemple de cette approche
dans la compréhension future des niveaux de conscience lors
des états de coma.
Lire les états
émotionnels complexes comme dans un livre d'images ?
SelonYukiyasu
Kamitani "cette
technologie peut également être appliquée à
d'autres sens que la vision. Dans l'avenir,
il devrait être possible de lire les sentiments, les états
émotionnels complexes et les pensées avec une certaine
précision"...
Même s'il faut se méfier des effets d'annonce, il n'en
reste pas moins que pour l'heure, l'équipe Kamitani a réussi
à faire observer des formes (lettres de l'alphabet) à
un individu et à les reconstituer sur un écran à
partir de l'analyse de son activité cérébrale.
Ceci constitue une indéniable percée.
Et si pour l'instant le système est uniquement capable de
reproduire les images en noir et blanc, il ne fait nul doute en
revanche qu'avec de le développement de l'amélioration
de la précision des mesures il sera rapidement possible de
reproduire ces images en couleur.
Notes (1)
Neuron du 10 décembre 2008, Volume 60, Issue 5, pages 915
à 929 :
"Visual Image Reconstruction from Human Brain Activity using
a Combination of Multiscale Local Image Decoders", par Yoichi
Miyawaki, Hajime Uchida, Okito Yamashita, Masa-aki Sato, Yusuke
Morito, Hiroki C. Tanabe, Norihiro Sadato etYukiyasu Kamitani. (voir
l'abstract). (2) ATR
: Advanced Telecommunications Resarch - International Institute.
Site de son département de neurologie informatique : http://www.cns.atr.jp/dni/. (3) Technologie issue des travaux conjoints
de l'ATR (voir note 2), du National Institute of Information and
Communications Technology (NICT) http://www.nict.go.jp/index.html
; du Nara Institute of Science and Technology (NAIST) http://www.naist.jp/index_e.html
et du: National Institute of Natural Science (NINS) http://www.nins.jp/english/. (4) Encore faudrait-il notamment pouvoir
ici disposer de capteurs portatifs. Et puis, faut-il rappeler que,
normalement, les architectes, designers ou autres créatifs
se défendent pas trop mal en dessin... à moins que
d'ici quelques années on n'ait finalement plus besoin de
savoir dessiner pour être designer...
Automates
Intelligents s'enrichit du 
Pourra-t-on
voir un jour ce qu'on pense en images ? Exprimer directement - via
images sur écran - une pensée ou perception difficilement
formulable par des mots ?
Bien
sûr, nous en somme très loin, mais les travaux de l'équipe
du Japonais Yukiyasu Kamitani publiés récemment dans
la revue américaine Neuron
Pour
le moment, le système est encore très limité
car il ne permet pas de reproduire toutes les perceptions. Par ailleurs,
son fonctionnement pour tout un chacun exigerait de dresser au préalable
un tableau de correspondances entre formes et signaux pour chaque
individu. Cependant, les chercheurs estiment avoir construit là
une méthode d'analyse qui ouvre la voie à des applications
qui relevaient jusqu'à présent du fantasme. Selon
eux, le procédé permettra le développement
de nouveaux modes d'interaction entre l'homme et les machines, en
établissant un ensemble de relations entre une combinaison
de mouvements et un motif de signaux cérébraux. Par
exemple, "si nous arrivons un jour à mettre en images
les signaux qui traversent nos neurones, nous pourrons peut-être
regarder sur un écran nos rêves et autres pensées
comme des films ou émissions de télévision",
indique Yukiyasu Kamitani.
