Flux RSS
Des chercheurs français ont développé un ensemble d'outils logiciels open source permettant une reproductibilité dans les études d'évaluation de système d'aide à la prise de décision. Un enjeu d'importance, au coeur de nombreux domaines, notamment dans le développement d'outils d'intelligence artificielle pour la médecine.

La reproductibilité des résultats obtenus est un enjeu majeur en recherche biomédicale et une étape essentielle pour en tirer des conclusions fiables, et donc durables.
Mais il existe à l’heure actuelle une réelle difficulté à reproduire les résultats des études, ceci étant notamment lié aux méthodes de gestion et de traitements des données qui ne sont pas toujours suffisamment accessibles ou standardisées.

Un ensemble d'outils accessibles en open source permettant une meilleure reproductibilité des recherches

Une équipe française(1), qui vient de publier ses travaux en août dernier dans la Revue Neuroimage [voir Sources ci-dessous], s'est attaiquée à ce problème, dans le cadre spécifique d'aide à la décision médicale et notamment l'aide au diagnostic de la maladie d'Alzheimer, domaine dans lequel ont été menés de très nombreux travaux depuis une dizaine d'années. La grande majorité de ces études utilisent les mêmes bases de données publique de patients, par exemple celle de l'Alzheimer's Disease Neuroimaging Iniative (ADNI)(1), mais il est impossible de les comparer entre elles. Chaque étude utilise en fait un sous-échantillon de patients différents issu de cette base, sur des critères qui ne sont pas toujours précisément définis. Puis ces données subissent ensuite des traitements variables d'une étude à l'autre. Le résultat montre alors qu'il est souvent difficile de tirer des conclusions et le transfert vers la clinique reste donc faible.


Vidéo : archives de données ADNI

Pour répondre à ce problème, l'équipe française a développé un ensemble d'outils logiciels open source qui permet de standardiser et reproduire facilement les résultats d'évalautions de ces systèmes d'aide au diagnostic. Ce système se présente sous la forme d'un "workflow" totalement automatisé, partant de la base de données utilisée, auquel il suffit d'ajouter l'outil d'intelligence artificielle développé, par exemple pour distinguer un patient atteint de la maladie d'Alzheimer d'autres pathologies, ce qui va conduire à une décision.

A l'heure actuelle, ce logiciel est prévu pour l'analyse de données d'IRM anatomique et de tomographie par émission de positons (TEP), outils important dans le diagnostic de la maladie d'Alzheimer.

TEP du cerveau
A partir d’un ensemble d’exemples (base de données de patients), l’algorithme "apprend" quelles régions du cerveau sont altérées par la maladie. A partir des caractéristiques des images cérébrales dans ces régions, l’algorithme détermine le diagnostic probable © Jorge Samper-González.
 
La difficulté de reproductibilité :
Si un grand nombre d'articles ont introduit de nouvelles méthodes d'apprentissage par la machine et d'extraction de caractéristiques pour la classification automatique de la maladie d'Alzheimer, et même si ces différents travaux utilisent le plus souvent des données publiques ADNI pour l'évaluation, les résultats de ces études sont souvent difficiles à reproduire car différentes composante clés de la validation ne sont souvent pas facilement disponibles.
Ces composantes incluent des participants sélectionnés et des données d'entrée, des procédures de prétraitement d'images et de validations croisées.
La performance des différentes approches est également difficile à comparer objectivement. En particulier, il est souvent difficile de déterminer quelle partie de la méthode - par exemple des algorithmes de prétraitement, d'extraction de caractéristiques ou de classification - fournit une amélioration réelle.

C'est pourquoi, dans leur article, l'équipe française, propose un cadre pour des expériences de classification reproductibles et objectives dans les études de la maladie d'Alzheimer, utilisant trois ensembles de données disponibles au public : ADNI, AIBL et OASIS.
Le cadre comprend la conversion automatique des trois jeux de données en un format standart (BIDS) ; un ensemble modulaires de pipelines de prétraitement, de méthodes d'extraction et de classification des caractéristiques ainsi qu'un cadre d'évaluation fournissant une base de référence pour l'analyse comparative des différents composants. Dans leur étude, les chercheurs démontrent l'utilisation de ce cadre pour une évaluation à grande échelle (IRM T1(2) et TEP au fluoro-désoxy-glucose). Dans cette évaluation, les chercheurs ont regardé l'influence de différentes modalités - prétraitement, types d'entités, classifcateurs, tailles d'ensembles d'entraînements et jeux de données.

Influences des critères de diagnostic
Influence des critères de diagnostic.


L'outil open source réalisé par les chercheurs :

Clinica
- Accès aux outils open source développés par l'équipe et expériences

Schéma outil clinica


- Accéder aux codes utilisés dans l'article des chercheurs

Etendre l'outil à d'autres types de données

Les chercheurs souhaitent maintenant poursuivre le développement de cette plateforme logicielle. Leur objectif est de l'étendre à d’autres types de données et à d’autres pathologies, comme par exemple la maladie de Parkinson, avec l'objectif, à terme, d'aller vers une plus grande reproductibilité et une meilleure standardisation des études de validation des systèmes d’aide à la décision médicale à destination de la clinique.
 
Christophe Jacquemin
puce note Notes
(1) Cette équipe groupe des chercheurs du CNRS, de l'INSERM, de l'INRIA, Sorbonne Université et Hôpital Pitié Salpêtrière.
(2)
Dans une image pondérée en T1, la graisse apparaît hyperintense (couleur claire) et l'eau hypointense (foncée).
puce note Sources
"Reproducible evaluation of classification methods in Alzheimer's disease: Framework and application to MRI and PET data", par Samper-González J, Burgos N, Bottani S, Fontanella S, Lu P, Marcoux A, Routier A, Guillon J, Bacci M, Wen J, Bertrand A, Bertin H, Habert MO, Durrleman S, Evgeniou T, Colliot O; Alzheimer's Disease Neuroimaging Initiative; Australian Imaging Biomarkers and Lifestyle flagship study of ageing.
Neuroimage. 18 août 2018.
Abstract :
A large number of papers have introduced novel machine learning and feature extraction methods for automatic classification of Alzheimer's disease (AD). However, while the vast majority of these works use the public dataset ADNI for evaluation, they are difficult to reproduce because different key components of the validation are often not readily available.
These components include selected participants and input data, image preprocessing and cross-validation procedures. The performance of the different approaches is also difficult to compare objectively. In particular, it is often difficult to assess which part of the method (e.g. preprocessing, feature extraction or classification algorithms) provides a real improvement, if any.
In the present paper, we propose a framework for reproducible and objective classification experiments in AD using three publicly available datasets (ADNI, AIBL and OASIS).
The framework comprises: i) automatic conversion of the three datasets into a standard format (BIDS); ii) a modular set of preprocessing pipelines, feature extraction and classification methods, together with an evaluation framework, that provide a baseline for benchmarking the different components. We demonstrate the use of the framework for a large-scale evaluation on 1960 participants using T1 MRI and FDG PET data. In this evaluation, we assess the influence of different modalities, preprocessing, feature types (regional or voxel-based features), classifiers, training set sizes and datasets.
Performances were in line with the state-of-the-art. FDG PET outperformed T1 MRI for all classification tasks. No difference in performance was found for the use of different atlases, image smoothing, partial volume correction of FDG PET images, or feature type. Linear SVM and L2-logistic regression resulted in similar performance and both outperformed random forests. The classification performance increased along with the number of subjects used for training. Classifiers trained on ADNI generalized well to AIBL and OASIS. All the code of the framework and the experiments is publicly available: general-purpose tools have been integrated into the Clinica software (www.clinica.run) and the paper-specific code is available at: https://gitlab.icm-institute.org/aramislab/AD-ML.
  • twitter
  • facebook
  • linkedin
  • messagerie
  • impression

A Lire aussi

Médecine - Transhumanisme - Intelligence artificielle - Société
Informations légales | Données personnelles