Recherche reproductible

Playdoyer
pour une recherche reproductible

La production scientifique repose en général sur la confiance et le processus de révision par les pairs, garantie de la qualité, de la vérité, et l’exactitude des résultats et de l’honnêteté de ses auteurs.

Force est de constater que la plupart des publications scientifiques prennent aujourd’hui la forme d’un pdf à prendre pour argent comptant, en l’absence de paramètres clairement définis (dont une bonne partie s’avère manquants), et dans l’impossibilité d’examiner en détail les images, les sources ou les graphiques. L’algorithme décrit ne fonctionne pas en  général sur d’autres données que celles utilisées dans l’article (sur lesquelles ont a d’ailleurs très peu d’informations).

Les résultats s'avèrent impossibles à reproduire (paramètres cachés ou biaisés, données manquantes, etc). Ces trop nombreuses limitations réduisent la portée de la publication qu'il devient difficile d'être encore qualifiée de « scientifique ».

 

Le journal IPOL

À la fois journal électronique, archive ouverte en texte intégral et démonstrateur, IPOL met en oeuvre le développement logiciel au coeur de la publication scientifique et incarne un nouveau modèle de validation, diffusion et partage d’une recherche réellement reproductible.

Prenant le contrepied et adoptant d’emblée le modèle de l’Open Access, il publie des algorithmes de traitement et d'analyse des signaux en mettant l'accent sur le rôle des mathématiques comme source pour la conception des algorithmes. La publication de chaque algorithme est comprend :

• un manuscrit contenant la description détaillée de l'algorithme, la bibliographie, ainsi que des exemples commentés et une analyse de cas d'échec,
• une implémentation logicielle de l'algorithme en C/C++, en Python 3, ou Octave,
• un démonstrateur en ligne, où l'algorithme peut être testé sur des données téléchargés par les lecteurs en faisant jouer les paramètres à volonté,
• un article (pdf) sous licence Creative Commons CC,
• une archive maintenue opérationnelle contenant de nombreuses expériences en ligne.

Formation

Depuis 2022, un nouveau parcours sur la recherche reproductible est disponible dans le master MVA, master porté par l'ENS Paris-Saclay, accueillant plus de 200 étudiants par an.

La création de ce parcours a été motivée par la prise de conscience de la communauté scientifique que la recherche reproductible est un élément fondamental du développement fiable des méthodes scientifiques en général et de l'apprentissage automatique en particulier.

À cette fin, deux nouveaux cours ont été créés :

• Semestre 1 : Fondamentaux de la recherche reproductible et du logiciel libre
• Semestre 2 : Projet de recherche reproductible

Ces cours ont reçu des retours très positifs de la part des étudiants, et sont ouverts à la fois aux étudiants du MVA et aux auditeurs externes.

 

Projet OVDSAAS

OVD-SaaS est un projet axé sur une plateforme ouverte fournissant des logiciels en tant que service (SaaS ou Software as a Service) pour les utilisateurs finaux dans divers secteurs tels que la sécurité, la gestion de la qualité, les soins de santé et la biométrie, ou la maintenance prédictive entre autres, et cela dans un contexte où la valeur apportée par les technologies numériques repose sur le traitement avancé de données structurées et non structurées comme des images, des vidéos, des signaux physiologiques et du texte. Plusieurs aspects de la nouvelle plateforme sont totalement nouveaux et impliquent la résolution de problèmes liés à l'architecture du système distribué, à la standardisation, au traitement avancé des données et à la définition d'interfaces standard des différentes applications pour permettre l'enchaînement des algorithmes et la comparaison, entre autres.

La plateforme a pour but de permettre d'agréger et de normaliser la production des communautés scientifiques, d'offrir un label de qualité grâce à la publication de codes révisés par des pairs et de raccourcir le chemin pour évaluer la valeur des modules logiciels sur le plan commercial et sur des données industrielles.