Recherche reproductible

L'intégrité scientifique est au coeur de l'initiative de recherche reproductible que le Centre Borelli encourage et promeut par exemple à travers le journal IPOL dans le domaine des données et de l'image.

Playdoyer
pour une recherche reproductible

La production scientifique repose en général sur la confiance et le processus de révision par les pairs, garantie de la qualité, de la vérité, et l’exactitude des résultats et de l’honnêteté de ses auteurs.

Force est de constater que la plupart des publications scientifiques prennent aujourd’hui la forme d’un pdf à prendre pour argent comptant, en l’absence de paramètres clairement définis (dont une bonne partie s’avère manquants), et dans l’impossibilité d’examiner en détail les images, les sources ou les graphiques. L’algorithme décrit ne fonctionne pas en  général sur d’autres données que celles utilisées dans l’article (sur lesquelles ont a d’ailleurs très peu d’informations).

Les résultats s'avèrent impossibles à reproduire (paramètres cachés ou biaisés, données manquantes, etc). Ces trop nombreuses limitations réduisent la portée de la publication qu'il devient difficile d'être encore qualifiée de « scientifique ».

 

Le journal IPOL

À la fois journal électronique, archive ouverte en texte intégral et démonstrateur, IPOL met en oeuvre le développement logiciel au coeur de la publication scientifique et incarne un nouveau modèle de validation, diffusion et partage d’une recherche réellement reproductible.

Prenant le contrepied et adoptant d’emblée le modèle de l’Open Access, il publie des algorithmes de traitement et d'analyse des signaux en mettant l'accent sur le rôle des mathématiques comme source pour la conception des algorithmes. La publication de chaque algorithme est comprend :

  • un manuscrit contenant la description détaillée de l'algorithme, la bibliographie, ainsi que des exemples commentés et une analyse de cas d'échec,
  • une implémentation logicielle de l'algorithme en C/C++, en Python 3, ou Matlab/Octave,
  • un démonstrateur en ligne, où l'algorithme peut être testé sur des données téléchargés par les lecteurs en faisant jouer les paramètres à volonté,
  • un article (pdf) sous licence Creative Commons CC,
  • une archive maintenue opérationnelle contenant de nombreuses expériences en ligne.

La recherche reproductible en traitement d'images

La recherche est reproductible si d'autres chercheurs peuvent indépendamment obtenir les mêmes résultats à partir du matériel publié. 

Dans fichier PDF, on peut lire  les formules, vérifier les preuves, croire les résultats numériques. Il n'est pas toujours possible de reproduire les résultats, de voir les images, les signaux ou les graphes en détail. Dans le journal IPOL, chaque article contient son code source examiné par les rapporteurs mais il y a également un site web permettant de tester l'algorithme avec ses propres images et il y a une archive avec les autres expériences.

 

Projet OVDSAAS

OVD-SaaS est un projet axé sur une plateforme ouverte fournissant des logiciels en tant que service (SaaS ou Software as a Service) pour les utilisateurs finaux dans divers secteurs tels que la sécurité, la gestion de la qualité, les soins de santé et la biométrie, ou la maintenance prédictive entre autres, et cela dans un contexte où la valeur apportée par les technologies numériques repose sur le traitement avancé de données structurées et non structurées comme des images, des vidéos, des signaux physiologiques et du texte. Plusieurs aspects de la nouvelle plateforme sont totalement nouveaux et impliquent la résolution de problèmes liés à l'architecture du système distribué, à la standardisation, au traitement avancé des données et à la définition d'interfaces standard des différentes applications pour permettre l'enchaînement des algorithmes et la comparaison, entre autres.

La plateforme a pour but de permettre d'agréger et de normaliser la production des communautés scientifiques, d'offrir un label de qualité grâce à la publication de codes révisés par des pairs et de raccourcir le chemin pour évaluer la valeur des modules logiciels sur le plan commercial et sur des données industrielles.