From
Horaires à
Lieu Espace Gilbert Simondon, 1B36, ENS Paris-Saclay
Titre
Débruitage et dématriçage concret de videos avec des réseaux de neurones
Résumé
Le débruitage est une tâche fondamentale du traitement d'images. Il y a deux catégories de méthodes de débruitage : les méthodes traditionnelles basées sur des modélisations et celles basées sur l'apprentissage d'un réseau de neurones. Les méthodes traditionnelles requièrent un modèle explicite du bruit. Inversement les méthodes basées sur l'apprentissage peuvent être entraînées pour n'importe quel type de bruit et sont très performantes.
Nous nous intéressons au cas des méthodes de débruitage basées sur l'apprentissage. L'approche traditionnelle consiste à utiliser des réseaux de neurones convolutionnels entraînés sous supervision.
Les récentes techniques auto-supervisées atteignent des résultats légérement inférieurs mais tout de même compétitifs avec ceux obtenus par les approches supervisées et ne s'appuient pas sur la supervision d'une vérité-terrain.
Elles sont de bonnes candidates pour le débruitage de vidéos réelles. Nous proposons la première méthode auto-supervisée pour entraîner des réseaux de neurones de débruitage vidéo. Cette méthode, appelée MF2F peut être utilisée pour adapter n'importe quel réseau de neurones de débruitage pour débruiter une grande collection de types de bruit. MF2F repose sur un ajustage fin des paramètres d'un réseau de neurones de débruitage initialement pré-entraîné. Sur des vidéos bruitées à bruit réel, elle a donné des résultats extrêmement prometteurs puisqu'elle était devenue le nouvel état de l'art au moment de la publication.
À ce stade, nous pouvons faire deux observations : (1) Les CNNs peuvent être entraînés avec les entraînements supervisés et auto-supervisés. Le dernier est dominé par le premier et (2) les expériences menées avec notre méthode auto-supervisée MF2F montrent que cette dernière est très propice au débruitage de données réelles. Partant de ces deux constatations, quelle technique devons-nous utiliser pour entraîner un réseau de débruitage afin de débruiter des vidéos à bruit réel? Nous répondons à cette question dans la deuxième partie de la thèse.
Avec le débruitage, le dématriçage est une autre étape très importante de l'acquisition d'une image RGB. Elles sont traditionnellement effectuées séparément mais le mieux serait d'effectuer ces deux opérations en même temps. Dans la troisième partie de la thèse, nous considérons différentes architectures conduisant à la première méthode traitant le problème de débruitage et dématriçage conjoint pour vidéo.