Yujin CHO : soutenance de thèse

Yujin CHO

Qualité de l’image : de l’acquisition à la perception humaine

Résumé

La qualité des images produites par les smartphones dépend à la fois de la chaîne de traitement du signal image (Image Signal Processing, ISP), qui transforme les données brutes du capteur (RAW) en images prêtes à être affichées, et de la qualité perceptuelle du rendu obtenu. Cependant, l’apprentissage et l’évaluation de ces systèmes restent difficiles en raison de la disponibilité limitée de paires d’images RAW–RGB alignées, d’images de référence fiables et d’annotations perceptuelles réalisées par des experts. Cette thèse a été réalisée dans le cadre d’une collaboration CIFRE entre le Centre Borelli de l’ENS Paris-Saclay et DXOMARK. Elle aborde ces défis en deux parties. La première partie porte sur l’apprentissage et l’évaluation des chaînes ISP à image unique avec des données de référence limitées. Elle introduit d’abord une méthode d’apprentissage RAW-vers-RGB à partir de données non appariées, qui construit des pseudo-paires à partir d’images sémantiquement proches, permettant ainsi à un modèle compact de reproduire le rendu d’un appareil photo cible sans données d’entraînement alignées. Elle propose ensuite une méthode d’évaluation sans référence qui estime des critères classiques de qualité nécessitant normalement une image de référence, à partir de l’image traitée et des informations de prise de vue, tout en permettant une adaptation efficace à des configurations ISP inédites. La seconde partie s’intéresse à l’évaluation perceptuelle de la qualité des portraits. Les annotations réalisées par des experts étant coûteuses et difficiles à collecter à grande échelle, la première étude adapte efficacement un modèle pré-entraîné d’évaluation de la qualité d’image afin de prédire les jugements d’experts sur la préservation des textures et la qualité du bruit, à partir d’un nombre limité d’annotations spécifiques aux portraits. La seconde étude examine le contraste facial, un attribut important sur le plan perceptuel mais encore insuffisamment défini, en le décomposant en plusieurs composantes interprétables et en développant des métriques dédiées, validées par des jugements humains. Dans l’ensemble, cette thèse propose des approches pratiques et interprétables pour l’apprentissage des chaînes ISP, leur évaluation objective et l’évaluation perceptuelle des portraits, tout en réduisant la dépendance aux données de référence coûteuses et aux évaluations subjectives à grande échelle.

Direction de thèse

• Gabriele Facciolo, Professeur, Centre Borelli, ENS Paris-Saclay
• Jean-Michel Morel, Professeur, Lingnan University

Membres du jury 

•  Yann Gousseau, Professeur, Télécom Paris (Rapporteur)
• Julien Mairal, Directeur de recherche, Inria Grenoble, Université Grenoble Alpes (Rapporteur)
• Jean Ponce, Professeur, École normale supérieure et New York University (Examinateur)
• Lara Raad Cisa, Professeure assistante, IIE, FIng, Universidad de la República (Examinatrice)

Membres invités 

• Benoît Pochon, Ingénieur, DXOMA
• Sira Ferradans, Chercheuse, DXOMARK