Yanhao LI : soutenance de thèse

Yanhao LI

Bruit, compression et rééchantillonnage dans l’analyse forensique des images et des vidéos

Résumé

L'invention des appareils photo numériques et le développement des logiciels d'édition ont rendu la manipulation des images et des vidéos extrêmement facile. L'émergence des modèles génératifs profonds a encore renforcé ces manipulations en leur conférant un réalisme accru. Pour contrer les manipulations malveillantes, nous commençons notre étude en analysant les caractéristiques du bruit dans les images et les vidéos, qui servent de signatures passives. Plus précisément, nous étudions l'impact de la compression JPEG sur le bruit prior des images et exploitons la redondance temporelle dans les vidéos pour une estimation précise du bruit.

Cependant, lorsqu'il s'agit de détecter des vidéos falsifiées, la plupart des vidéos manipulées subissent une forte compression qui déforme les caractéristiques du bruit sous-jacent, rendant l'analyse basée sur le bruit plus difficile. Heureusement, la compression vidéo elle-même laisse des traces distinctes, et les vidéos manipulées sont souvent soumises à des compressions multiples. Motivés par cette observation, nous proposons une méthode de détection de la double compression vidéo, nous permettant ainsi de vérifier l'authenticité des vidéos en analysant la cohérence spatiale des traces de compression.

L'année 2022 a marqué un tournant avec l'apparition de Stable Diffusion, permettant de générer des images factices réalistes et rendant la détection d'images synthétiques plus essentielle que jamais. En réponse, nous proposons une méthode de détection d'images synthétiques en révélant des artefacts dans le domaine de Fourier, afin d'obtenir une détection efficace, généralisable et explicable. Comme les images synthétiques sont généralement compressées en JPEG, ce qui dégrade la performance de détection, nous explorons également la possibilité d'améliorer la détection en supprimant les artefacts JPEG avant l'analyse.

Enfin, nous observons que le rééchantillonnage est une opération courante à la fois dans la génération et la manipulation d'images, laissant des artefacts distinctifs pouvant être analysés dans le domaine de Fourier. Nous établissons ainsi une théorie décrivant les corrélations spectrales introduites par le rééchantillonnage et proposons une méthode de détection non supervisée, efficace dans divers scénarios de rééchantillonnage.

À travers cette étude approfondie, nous établissons des liens entre la compression, la modélisation du bruit, l'analyse des artefacts et la détection de falsifications, contribuant ainsi à l'avancement de l'expertise en analyse forensique des images et des vidéos.

Mots clés 

Forensique de l'image, Forensique de la vidéo, détection du rééchantillonnage, détection d’images synthétiques, estimation du bruit, détection par a contrario

Direction 

• Rafael GROMPONE VON GIOI, Chercheur, Centre Borelli, ENS Paris-Saclay (directeur de thèse)
• Miguel COLOM, Chercheur, Centre Borelli, ENS Paris-Saclay (co-directeur de thèse)
• Jean-Michel MOREL, Professeur, City University of Hong Kong (co-directeur de thèse)

Jury

• Patrick BAS, Directeur de recherche, CNRS, Université de Lille (Rapporteur & Examinateur)
• Agnès DESOLNEUX, Directrice de recherche, CNRS, ENS Paris-Saclay (Examinatrice)
• Vicky KALOGEITON, Professeure adjointe, École Polytechnique, IP Paris (Examinatrice)
• Luisa VERDOLIVA, Professeure, University Federico II of Naples (Rapporteuse & Examinatrice)