Automatic Image Quality Assessment on Portraits
Evaluation Automatique de Qualité d'Images de Portraits
Résumé
This thesis aims to improve portrait photography by developing novel methodologies and datasets to standardize image
quality assessment (IQA) on digital portraits, a subfield referred to as PQA. The work is divided into three parts.
The first part addresses the limitations of traditional laboratory setups by creating a standardized approach to consistently evaluate the portrait rendering of digital cameras using custom-built lifelike mannequins and deep learning
techniques for automated facial details quality evaluation.
The second part expands beyond previous work to cover natural portrait scenes by introducing a comprehensive portrait
dataset, PIQ23, with an emphasis on annotation precision, explainability, and diversity. This work is complemented by
two deep learning architectures, SEM-HyperIQA and FULL-HyperIQA, which provide semantic-aware image quality
predictions.
The third part shifts from traditional regression-based IQA methods by focusing on relative quality predictions and
emphasizing pairwise comparisons for training and inference. This work introduces PICNIQ, a novel pairwise comparison framework that facilitates precise image quality predictions by leveraging pairwise comparison training. PICNIQ
intrinsically counters the problem of domain shift and scale variations in cross-content IQA.
Additionally, the research further validates the proposed methods and opens the PQA field to the literature by introducing the NTIRE 2024 Portrait Quality Assessment Challenge, ultimately providing tools and insights for enhancing
portrait photography in consumer technology.
Cette thèse vise à améliorer la photographie de portrait en développant de nouvelles méthodologies et ensembles de
données pour standardiser l’évaluation de la qualité d’image (IQA) sur les portraits numériques, un sous-domaine appelé
PQA. Le travail est divisé en trois parties.
La première partie aborde les limitations des mesures de laboratoire traditionnelles en créant une approche standardisée
pour évaluer de manière répétable le rendu des portraits des appareils photo numériques en utilisant des mannequins
réalistes spécialement conçus et des techniques d’apprentissage profond pour l’évaluation automatisée de la qualité des
détails du visage.
La deuxième partie va au-delà des travaux précédents pour couvrir les scènes de portraits naturelles en introduisant
un ensemble de données de portraits, PIQ23, avec un accent sur la précision des annotations, l’explicabilité et la
diversité. Ce travail est complété par deux architectures d’apprentissage profond, SEM-HyperIQA et FULL-HyperIQA,
qui fournissent des prédictions de qualité d’image tenant compte du contexte sémantique.
La troisième partie s’éloigne des méthodes traditionnelles d’IQA basées sur la régression en se concentrant sur les
prédictions de qualité relative et en mettant l’accent sur les comparaisons par paires pour l’entraînement et l’inférence.
Ce travail introduit PICNIQ, un nouveau cadre de comparaison par paires qui facilite des prédictions précises de
la qualité d’image en tirant parti de l’entraînement par comparaison par paires. PICNIQ contre intrinsèquement le
problème de “domain shift” (décalage de domaine) et des variations d’échelle dans l’IQA inter-contenu.
En outre, la recherche valide les méthodes proposées et ouvre le champ de la PQA à la littérature en introduisant le
“NTIRE 2024 Portrait Quality Assessment Challenge”, fournissant ainsi des outils et des insights pour améliorer la
photographie de portrait dans la technologie grand public.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| licence |
