TDMD : Une base de données pour l'exploration subjective et objective de la qualité des maillages colorés dynamiques

TDMD: A Database for Dynamic Color Mesh Subjective and Objective Quality Explorations

August 3, 2023

Auteurs: Qi Yang, Joel Jung, Timon Deschamps, Xiaozhong Xu, Shan Liu

cs.AI

Résumé

Les maillages dynamiques colorés (DCM) sont largement utilisés dans diverses applications ; cependant, ces maillages peuvent subir différents traitements, tels que la compression ou la transmission, qui peuvent les déformer et dégrader leur qualité. Pour faciliter le développement de métriques objectives pour les DCM et étudier l'influence des distorsions typiques sur leur perception, nous avons créé la base de données Tencent - dynamic colored mesh database (TDMD) contenant huit objets DCM de référence avec six distorsions typiques. En utilisant des séquences vidéo traitées (PVS) dérivées des DCM, nous avons mené une expérience subjective à grande échelle qui a abouti à 303 échantillons de DCM déformés avec des scores d'opinion moyenne, faisant de la TDMD la plus grande base de données DCM disponible à notre connaissance. Cette base de données nous a permis d'étudier l'impact de différents types de distorsion sur la perception humaine et de formuler des recommandations pour la compression des DCM et les tâches associées. De plus, nous avons évalué trois types de métriques objectives de pointe sur la TDMD, incluant des métriques basées sur les images, les points et les vidéos. Nos résultats expérimentaux mettent en évidence les forces et les faiblesses de chaque métrique, et nous fournissons des suggestions concernant le choix des métriques dans les applications pratiques des DCM. La TDMD sera rendue publique à l'adresse suivante : https://multimedia.tencent.com/resources/tdmd.

English

Dynamic colored meshes (DCM) are widely used in various applications; however, these meshes may undergo different processes, such as compression or transmission, which can distort them and degrade their quality. To facilitate the development of objective metrics for DCMs and study the influence of typical distortions on their perception, we create the Tencent - dynamic colored mesh database (TDMD) containing eight reference DCM objects with six typical distortions. Using processed video sequences (PVS) derived from the DCM, we have conducted a large-scale subjective experiment that resulted in 303 distorted DCM samples with mean opinion scores, making the TDMD the largest available DCM database to our knowledge. This database enabled us to study the impact of different types of distortion on human perception and offer recommendations for DCM compression and related tasks. Additionally, we have evaluated three types of state-of-the-art objective metrics on the TDMD, including image-based, point-based, and video-based metrics, on the TDMD. Our experimental results highlight the strengths and weaknesses of each metric, and we provide suggestions about the selection of metrics in practical DCM applications. The TDMD will be made publicly available at the following location: https://multimedia.tencent.com/resources/tdmd.