TDMD: Una base de datos para la exploración subjetiva y objetiva de la calidad de mallas de color dinámicas

TDMD: A Database for Dynamic Color Mesh Subjective and Objective Quality Explorations

August 3, 2023

Autores: Qi Yang, Joel Jung, Timon Deschamps, Xiaozhong Xu, Shan Liu

cs.AI

Resumen

Las mallas dinámicas coloreadas (DCM, por sus siglas en inglés) son ampliamente utilizadas en diversas aplicaciones; sin embargo, estas mallas pueden someterse a diferentes procesos, como compresión o transmisión, que pueden distorsionarlas y degradar su calidad. Para facilitar el desarrollo de métricas objetivas para DCM y estudiar la influencia de distorsiones típicas en su percepción, hemos creado la base de datos Tencent - Dynamic Colored Mesh Database (TDMD), que contiene ocho objetos DCM de referencia con seis distorsiones típicas. Utilizando secuencias de video procesadas (PVS) derivadas de las DCM, hemos llevado a cabo un experimento subjetivo a gran escala que resultó en 303 muestras de DCM distorsionadas con puntuaciones medias de opinión, convirtiendo a la TDMD en la base de datos de DCM más grande disponible hasta donde sabemos. Esta base de datos nos permitió estudiar el impacto de diferentes tipos de distorsión en la percepción humana y ofrecer recomendaciones para la compresión de DCM y tareas relacionadas. Además, hemos evaluado tres tipos de métricas objetivas de vanguardia en la TDMD, incluyendo métricas basadas en imágenes, en puntos y en video. Nuestros resultados experimentales destacan las fortalezas y debilidades de cada métrica, y proporcionamos sugerencias sobre la selección de métricas en aplicaciones prácticas de DCM. La TDMD estará disponible públicamente en la siguiente ubicación: https://multimedia.tencent.com/resources/tdmd.

English

Dynamic colored meshes (DCM) are widely used in various applications; however, these meshes may undergo different processes, such as compression or transmission, which can distort them and degrade their quality. To facilitate the development of objective metrics for DCMs and study the influence of typical distortions on their perception, we create the Tencent - dynamic colored mesh database (TDMD) containing eight reference DCM objects with six typical distortions. Using processed video sequences (PVS) derived from the DCM, we have conducted a large-scale subjective experiment that resulted in 303 distorted DCM samples with mean opinion scores, making the TDMD the largest available DCM database to our knowledge. This database enabled us to study the impact of different types of distortion on human perception and offer recommendations for DCM compression and related tasks. Additionally, we have evaluated three types of state-of-the-art objective metrics on the TDMD, including image-based, point-based, and video-based metrics, on the TDMD. Our experimental results highlight the strengths and weaknesses of each metric, and we provide suggestions about the selection of metrics in practical DCM applications. The TDMD will be made publicly available at the following location: https://multimedia.tencent.com/resources/tdmd.