TDMD: Um Banco de Dados para Explorações Subjetivas e Objetivas da Qualidade de Malhas de Cores Dinâmicas

TDMD: A Database for Dynamic Color Mesh Subjective and Objective Quality Explorations

August 3, 2023

Autores: Qi Yang, Joel Jung, Timon Deschamps, Xiaozhong Xu, Shan Liu

cs.AI

Resumo

Malhas coloridas dinâmicas (DCM) são amplamente utilizadas em diversas aplicações; no entanto, essas malhas podem passar por diferentes processos, como compressão ou transmissão, que podem distorcê-las e degradar sua qualidade. Para facilitar o desenvolvimento de métricas objetivas para DCMs e estudar a influência de distorções típicas em sua percepção, criamos o banco de dados Tencent - malhas coloridas dinâmicas (TDMD), contendo oito objetos DCM de referência com seis distorções típicas. Utilizando sequências de vídeo processadas (PVS) derivadas das DCMs, realizamos um experimento subjetivo em larga escala que resultou em 303 amostras de DCM distorcidas com pontuações médias de opinião, tornando o TDMD o maior banco de dados de DCM disponível, até onde sabemos. Esse banco de dados nos permitiu estudar o impacto de diferentes tipos de distorção na percepção humana e oferecer recomendações para compressão de DCM e tarefas relacionadas. Além disso, avaliamos três tipos de métricas objetivas de ponta no TDMD, incluindo métricas baseadas em imagem, em pontos e em vídeo. Nossos resultados experimentais destacam os pontos fortes e fracos de cada métrica, e fornecemos sugestões sobre a seleção de métricas em aplicações práticas de DCM. O TDMD será disponibilizado publicamente no seguinte endereço: https://multimedia.tencent.com/resources/tdmd.

English

Dynamic colored meshes (DCM) are widely used in various applications; however, these meshes may undergo different processes, such as compression or transmission, which can distort them and degrade their quality. To facilitate the development of objective metrics for DCMs and study the influence of typical distortions on their perception, we create the Tencent - dynamic colored mesh database (TDMD) containing eight reference DCM objects with six typical distortions. Using processed video sequences (PVS) derived from the DCM, we have conducted a large-scale subjective experiment that resulted in 303 distorted DCM samples with mean opinion scores, making the TDMD the largest available DCM database to our knowledge. This database enabled us to study the impact of different types of distortion on human perception and offer recommendations for DCM compression and related tasks. Additionally, we have evaluated three types of state-of-the-art objective metrics on the TDMD, including image-based, point-based, and video-based metrics, on the TDMD. Our experimental results highlight the strengths and weaknesses of each metric, and we provide suggestions about the selection of metrics in practical DCM applications. The TDMD will be made publicly available at the following location: https://multimedia.tencent.com/resources/tdmd.