TDMD: 동적 컬러 메시 주관적 및 객관적 품질 탐구를 위한 데이터베이스

TDMD: A Database for Dynamic Color Mesh Subjective and Objective Quality Explorations

August 3, 2023

저자: Qi Yang, Joel Jung, Timon Deschamps, Xiaozhong Xu, Shan Liu

cs.AI

초록

동적 색상 메쉬(Dynamic Colored Mesh, DCM)는 다양한 응용 분야에서 널리 사용되고 있지만, 이러한 메쉬는 압축이나 전송과 같은 다양한 과정을 거치면서 왜곡되거나 품질이 저하될 수 있습니다. DCM에 대한 객관적인 평가 지표 개발을 촉진하고 전형적인 왜곡이 인간의 인식에 미치는 영향을 연구하기 위해, 우리는 8개의 참조 DCM 객체와 6가지 전형적인 왜곡을 포함한 Tencent 동적 색상 메쉬 데이터베이스(TDMD)를 구축했습니다. DCM에서 파생된 처리된 비디오 시퀀스(Processed Video Sequences, PVS)를 사용하여 대규모 주관적 실험을 수행했으며, 이를 통해 303개의 왜곡된 DCM 샘플과 평균 의견 점수(Mean Opinion Scores)를 얻었습니다. 이로써 TDMD는 우리가 아는 한 가장 큰 DCM 데이터베이스가 되었습니다. 이 데이터베이스를 통해 다양한 유형의 왜곡이 인간의 인식에 미치는 영향을 연구하고, DCM 압축 및 관련 작업에 대한 권장 사항을 제시할 수 있었습니다. 또한, 우리는 TDMD에서 이미지 기반, 포인트 기반, 비디오 기반의 세 가지 최신 객관적 평가 지표를 평가했습니다. 실험 결과는 각 지표의 강점과 약점을 명확히 보여주며, 실제 DCM 응용에서 지표 선택에 대한 제안을 제공합니다. TDMD는 다음 위치에서 공개될 예정입니다: https://multimedia.tencent.com/resources/tdmd.

English

Dynamic colored meshes (DCM) are widely used in various applications; however, these meshes may undergo different processes, such as compression or transmission, which can distort them and degrade their quality. To facilitate the development of objective metrics for DCMs and study the influence of typical distortions on their perception, we create the Tencent - dynamic colored mesh database (TDMD) containing eight reference DCM objects with six typical distortions. Using processed video sequences (PVS) derived from the DCM, we have conducted a large-scale subjective experiment that resulted in 303 distorted DCM samples with mean opinion scores, making the TDMD the largest available DCM database to our knowledge. This database enabled us to study the impact of different types of distortion on human perception and offer recommendations for DCM compression and related tasks. Additionally, we have evaluated three types of state-of-the-art objective metrics on the TDMD, including image-based, point-based, and video-based metrics, on the TDMD. Our experimental results highlight the strengths and weaknesses of each metric, and we provide suggestions about the selection of metrics in practical DCM applications. The TDMD will be made publicly available at the following location: https://multimedia.tencent.com/resources/tdmd.