합성 토킹헤드 비디오의 허가된 사용을 위한 아바타 지문 인식

Avatar Fingerprinting for Authorized Use of Synthetic Talking-Head Videos

May 5, 2023

저자: Ekta Prashnani, Koki Nagano, Shalini De Mello, David Luebke, Orazio Gallo

cs.AI

초록

현대의 생성 모델은 놀라울 정도의 사실감으로 토킹 헤드(talking-head) 비디오를 생성하며, 제한된 대역폭 예산 하에서 화상 회의와 같은 새로운 사용자 경험을 제공하고 있다. 그러나 이러한 기술의 안전한 도입을 위해서는 생성된 비디오가 신뢰할 수 있는지 확인할 수 있는 메커니즘이 필요하다. 예를 들어, 화상 회의의 경우 개인의 동의 없이 그들의 외모를 사용한 합성 비디오 초상화를 식별해야 한다. 우리는 이러한 작업을 아바타 지문 인식(avatar fingerprinting)이라고 명명한다. 우리는 각 개인에게 고유한 얼굴 움직임 특징을 활용하여 이 문제를 해결하고자 한다. 구체적으로, 우리는 합성 비디오에서의 외모와 관계없이 한 신원의 움직임 특징이 함께 그룹화되고 다른 신원의 움직임 특징과는 멀어지도록 임베딩을 학습한다. 토킹 헤드 생성기가 보편화됨에 따라 아바타 지문 인식 알고리즘은 매우 중요해질 것이나, 이 새로운 작업을 위한 대규모 데이터셋은 아직 존재하지 않는다. 따라서 우리는 스크립트를 따르거나 즉흥적으로 짧은 독백을 하는 사람들의 대규모 데이터셋을 제공하며, 이 데이터셋에는 한 사람의 얼굴 외모를 사용하여 다른 사람의 비디오를 합성한 예시가 포함되어 있다. 프로젝트 페이지: https://research.nvidia.com/labs/nxp/avatar-fingerprinting/.

English

Modern generators render talking-head videos with impressive levels of photorealism, ushering in new user experiences such as videoconferencing under constrained bandwidth budgets. Their safe adoption, however, requires a mechanism to verify if the rendered video is trustworthy. For instance, for videoconferencing we must identify cases in which a synthetic video portrait uses the appearance of an individual without their consent. We term this task avatar fingerprinting. We propose to tackle it by leveraging facial motion signatures unique to each person. Specifically, we learn an embedding in which the motion signatures of one identity are grouped together, and pushed away from those of other identities, regardless of the appearance in the synthetic video. Avatar fingerprinting algorithms will be critical as talking head generators become more ubiquitous, and yet no large scale datasets exist for this new task. Therefore, we contribute a large dataset of people delivering scripted and improvised short monologues, accompanied by synthetic videos in which we render videos of one person using the facial appearance of another. Project page: https://research.nvidia.com/labs/nxp/avatar-fingerprinting/.