FakeParts: AI 생성 딥페이크의 새로운 패밀리

초록

우리는 FakeParts라는 새로운 유형의 딥페이크를 소개한다. 이는 원본 비디오의 특정 공간적 영역이나 시간적 구간에 미묘하고 국소적인 조작을 가한 것으로, 완전히 합성된 콘텐츠와 달리 표정 변경부터 객체 대체, 배경 수정에 이르는 부분적 조작이 실제 요소와 자연스럽게 어우러져 특히 속이기 쉽고 탐지하기 어렵다는 특징이 있다. 이러한 탐지 능력의 중요한 공백을 해결하기 위해, 우리는 부분적 딥페이크의 전체 스펙트럼을 포착하기 위해 특별히 설계된 첫 번째 대규모 벤치마크 데이터셋인 FakePartsBench를 제시한다. 픽셀 수준 및 프레임 수준의 조작 주석이 포함된 25,000개 이상의 비디오로 구성된 이 데이터셋은 탐지 방법의 포괄적인 평가를 가능하게 한다. 우리의 사용자 연구는 FakeParts가 기존 딥페이크에 비해 인간의 탐지 정확도를 30% 이상 감소시키며, 최신 탐지 모델에서도 유사한 성능 저하가 관찰됨을 보여준다. 이 연구는 현재 딥페이크 탐지 접근법의 긴급한 취약점을 밝히고, 부분적 비디오 조작에 대한 더 강력한 방법을 개발하기 위한 필수적인 자원을 제공한다.

English

We introduce FakeParts, a new class of deepfakes characterized by subtle, localized manipulations to specific spatial regions or temporal segments of otherwise authentic videos. Unlike fully synthetic content, these partial manipulations, ranging from altered facial expressions to object substitutions and background modifications, blend seamlessly with real elements, making them particularly deceptive and difficult to detect. To address the critical gap in detection capabilities, we present FakePartsBench, the first large-scale benchmark dataset specifically designed to capture the full spectrum of partial deepfakes. Comprising over 25K videos with pixel-level and frame-level manipulation annotations, our dataset enables comprehensive evaluation of detection methods. Our user studies demonstrate that FakeParts reduces human detection accuracy by over 30% compared to traditional deepfakes, with similar performance degradation observed in state-of-the-art detection models. This work identifies an urgent vulnerability in current deepfake detection approaches and provides the necessary resources to develop more robust methods for partial video manipulations.

FakeParts: AI 생성 딥페이크의 새로운 패밀리

FakeParts: a New Family of AI-Generated DeepFakes

초록

Support