HelloWorld: 비디오 월드 모델에서 사회적 상호작용이 가능한 캐릭터 구현

초록

최근 비디오 세계 모델의 놀라운 발전에도 불구하고, 사용자와 이러한 세계 내 캐릭터 간의 사회적 상호작용은 여전히 지원되지 않는다. 이러한 격차를 메우기 위해 우리는 세계 내 캐릭터와의 사회적 상호작용을 가능하게 하는 비디오 세계 모델인 HelloWorld를 제시한다. 단 한 번의 버튼 누름으로 사용자는 화면 속 캐릭터가 카메라를 향해 반응하도록 유도할 수 있다. 예를 들어, 시청자를 돌아보거나, 손을 흔들거나, 고개를 끄덕이거나, 짧은 인사를 건네는 것이다. 이러한 상호작용을 자연스럽게 만들기 위해, 우리는 비디오 생성 모델을 자체적으로 합성한 데이터로 미세 조정하는 자기 증류 파이프라인을 제안한다. 각 합성 클립은 사회적 상호작용과 카메라 움직임을 모두 포함하므로, 모델은 상호작용 품질을 저하시키지 않으면서 카메라 포즈 조건화를 학습할 수 있다. 추론 시에는 상호작용이 발생하는 시점을 결정하는 학습이 필요 없는 모듈을 추가로 도입한다. 버튼을 누르면, 이 모듈은 DiT의 크로스 어텐션 마스크를 조절하여 상호작용 관련 텍스트 프롬프트가 버튼 누름 시간 구간 내의 프레임에만 주목하도록 함으로써 캐릭터 반응의 시간적 위치를 특정한다. 또한 우리는 평가를 위해 세 가지 사회적 상호작용 지표와 세 가지 기존 지표를 포함한 400개 샘플 벤치마크인 HelloWorldBench를 구축한다. 실험 결과는 HelloWorld가 최첨단 영상의 미적 품질과 카메라 포즈 추종을 유지하면서 상호작용 품질에서 다양한 기준선을 능가함을 보여준다. 프로젝트 페이지: https://github.com/AlayaLab/HelloWorld

English

Despite the remarkable recent progress of video world models, social interaction between users and the characters within these worlds remains unsupported. To fill this gap, we present HelloWorld, a video world model that enables social interaction with in-world characters. With a single button press, users can prompt the on-screen character to respond toward the camera, e.g., turning to the viewer, waving, nodding, or speaking a short greeting. To make these interactions natural, we propose a self-distillation pipeline that finetunes the video generation model on data synthesized by itself. Each synthesized clip contains both social interactions and camera motion, allowing the model to learn camera-pose conditioning without degrading interaction quality. At inference, we further introduce a training-free module that determines when the interaction occurs. Upon a button press, it modulates the cross-attention masks of the DiT so that the interaction-related text prompt attends only to the frames within the press window, temporally localizing the character's response. We further build HelloWorldBench, a 400-sample benchmark with three social interaction metrics alongside three conventional metrics, for evaluation. Experiments demonstrate that HelloWorld surpasses a variety of baselines in interaction quality, while maintaining state-of-the-art picture aesthetics and camera-pose following. Project page: https://github.com/AlayaLab/HelloWorld