시각 세계 모델링 평가의 롱테일 가지치기

초록

물리적 상호작용은 긴 꼬리 분포를 따른다. 즉, 일상적이고 규칙적인 상호작용의 집합이 인간 경험과 시각 데이터를 지배하는 반면, 드물고 불규칙한 상호작용의 광범위한 스펙트럼은 충분히 표현되지 않는다. 최근 이미지 및 비디오 생성 모델을 포함한 시각적 세계 모델이 기존 벤치마크에서 인상적인 사실성을 달성했지만, 이들은 주로 일상적인 물리적 상호작용을 시뮬레이션하는 데 초점을 맞춘다. 이는 핵심 질문을 제기한다: 현재의 시각적 세계 모델이 물리적 원리를 내면화하고 일반화하는가? 본 연구에서는 세계 모델이 불규칙한 물리적 상호작용을 시뮬레이션하도록 도전하는 벤치마크인 Tailor-Bench를 소개한다. 체계적인 평가를 위해, 모델 추론을 점진적으로 도전하는 세 가지 시나리오 모드를 설계했다: 일반(Regular) 시나리오는 흔한 도구-작업 쌍을 반영하고, 비전통적(Unconventional) 시나리오는 기존 도구를 속성 호환 대체물로 대체하여 어포던스 일반화를 테스트하며, 불가능(Impossible) 시나리오는 속성을 위반하는 도구를 도입하여 제약 인식을 탐구한다. 또한, 통합된 평가 프로토콜 아래에서 두 가지 보완적 설정을 설계했다: 예측 생성(predictive generation)은 안내 없이 결과를 추론해야 하고, 기술 생성(descriptive generation)은 충실한 구현을 위해 목표 결과를 명시한다. 실험 결과는 물리적 세계 모델링에서 명확한 긴 꼬리 격차를 드러낸다: 일반에서 비전통적, 불가능 시나리오로 갈수록 성능이 저하되어, 일반 상호작용을 넘어서는 일반화가 제한적임을 나타낸다. 실패 분석은 모델이 표면적인 시각 패턴에 의존함을 추가로 보여준다: 이미지 모델은 올바른 상태 변화를 실현하지 못하는 반면, 비디오 모델은 시간적 불일치를 더 겪는다.

English

Physical interactions follow a long-tailed distribution: a set of common and regular interactions dominates human experience and visual data, while a broad spectrum of rare and irregular interactions remains underrepresented. Although recent visual world models, including image and video generation models, achieve impressive realism on existing benchmarks, they primarily focus on simulating common physical interactions. This raises a central question: Do current visual world models internalize and generalize physical principles? In this work, we introduce Tailor-Bench, a benchmark that challenges world models to simulate irregular physical interactions. To enable systematic evaluation, we design three scenario modes that progressively challenge model reasoning: Regular scenarios reflect common tool-task pairs, Unconventional scenarios replace conventional tools with attribute-compatible substitutes to test affordance generalization, and Impossible scenarios introduce attribute-violating tools to probe constraint awareness. Additionally, we design two complementary settings under a unified evaluation protocol: predictive generation requires inferring outcomes without guidance, while descriptive generation specifies the target outcome for faithful realization. Our experimental results reveal a clear long-tail gap in physical world modeling: performance degrades from Regular to Unconventional and Impossible scenarios, indicating limited generalization beyond common interactions. Failure analysis further shows that models rely on superficial visual patterns: image models fail to realize correct state changes, while video models further suffer from temporal inconsistencies.