Обрезка длинного хвоста оценки моделирования визуального мира

Аннотация

Физические взаимодействия следуют распределению с длинным хвостом: набор общих и регулярных взаимодействий доминирует в человеческом опыте и визуальных данных, в то время как широкий спектр редких и нерегулярных взаимодействий остается недостаточно представленным. Хотя современные визуальные модели мира, включая модели генерации изображений и видео, достигают впечатляющего реализма на существующих эталонах, они в первую очередь ориентированы на моделирование обычных физических взаимодействий. Это поднимает центральный вопрос: усваивают ли и обобщают ли современные визуальные модели мира физические принципы? В данной работе мы представляем Tailor-Bench — эталон, ставящий перед моделями мира задачу моделирования нерегулярных физических взаимодействий. Для обеспечения систематической оценки мы разработали три режима сценариев, которые последовательно усложняют рассуждения модели: Обычные сценарии отражают распространенные пары «инструмент—задача», Нетрадиционные сценарии заменяют стандартные инструменты совместимыми по свойствам заменителями для проверки обобщения аффордансов, а Невозможные сценарии вводят инструменты, нарушающие свойства, для изучения осознания ограничений. Дополнительно мы разработали два взаимодополняющих режима в рамках единого протокола оценки: прогнозирующая генерация требует вывода результатов без руководства, тогда как описательная генерация задает целевой результат для его точного воспроизведения. Результаты наших экспериментов выявляют явный разрыв длинного хвоста в моделировании физического мира: производительность снижается от Обычных к Нетрадиционным и Невозможным сценариям, что указывает на ограниченное обобщение за пределами распространенных взаимодействий. Дальнейший анализ ошибок показывает, что модели опираются на поверхностные визуальные паттерны: модели изображений не могут реализовать корректные изменения состояния, а модели видео дополнительно страдают от временных несоответствий.

English

Physical interactions follow a long-tailed distribution: a set of common and regular interactions dominates human experience and visual data, while a broad spectrum of rare and irregular interactions remains underrepresented. Although recent visual world models, including image and video generation models, achieve impressive realism on existing benchmarks, they primarily focus on simulating common physical interactions. This raises a central question: Do current visual world models internalize and generalize physical principles? In this work, we introduce Tailor-Bench, a benchmark that challenges world models to simulate irregular physical interactions. To enable systematic evaluation, we design three scenario modes that progressively challenge model reasoning: Regular scenarios reflect common tool-task pairs, Unconventional scenarios replace conventional tools with attribute-compatible substitutes to test affordance generalization, and Impossible scenarios introduce attribute-violating tools to probe constraint awareness. Additionally, we design two complementary settings under a unified evaluation protocol: predictive generation requires inferring outcomes without guidance, while descriptive generation specifies the target outcome for faithful realization. Our experimental results reveal a clear long-tail gap in physical world modeling: performance degrades from Regular to Unconventional and Impossible scenarios, indicating limited generalization beyond common interactions. Failure analysis further shows that models rely on superficial visual patterns: image models fail to realize correct state changes, while video models further suffer from temporal inconsistencies.