Élaguer la longue traîne de l'évaluation de la modélisation du monde visuel

Résumé

Les interactions physiques suivent une distribution à longue traîne : un ensemble d'interactions courantes et régulières domine l'expérience humaine et les données visuelles, tandis qu'un large éventail d'interactions rares et irrégulières reste sous-représenté. Bien que les modèles visuels du monde récents, y compris les modèles de génération d'images et de vidéos, atteignent un réalisme impressionnant sur les référentiels existants, ils se concentrent principalement sur la simulation d'interactions physiques communes. Cela soulève une question centrale : les modèles visuels du monde actuels intériorisent-ils et généralisent-ils les principes physiques ? Dans ce travail, nous introduisons Tailor-Bench, un benchmark qui met au défi les modèles du monde de simuler des interactions physiques irrégulières. Pour permettre une évaluation systématique, nous concevons trois modes de scénarios qui mettent progressivement à l'épreuve le raisonnement du modèle : les scénarios Réguliers reflètent des paires outil-tâche courantes, les scénarios Non conventionnels remplacent les outils usuels par des substituts compatibles en termes d'attributs pour tester la généralisation des affordances, et les scénarios Impossibles introduisent des outils violant les attributs pour sonder la conscience des contraintes. De plus, nous concevons deux configurations complémentaires sous un protocole d'évaluation unifié : la génération prédictive exige d'inférer les résultats sans guidance, tandis que la génération descriptive spécifie le résultat cible pour une réalisation fidèle. Nos résultats expérimentaux révèlent un net fossé de longue traîne dans la modélisation du monde physique : les performances se dégradent des scénarios Réguliers aux scénarios Non conventionnels et Impossibles, indiquant une généralisation limitée au-delà des interactions courantes. L'analyse des échecs montre en outre que les modèles s'appuient sur des motifs visuels superficiels : les modèles d'images ne parviennent pas à réaliser des changements d'état corrects, tandis que les modèles vidéo souffrent en plus d'incohérences temporelles.

English

Physical interactions follow a long-tailed distribution: a set of common and regular interactions dominates human experience and visual data, while a broad spectrum of rare and irregular interactions remains underrepresented. Although recent visual world models, including image and video generation models, achieve impressive realism on existing benchmarks, they primarily focus on simulating common physical interactions. This raises a central question: Do current visual world models internalize and generalize physical principles? In this work, we introduce Tailor-Bench, a benchmark that challenges world models to simulate irregular physical interactions. To enable systematic evaluation, we design three scenario modes that progressively challenge model reasoning: Regular scenarios reflect common tool-task pairs, Unconventional scenarios replace conventional tools with attribute-compatible substitutes to test affordance generalization, and Impossible scenarios introduce attribute-violating tools to probe constraint awareness. Additionally, we design two complementary settings under a unified evaluation protocol: predictive generation requires inferring outcomes without guidance, while descriptive generation specifies the target outcome for faithful realization. Our experimental results reveal a clear long-tail gap in physical world modeling: performance degrades from Regular to Unconventional and Impossible scenarios, indicating limited generalization beyond common interactions. Failure analysis further shows that models rely on superficial visual patterns: image models fail to realize correct state changes, while video models further suffer from temporal inconsistencies.