Reduzierung des Long-Tail in der Evaluation visueller Weltmodellierung

Zusammenfassung

Physikalische Interaktionen folgen einer Lange-Schwanz-Verteilung: Eine Menge häufiger und regulärer Interaktionen dominiert die menschliche Erfahrung und visuelle Daten, während ein breites Spektrum seltener und irregulärer Interaktionen unterrepräsentiert bleibt. Obwohl aktuelle visuelle Weltmodelle, darunter Bild- und Videogenerierungsmodelle, auf bestehenden Benchmarks beeindruckende Realitätstreue erzielen, konzentrieren sie sich hauptsächlich auf die Simulation häufiger physikalischer Interaktionen. Dies wirft eine zentrale Frage auf: Verinnerlichen und verallgemeinern aktuelle visuelle Weltmodelle physikalische Prinzipien? In dieser Arbeit führen wir Tailor-Bench ein, einen Benchmark, der Weltmodelle dazu herausfordert, irreguläre physikalische Interaktionen zu simulieren. Für eine systematische Evaluierung entwerfen wir drei Szenarienmodi, die das Modellreasoning schrittweise herausfordern: Reguläre Szenarien spiegeln übliche Werkzeug-Aufgaben-Paare wider, Unkonventionelle Szenarien ersetzen konventionelle Werkzeuge durch attributkompatible Substitute, um die Affordanz-Generalisierung zu testen, und Unmögliche Szenarien führen attributverletzende Werkzeuge ein, um das Einschränkungsbewusstsein zu untersuchen. Zusätzlich entwerfen wir zwei komplementäre Einstellungen unter einem einheitlichen Evaluierungsprotokoll: Die prädiktive Generierung erfordert das Ableiten von Ergebnissen ohne Vorgaben, während die deskriptive Generierung das Zielergebnis für eine getreue Umsetzung vorgibt. Unsere experimentellen Ergebnisse offenbaren eine deutliche Lange-Schwanz-Lücke in der physikalischen Weltmodellierung: Die Leistung verschlechtert sich von regulären über unkonventionelle bis hin zu unmöglichen Szenarien, was auf eine begrenzte Generalisierung über häufige Interaktionen hinaus hindeutet. Eine Fehleranalyse zeigt zudem, dass Modelle auf oberflächliche visuelle Muster angewiesen sind: Bildmodelle scheitern an der Realisierung korrekter Zustandsänderungen, während Videomodelle zusätzlich unter zeitlichen Inkonsistenzen leiden.

English

Physical interactions follow a long-tailed distribution: a set of common and regular interactions dominates human experience and visual data, while a broad spectrum of rare and irregular interactions remains underrepresented. Although recent visual world models, including image and video generation models, achieve impressive realism on existing benchmarks, they primarily focus on simulating common physical interactions. This raises a central question: Do current visual world models internalize and generalize physical principles? In this work, we introduce Tailor-Bench, a benchmark that challenges world models to simulate irregular physical interactions. To enable systematic evaluation, we design three scenario modes that progressively challenge model reasoning: Regular scenarios reflect common tool-task pairs, Unconventional scenarios replace conventional tools with attribute-compatible substitutes to test affordance generalization, and Impossible scenarios introduce attribute-violating tools to probe constraint awareness. Additionally, we design two complementary settings under a unified evaluation protocol: predictive generation requires inferring outcomes without guidance, while descriptive generation specifies the target outcome for faithful realization. Our experimental results reveal a clear long-tail gap in physical world modeling: performance degrades from Regular to Unconventional and Impossible scenarios, indicating limited generalization beyond common interactions. Failure analysis further shows that models rely on superficial visual patterns: image models fail to realize correct state changes, while video models further suffer from temporal inconsistencies.