Imagine: Avaliação de Compreensão e Geração Unificadas para Insights sobre Processos do Mundo Causal

Envision: Benchmarking Unified Understanding & Generation for Causal World Process Insights

December 1, 2025

Autores: Juanxi Tian, Siyuan Li, Conghui He, Lijun Wu, Cheng Tan

cs.AI

Resumo

Os modelos multimodais atuais visam transcender as limitações das representações de modalidade única, unificando compreensão e geração, frequentemente utilizando tarefas de texto-para-imagem (T2I) para calibrar a consistência semântica. No entanto, a sua dependência da geração de imagem única e estática no treinamento e avaliação leva a um sobre-ajustamento à correspondência de padrões estáticos e à fusão semântica, ao mesmo tempo que impede fundamentalmente a sua capacidade de modelar processos dinâmicos que se desenrolam ao longo do tempo. Para enfrentar estas limitações, propomos o Envision - um benchmark de progressão causal de eventos para geração encadeada de texto-para-múltiplas-imagens. Baseado no conhecimento do mundo e estruturado pela causalidade espaço-temporal, ele reorganiza as dimensões de avaliação existentes e inclui 1.000 prompts de quatro estágios abrangendo seis domínios científicos e humanísticos. Para transicionar a avaliação de imagens únicas para sequências de frames e avaliar se os modelos verdadeiramente internalizam o conhecimento do mundo, respeitando as restrições causal-temporais, introduzimos o Envision-Score, uma métrica holística que integra consistência multidimensional, fisicalidade e estética. A avaliação abrangente de 15 modelos (10 modelos especializados em T2I, 5 modelos unificados) revela: os modelos especializados em T2I demonstram proficiência na renderização estética, mas carecem de conhecimento intrínseco do mundo. Os modelos multimodais unificados preenchem esta lacuna, superando consistentemente os seus congéneres especializados na coerência narrativa causal. Contudo, mesmo estas arquiteturas unificadas permanecem subordinadas aos modelos de código fechado e lutam para superar o desafio central da consistência espaço-temporal. Isto demonstra que um foco em imagens únicas causalmente isoladas impede o raciocínio e a geração multi-frame, promovendo a correspondência de padrões estáticos em detrimento da modelagem dinâmica do mundo - limitando, em última análise, a internalização do conhecimento do mundo e a geração.

English

Current multimodal models aim to transcend the limitations of single-modality representations by unifying understanding and generation, often using text-to-image (T2I) tasks to calibrate semantic consistency. However, their reliance on static, single-image generation in training and evaluation leads to overfitting to static pattern matching and semantic fusion, while fundamentally hindering their ability to model dynamic processes that unfold over time. To address these constraints, we propose Envision-a causal event progression benchmark for chained text-to-multi-image generation. Grounded in world knowledge and structured by spatiotemporal causality, it reorganizes existing evaluation dimensions and includes 1,000 four-stage prompts spanning six scientific and humanities domains. To transition evaluation from single images to sequential frames and assess whether models truly internalize world knowledge while adhering to causal-temporal constraints, we introduce Envision-Score, a holistic metric integrating multi-dimensional consistency, physicality, and aesthetics. Comprehensive evaluation of 15 models (10 specialized T2I models, 5 unified models) uncovers: specialized T2I models demonstrate proficiency in aesthetic rendering yet lack intrinsic world knowledge. Unified multimodal models bridge this gap, consistently outperforming specialized counterparts in causal narrative coherence. However, even these unified architectures remain subordinate to closed-source models and struggle to overcome the core challenge of spatiotemporal consistency. This demonstrates that a focus on causally-isolated single images impedes multi-frame reasoning and generation, promoting static pattern matching over dynamic world modeling-ultimately limiting world knowledge internalization, generation.