Os Modelos de Texto para Imagem São Perus Indutivistas? Um Benchmark Contrafactual para Raciocínio Causal

Resumo

Os modelos de geração de texto para imagem (T2I) alcançaram progresso notável na produção de imagens visualmente realistas a partir de instruções em linguagem natural. No entanto, ainda não está claro se esse sucesso reflete uma genuína compreensão causal ou um sofisticado reconhecimento de padrões sobre correlações visuais e textuais. Inspirados pelo peru indutivista de Russell, introduzimos o Mundo Contrafactual (CF-World, do inglês *Counterfactual-World*), um benchmark contrafactual projetado para investigar se modelos de texto para imagem podem gerar imagens sob regras que contradizem sistematicamente os conhecimentos prévios do mundo real. O CF-World organiza cada cenário em três níveis progressivos: geração factual baseada no conhecimento comum do mundo, geração contrafactual explícita com instruções visuais diretas e geração contrafactual implícita que exige dedução causal a partir de regras alteradas. Avaliamos modelos T2I de código aberto e fechado utilizando um avaliador baseado em Modelo de Linguagem Visual (VLM, do inglês *Vision Language Model*), denominado CF-Eval. Além disso, introduzimos duas métricas: a Taxa de Resistência a Prioridades (PRR, do inglês *Prior Resistance Rate*), que mede a capacidade do modelo de superar prioridades arraigadas do mundo real, e a Taxa de Retenção de Raciocínio (RRR, do inglês *Reasoning Retention Rate*), que avalia se os modelos conseguem manter a geração contrafactual dependente de raciocínio sem pistas visuais explícitas. Experimentos mostram que todos os modelos apresentam degradação acentuada ao passar de configurações factuais para contrafactuais. Análises adicionais sugerem que essas falhas ocorrem porque os modelos T2I atuais codificam o conhecimento do mundo e as aparências visuais como padrões fortemente acoplados. Consequentemente, sua forte dependência de coocorrências visuais frequentes nos dados de treinamento os força a recorrer a prioridades de senso comum familiares quando incumbidos de representar mundos contrafactuais.

English

Text-to-image (T2I) generation models have achieved remarkable progress in producing visually realistic images from natural language prompts. Yet it remains unclear whether their success reflects genuine causal understanding or sophisticated pattern matching over visual-textual correlations. Inspired by Russell's inductivist turkey, we introduce Counterfactual-World (CF-World), a counterfactual benchmark designed to investigate whether text-to-image models can generate images under rules that systematically contradict real-world priors. CF-World organizes each scenario into three progressive levels: factual generation under ordinary world knowledge, explicit counterfactual generation with direct visual instructions, and implicit counterfactual generation requiring causal deduction from altered rules. We evaluate both open-source and closed-source T2I models using a Vision Language Model (VLM)-based evaluator (CF-Eval). Furthermore, we introduce two metrics: Prior Resistance Rate (PRR), which measures a model's ability to overcome entrenched real-world priors, and Reasoning Retention Rate (RRR), which assesses whether models can maintain reasoning-dependent counterfactual generation without explicit visual cues. Experiments show that all models exhibit sharp degradation from factual to counterfactual settings. Further analyses suggest that these failures arise because current T2I models encode world knowledge and visual appearances as tightly coupled patterns. Consequently, their heavy reliance on frequent visual co-occurrences within the training data forces them to default to familiar commonsense priors when tasked with rendering counterfactual worlds.