Zijn tekst-naar-beeldmodellen inductivistische kalkoenen? Een contrafactische benchmark voor causaal redeneren

Samenvatting

Tekst-naar-beeld (T2I) generatiemodellen hebben opmerkelijke vooruitgang geboekt in het produceren van visueel realistische afbeeldingen op basis van prompts in natuurlijke taal. Toch blijft het onduidelijk of hun succes een echt causaal begrip weerspiegelt of geavanceerde patroonherkenning op basis van visueel-verbale correlaties. Geïnspireerd door Russell's inductivistische kalkoen introduceren we Counterfactual-World (CF-World), een contrafeitelijke benchmark die is ontworpen om te onderzoeken of tekst-naar-beeld modellen afbeeldingen kunnen genereren onder regels die systematisch in tegenspraak zijn met real-world priors. CF-World organiseert elk scenario in drie progressieve niveaus: feitelijke generatie op basis van gewone wereldkennis, expliciete contrafeitelijke generatie met directe visuele instructies, en impliciete contrafeitelijke generatie die causaal redeneren vereist op basis van aangepaste regels. We evalueren zowel open-source als closed-source T2I-modellen met behulp van een op een Vision Language Model (VLM) gebaseerde evaluator (CF-Eval). Verder introduceren we twee metrieken: Priorweerstandspercentage (PRR), dat het vermogen van een model meet om ingesleten real-world priors te overwinnen, en Redeneerbehoudpercentage (RRR), dat beoordeelt of modellen redeneerafhankelijke contrafeitelijke generatie kunnen handhaven zonder expliciete visuele aanwijzingen. Experimenten tonen aan dat alle modellen een scherpe degradatie vertonen van feitelijke naar contrafeitelijke settings. Verdere analyses suggereren dat deze mislukkingen ontstaan omdat huidige T2I-modellen wereldkennis en visuele verschijningen coderen als nauw gekoppelde patronen. Bijgevolg dwingt hun sterke afhankelijkheid van frequente visuele co-occurrenties in de trainingsdata hen om terug te vallen op vertrouwde commonsense-priors wanneer ze de taak krijgen contrafeitelijke werelden weer te geven.

English

Text-to-image (T2I) generation models have achieved remarkable progress in producing visually realistic images from natural language prompts. Yet it remains unclear whether their success reflects genuine causal understanding or sophisticated pattern matching over visual-textual correlations. Inspired by Russell's inductivist turkey, we introduce Counterfactual-World (CF-World), a counterfactual benchmark designed to investigate whether text-to-image models can generate images under rules that systematically contradict real-world priors. CF-World organizes each scenario into three progressive levels: factual generation under ordinary world knowledge, explicit counterfactual generation with direct visual instructions, and implicit counterfactual generation requiring causal deduction from altered rules. We evaluate both open-source and closed-source T2I models using a Vision Language Model (VLM)-based evaluator (CF-Eval). Furthermore, we introduce two metrics: Prior Resistance Rate (PRR), which measures a model's ability to overcome entrenched real-world priors, and Reasoning Retention Rate (RRR), which assesses whether models can maintain reasoning-dependent counterfactual generation without explicit visual cues. Experiments show that all models exhibit sharp degradation from factual to counterfactual settings. Further analyses suggest that these failures arise because current T2I models encode world knowledge and visual appearances as tightly coupled patterns. Consequently, their heavy reliance on frequent visual co-occurrences within the training data forces them to default to familiar commonsense priors when tasked with rendering counterfactual worlds.