CoF-T2I: Modelli video come ragionatori puramente visivi per la generazione di immagini da testo
CoF-T2I: Video Models as Pure Visual Reasoners for Text-to-Image Generation
January 15, 2026
Autori: Chengzhuo Tong, Mingkun Chang, Shenglong Zhang, Yuran Wang, Cheng Liang, Zhizheng Zhao, Ruichuan An, Bohan Zeng, Yang Shi, Yifan Dai, Ziming Zhao, Guanbin Li, Pengfei Wan, Yuanxing Zhang, Wentao Zhang
cs.AI
Abstract
I recenti modelli di generazione video hanno rivelato l'emergere del ragionamento a Catena di Frame (CoF), che abilita l'inferenza visiva frame-by-frame. Grazie a questa capacità, i modelli video sono stati applicati con successo a varie attività visive (ad esempio, risoluzione di labirinti, puzzle visivi). Tuttavia, il loro potenziale per migliorare la generazione da testo a immagine (T2I) rimane in gran parte inesplorato a causa dell'assenza di un punto di partenza chiaramente definito per il ragionamento visivo e di stati intermedi interpretabili nel processo di generazione T2I. Per colmare questa lacuna, proponiamo CoF-T2I, un modello che integra il ragionamento CoF nella generazione T2I tramite un perfezionamento visivo progressivo, dove i frame intermedi fungono da passaggi di ragionamento espliciti e il frame finale viene considerato come output. Per stabilire un tale processo di generazione esplicito, abbiamo curato CoF-Evol-Instruct, un dataset di traiettorie CoF che modellano il processo generativo dalla semantica all'estetica. Per migliorare ulteriormente la qualità ed evitare artefatti di movimento, abilitiamo un'operazione di codifica indipendente per ogni frame. Gli esperimenti mostrano che CoF-T2I supera significativamente il modello video base e raggiunge prestazioni competitive su benchmark impegnativi, ottenendo 0,86 su GenEval e 7,468 su Imagine-Bench. Questi risultati indicano il notevole potenziale dei modelli video per far progredire la generazione di immagini di alta qualità da testo.
English
Recent video generation models have revealed the emergence of Chain-of-Frame (CoF) reasoning, enabling frame-by-frame visual inference. With this capability, video models have been successfully applied to various visual tasks (e.g., maze solving, visual puzzles). However, their potential to enhance text-to-image (T2I) generation remains largely unexplored due to the absence of a clearly defined visual reasoning starting point and interpretable intermediate states in the T2I generation process. To bridge this gap, we propose CoF-T2I, a model that integrates CoF reasoning into T2I generation via progressive visual refinement, where intermediate frames act as explicit reasoning steps and the final frame is taken as output. To establish such an explicit generation process, we curate CoF-Evol-Instruct, a dataset of CoF trajectories that model the generation process from semantics to aesthetics. To further improve quality and avoid motion artifacts, we enable independent encoding operation for each frame. Experiments show that CoF-T2I significantly outperforms the base video model and achieves competitive performance on challenging benchmarks, reaching 0.86 on GenEval and 7.468 on Imagine-Bench. These results indicate the substantial promise of video models for advancing high-quality text-to-image generation.