LLM-I: I Modelli Linguistici di Grandi Dimensioni sono Creatori Multimodali Naturalmente Interlacciati

LLM-I: LLMs are Naturally Interleaved Multimodal Creators

September 17, 2025

Autori: Zirun Guo, Feng Zhang, Kai Jia, Tao Jin

cs.AI

Abstract

Proponiamo LLM-Interleaved (LLM-I), un framework flessibile e dinamico che riformula la generazione intervallata di immagini e testo come un problema di utilizzo di strumenti. LLM-I è progettato per superare il collo di bottiglia "a strumento singolo" dei modelli unificati attuali, che sono limitati all'immaginario sintetico e faticano nei compiti che richiedono un fondamento fattuale o una precisione programmatica. Il nostro framework consente a un agente LLM o MLLM centrale di orchestrare in modo intelligente un toolkit diversificato di strumenti visivi specializzati, tra cui la ricerca di immagini online, la generazione basata su diffusione, l'esecuzione di codice e l'editing di immagini. L'agente viene addestrato a selezionare e applicare questi strumenti in modo competente attraverso un framework di Reinforcement Learning (RL) che include un sistema di ricompensa ibrido che combina logica basata su regole con giudizi da valutatori LLM e MLLM. Addestrato su un nuovo dataset diversificato utilizzando quattro diversi modelli di base, LLM-I dimostra prestazioni all'avanguardia, superando di gran lunga i metodi esistenti su quattro benchmark. Introduciamo anche una nuova strategia di scalatura al momento del test che fornisce ulteriori miglioramenti delle prestazioni. Pagina del progetto: https://github.com/ByteDance-BandAI/LLM-I.

English

We propose LLM-Interleaved (LLM-I), a flexible and dynamic framework that reframes interleaved image-text generation as a tool-use problem. LLM-I is designed to overcome the "one-tool" bottleneck of current unified models, which are limited to synthetic imagery and struggle with tasks requiring factual grounding or programmatic precision. Our framework empowers a central LLM or MLLM agent to intelligently orchestrate a diverse toolkit of specialized visual tools, including online image search, diffusion-based generation, code execution, and image editing. The agent is trained to select and apply these tools proficiently via a Reinforcement Learning (RL) framework that features a hybrid reward system combining rule-based logic with judgments from LLM and MLLM evaluators. Trained on a diverse new dataset using four different model backbones, LLM-I demonstrates state-of-the-art performance, outperforming existing methods by a large margin across four benchmarks. We also introduce a novel test-time scaling strategy that provides further performance gains. Project Page: https://github.com/ByteDance-BandAI/LLM-I.