LLM-I: LLMs são Criadores Multimodais Naturalmente Intercalados

LLM-I: LLMs are Naturally Interleaved Multimodal Creators

September 17, 2025

Autores: Zirun Guo, Feng Zhang, Kai Jia, Tao Jin

cs.AI

Resumo

Propomos o LLM-Interleaved (LLM-I), um framework flexível e dinâmico que reformula a geração intercalada de imagens e textos como um problema de uso de ferramentas. O LLM-I foi projetado para superar o gargalo de "uma única ferramenta" dos modelos unificados atuais, que são limitados à geração de imagens sintéticas e têm dificuldades com tarefas que exigem fundamentação factual ou precisão programática. Nosso framework capacita um agente central LLM ou MLLM a orquestrar de forma inteligente um conjunto diversificado de ferramentas visuais especializadas, incluindo busca de imagens online, geração baseada em difusão, execução de código e edição de imagens. O agente é treinado para selecionar e aplicar essas ferramentas com proficiência por meio de um framework de Aprendizado por Reforço (RL) que apresenta um sistema de recompensas híbrido, combinando lógica baseada em regras com julgamentos de avaliadores LLM e MLLM. Treinado em um novo conjunto de dados diversificado usando quatro diferentes arquiteturas de modelo, o LLM-I demonstra desempenho de ponta, superando os métodos existentes por uma grande margem em quatro benchmarks. Também introduzimos uma nova estratégia de escalonamento em tempo de teste que proporciona ganhos adicionais de desempenho. Página do Projeto: https://github.com/ByteDance-BandAI/LLM-I.

English

We propose LLM-Interleaved (LLM-I), a flexible and dynamic framework that reframes interleaved image-text generation as a tool-use problem. LLM-I is designed to overcome the "one-tool" bottleneck of current unified models, which are limited to synthetic imagery and struggle with tasks requiring factual grounding or programmatic precision. Our framework empowers a central LLM or MLLM agent to intelligently orchestrate a diverse toolkit of specialized visual tools, including online image search, diffusion-based generation, code execution, and image editing. The agent is trained to select and apply these tools proficiently via a Reinforcement Learning (RL) framework that features a hybrid reward system combining rule-based logic with judgments from LLM and MLLM evaluators. Trained on a diverse new dataset using four different model backbones, LLM-I demonstrates state-of-the-art performance, outperforming existing methods by a large margin across four benchmarks. We also introduce a novel test-time scaling strategy that provides further performance gains. Project Page: https://github.com/ByteDance-BandAI/LLM-I.