LLM-I: Los LLM son creadores multimodalmente intercalados de forma natural

LLM-I: LLMs are Naturally Interleaved Multimodal Creators

September 17, 2025

Autores: Zirun Guo, Feng Zhang, Kai Jia, Tao Jin

cs.AI

Resumen

Proponemos LLM-Interleaved (LLM-I), un marco flexible y dinámico que reformula la generación intercalada de imágenes y texto como un problema de uso de herramientas. LLM-I está diseñado para superar el cuello de botella de "una sola herramienta" de los modelos unificados actuales, que se limitan a la creación de imágenes sintéticas y tienen dificultades con tareas que requieren fundamentación factual o precisión programática. Nuestro marco permite a un agente central LLM o MLLM orquestar inteligentemente un conjunto diverso de herramientas visuales especializadas, incluyendo búsqueda de imágenes en línea, generación basada en difusión, ejecución de código y edición de imágenes. El agente es entrenado para seleccionar y aplicar estas herramientas de manera competente mediante un marco de Aprendizaje por Refuerzo (RL) que incluye un sistema de recompensas híbrido que combina lógica basada en reglas con juicios de evaluadores LLM y MLLM. Entrenado en un nuevo y diverso conjunto de datos utilizando cuatro arquitecturas de modelos diferentes, LLM-I demuestra un rendimiento de vanguardia, superando ampliamente a los métodos existentes en cuatro benchmarks. También introducimos una novedosa estrategia de escalado en tiempo de prueba que proporciona mejoras adicionales en el rendimiento. Página del proyecto: https://github.com/ByteDance-BandAI/LLM-I.

English

We propose LLM-Interleaved (LLM-I), a flexible and dynamic framework that reframes interleaved image-text generation as a tool-use problem. LLM-I is designed to overcome the "one-tool" bottleneck of current unified models, which are limited to synthetic imagery and struggle with tasks requiring factual grounding or programmatic precision. Our framework empowers a central LLM or MLLM agent to intelligently orchestrate a diverse toolkit of specialized visual tools, including online image search, diffusion-based generation, code execution, and image editing. The agent is trained to select and apply these tools proficiently via a Reinforcement Learning (RL) framework that features a hybrid reward system combining rule-based logic with judgments from LLM and MLLM evaluators. Trained on a diverse new dataset using four different model backbones, LLM-I demonstrates state-of-the-art performance, outperforming existing methods by a large margin across four benchmarks. We also introduce a novel test-time scaling strategy that provides further performance gains. Project Page: https://github.com/ByteDance-BandAI/LLM-I.