LLM-I: LLM's zijn van nature interleaved multimodale makers

LLM-I: LLMs are Naturally Interleaved Multimodal Creators

September 17, 2025

Auteurs: Zirun Guo, Feng Zhang, Kai Jia, Tao Jin

cs.AI

Samenvatting

Wij stellen LLM-Interleaved (LLM-I) voor, een flexibel en dynamisch raamwerk dat interleaved beeld-tekstgeneratie herformuleert als een gereedschapsgebruiksprobleem. LLM-I is ontworpen om de "één-gereedschap" beperking van huidige geünificeerde modellen te overwinnen, die beperkt zijn tot synthetische beeldvorming en moeite hebben met taken die feitelijke onderbouwing of programmatische precisie vereisen. Ons raamwerk stelt een centrale LLM- of MLLM-agent in staat om op intelligente wijze een diverse toolkit van gespecialiseerde visuele gereedschappen te orkestreren, waaronder online beeldzoekopdrachten, diffusiegebaseerde generatie, code-uitvoering en beeldbewerking. De agent wordt getraind om deze gereedschappen vaardig te selecteren en toe te passen via een Reinforcement Learning (RL) raamwerk dat beschikt over een hybride beloningssysteem dat regelgebaseerde logica combineert met beoordelingen van LLM- en MLLM-evaluatoren. Getraind op een diverse nieuwe dataset met vier verschillende modelbackbones, toont LLM-I state-of-the-art prestaties, waarbij het bestaande methoden met een grote marge overtreft op vier benchmarks. We introduceren ook een nieuwe testtijd-schaalstrategie die verdere prestatieverbeteringen biedt. Projectpagina: https://github.com/ByteDance-BandAI/LLM-I.

English

We propose LLM-Interleaved (LLM-I), a flexible and dynamic framework that reframes interleaved image-text generation as a tool-use problem. LLM-I is designed to overcome the "one-tool" bottleneck of current unified models, which are limited to synthetic imagery and struggle with tasks requiring factual grounding or programmatic precision. Our framework empowers a central LLM or MLLM agent to intelligently orchestrate a diverse toolkit of specialized visual tools, including online image search, diffusion-based generation, code execution, and image editing. The agent is trained to select and apply these tools proficiently via a Reinforcement Learning (RL) framework that features a hybrid reward system combining rule-based logic with judgments from LLM and MLLM evaluators. Trained on a diverse new dataset using four different model backbones, LLM-I demonstrates state-of-the-art performance, outperforming existing methods by a large margin across four benchmarks. We also introduce a novel test-time scaling strategy that provides further performance gains. Project Page: https://github.com/ByteDance-BandAI/LLM-I.