Bifrost-1: Brückenschlag zwischen multimodalen LLMs und Diffusionsmodellen durch Patch-basierte CLIP-Latenzen

Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents

August 8, 2025

papers.authors: Han Lin, Jaemin Cho, Amir Zadeh, Chuan Li, Mohit Bansal

cs.AI

papers.abstract

Es gibt ein zunehmendes Interesse daran, hochwertige visuelle Synthesefähigkeiten in große Sprachmodelle (LLMs) zu integrieren, ohne deren starke Fähigkeiten zur logischen Schlussfolgerung zu beeinträchtigen. Bestehende Methoden, die LLMs direkt trainieren oder LLMs mit Diffusionsmodellen verbinden, leiden oft unter kostspieligem Training, da die zugrunde liegenden LLMs während des Vortrainings keine Bildrepräsentationen gesehen haben. Wir stellen Bifrost-1 vor, ein einheitliches Framework, das vortrainierte multimodale LLMs (MLLMs) und Diffusionsmodelle mithilfe von patch-basierten CLIP-Bild-Einbettungen als latente Variablen verbindet, die nativ mit dem CLIP-Visual-Encoder des MLLMs ausgerichtet sind. Diese patch-basierten Bild-Einbettungen werden in das Diffusionsmodell integriert, indem dessen ControlNet leicht angepasst wird. Um die ursprünglichen multimodalen Schlussfolgerungsfähigkeiten der MLLMs zu erhalten, statten wir den MLLM mit einem visuellen Generierungszweig aus, der mit den ursprünglichen MLLM-Parametern initialisiert wird, wenn die patch-basierten Bild-Einbettungen vorhergesagt werden. Durch die nahtlose Integration von vortrainierten MLLMs und Diffusionsmodellen mit patch-basierten CLIP-Latents ermöglicht unser Framework eine hochwertige, kontrollierbare Bildgenerierung mit erheblicher Trainings-Effizienz. Unsere Experimente zeigen, dass Bifrost-1 eine vergleichbare oder bessere Leistung als bisherige Methoden in Bezug auf visuelle Qualität und multimodales Verständnis erreicht, bei deutlich geringerem Rechenaufwand während des Trainings. Wir präsentieren auch umfassende Ablationsstudien, die die Wirksamkeit unserer Designentscheidungen belegen.

English

There is growing interest in integrating high-fidelity visual synthesis capabilities into large language models (LLMs) without compromising their strong reasoning capabilities. Existing methods that directly train LLMs or bridge LLMs and diffusion models usually suffer from costly training since the backbone LLMs have not seen image representations during pretraining. We present Bifrost-1, a unified framework that bridges pretrained multimodal LLMs (MLLMs) and diffusion models using patch-level CLIP image embeddings as latent variables, which are natively aligned with the MLLM's CLIP visual encoder. These patch-level image embeddings are integrated into the diffusion model with a lightweight adaptation of its ControlNet. To retain the original multimodal reasoning capabilities of MLLMs, we equip the MLLM with a visual generation branch initialized from the original MLLM parameters when predicting the patch-level image embeddings. By seamlessly integrating pretrained MLLMs and diffusion models with patch-level CLIP latents, our framework enables high-fidelity controllable image generation with significant training efficiency. Our experiments demonstrate that Bifrost-1 achieves comparable or better performance than previous methods in terms of visual fidelity and multimodal understanding, with substantially lower compute during training. We also provide comprehensive ablation studies showing the effectiveness of our design choices.