Bifrost-1: Соединение мультимодальных LLM и диффузионных моделей с использованием латентных представлений CLIP на уровне патчей

Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents

August 8, 2025

Авторы: Han Lin, Jaemin Cho, Amir Zadeh, Chuan Li, Mohit Bansal

cs.AI

Аннотация

Растет интерес к интеграции возможностей высококачественного визуального синтеза в крупные языковые модели (LLM) без ущерба для их мощных способностей к рассуждению. Существующие методы, которые напрямую обучают LLM или связывают LLM с диффузионными моделями, обычно сталкиваются с высокой стоимостью обучения, поскольку базовые LLM не видели представлений изображений на этапе предварительного обучения. Мы представляем Bifrost-1 — унифицированную структуру, которая связывает предварительно обученные мультимодальные LLM (MLLM) и диффузионные модели, используя патч-уровневые CLIP-эмбеддинги изображений в качестве латентных переменных, которые изначально согласованы с CLIP-визуальным кодировщиком MLLM. Эти патч-уровневые эмбеддинги изображений интегрируются в диффузионную модель с помощью легковесной адаптации ее ControlNet. Для сохранения исходных мультимодальных способностей к рассуждению MLLM мы оснащаем MLLM ветвью визуальной генерации, инициализированной из исходных параметров MLLM при прогнозировании патч-уровневых эмбеддингов изображений. Благодаря бесшовной интеграции предварительно обученных MLLM и диффузионных моделей с патч-уровневыми CLIP-латентными переменными, наша структура позволяет осуществлять высококачественное управляемое генерацию изображений с высокой эффективностью обучения. Наши эксперименты демонстрируют, что Bifrost-1 достигает сопоставимой или лучшей производительности по сравнению с предыдущими методами с точки зрения визуальной точности и мультимодального понимания, при значительно меньших вычислительных затратах во время обучения. Мы также предоставляем всесторонние исследования эффективности наших проектных решений.

English

There is growing interest in integrating high-fidelity visual synthesis capabilities into large language models (LLMs) without compromising their strong reasoning capabilities. Existing methods that directly train LLMs or bridge LLMs and diffusion models usually suffer from costly training since the backbone LLMs have not seen image representations during pretraining. We present Bifrost-1, a unified framework that bridges pretrained multimodal LLMs (MLLMs) and diffusion models using patch-level CLIP image embeddings as latent variables, which are natively aligned with the MLLM's CLIP visual encoder. These patch-level image embeddings are integrated into the diffusion model with a lightweight adaptation of its ControlNet. To retain the original multimodal reasoning capabilities of MLLMs, we equip the MLLM with a visual generation branch initialized from the original MLLM parameters when predicting the patch-level image embeddings. By seamlessly integrating pretrained MLLMs and diffusion models with patch-level CLIP latents, our framework enables high-fidelity controllable image generation with significant training efficiency. Our experiments demonstrate that Bifrost-1 achieves comparable or better performance than previous methods in terms of visual fidelity and multimodal understanding, with substantially lower compute during training. We also provide comprehensive ablation studies showing the effectiveness of our design choices.