BidirLM: От текста к омнимодальным двунаправленным энкодерам через адаптацию и композицию каузальных языковых моделей

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

April 2, 2026

Авторы: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

cs.AI

Аннотация

Преобразование каузальных генеративных языковых моделей в двунаправленные энкодеры предлагает мощную альтернативу архитектурам типа BERT. Однако современные подходы остаются ограниченными: в них отсутствует консенсус относительно оптимальных функций потерь, они страдают от катастрофического забывания при масштабировании и не способны гибко интегрировать обширную экосистему специализированных генеративных моделей. В данной работе, путем систематических абляционных исследований на семействах моделей Gemma3 и Qwen3, мы выявляем ключевые факторы, определяющие успешную адаптацию, подчеркивая критическую роль часто опускаемой фазы предварительного маскирования. Для масштабирования этого процесса без доступа к исходным данным предварительного обучения мы представляем двойную стратегию, сочетающую линейное объединение весов с легковесной смесью мультидоменных данных, что смягчает проблему катастрофического забывания. Наконец, мы расширяем возможности наших энкодеров путем их слияния со специализированными каузальными моделями, обеспечивая бесшовный перенос модально-специфичных и доменно-специфичных способностей. Этот рецепт с открытым исходным кодом, разработанный для любых каузальных декодерных LLM, порождает BidirLM — семейство из пяти энкодеров, которые превосходят аналоги на бенчмарках представлений для текста, изображений и аудио.

English

Transforming causal generative language models into bidirectional encoders offers a powerful alternative to BERT-style architectures. However, current approaches remain limited: they lack consensus on optimal training objectives, suffer from catastrophic forgetting at scale, and fail to flexibly integrate the vast ecosystem of specialized generative models. In this work, through systematic ablations on the Gemma3 and Qwen3 families, we identify the key factors driving successful adaptation, highlighting the critical role of an often-omitted prior masking phase. To scale this process without original pre-training data, we introduce a dual strategy combining linear weight merging with a lightweight multi-domain data mixture that mitigates catastrophic forgetting. Finally, we augment our encoders by merging them with specialized causal models, seamlessly transferring modality- and domain-specific capabilities. This open-source recipe, designed for any causal decoder LLM, yields BidirLM, a family of five encoders that outperform alternatives on text, vision, and audio representation benchmarks.