BidirLM: Von Text zu omnimodalen bidirektionalen Encodern durch Anpassung und Komposition kausaler LLMs
BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs
April 2, 2026
Autoren: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo
cs.AI
Zusammenfassung
Die Umwandlung kausaler generativer Sprachmodelle in bidirektionale Encoder bietet eine leistungsstarke Alternative zu BERT-artigen Architekturen. Allerdings bleiben aktuelle Ansätze eingeschränkt: Es fehlt ein Konsens über optimale Trainingsziele, sie leiden unter katastrophalem Vergessen bei der Skalierung und können das umfangreiche Ökosystem spezialisierter generativer Modelle nicht flexibel integrieren. In dieser Arbeit identifizieren wir durch systematische Ablationen an den Gemma3- und Qwen3-Modellfamilien die Schlüsselfaktoren für eine erfolgreiche Adaptation und heben die kritische Rolle einer häufig vernachlässigten Prior-Masking-Phase hervor. Um diesen Prozess ohne ursprüngliche Vortrainingsdaten zu skalieren, führen wir eine Dual-Strategie ein, die lineare Gewichtsvereinigung mit einer leichten Multi-Domain-Datenmischung kombiniert, um katastrophales Vergessen zu mildern. Abschließend erweitern wir unsere Encoder durch Verschmelzung mit spezialisierten kausalen Modellen, wodurch modalitäts- und domänenspezifische Fähigkeiten nahtlos übertragen werden. Diese Open-Source-Methodik, entwickelt für beliebige kausale Decoder-LLMs, erzeugt BidirLM – eine Familie von fünf Encodern, die Alternativen auf Text-, Bild- und Audio-Repräsentations-Benchmarks übertreffen.
English
Transforming causal generative language models into bidirectional encoders offers a powerful alternative to BERT-style architectures. However, current approaches remain limited: they lack consensus on optimal training objectives, suffer from catastrophic forgetting at scale, and fail to flexibly integrate the vast ecosystem of specialized generative models. In this work, through systematic ablations on the Gemma3 and Qwen3 families, we identify the key factors driving successful adaptation, highlighting the critical role of an often-omitted prior masking phase. To scale this process without original pre-training data, we introduce a dual strategy combining linear weight merging with a lightweight multi-domain data mixture that mitigates catastrophic forgetting. Finally, we augment our encoders by merging them with specialized causal models, seamlessly transferring modality- and domain-specific capabilities. This open-source recipe, designed for any causal decoder LLM, yields BidirLM, a family of five encoders that outperform alternatives on text, vision, and audio representation benchmarks.