BidirLM : Du texte aux encodeurs bidirectionnels omnimodaux par adaptation et composition de LLMs causaux

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

April 2, 2026

Auteurs: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

cs.AI

Résumé

Transformer les modèles génératifs de langage causaux en encodeurs bidirectionnels offre une alternative puissante aux architectures de type BERT. Cependant, les approches actuelles restent limitées : elles manquent de consensus sur les objectifs d'entraînement optimaux, souffrent d'oubli catastrophique à grande échelle et échouent à intégrer de manière flexible le vaste écosystème de modèles génératifs spécialisés. Dans ce travail, grâce à des ablations systématiques sur les familles Gemma3 et Qwen3, nous identifions les facteurs clés déterminant une adaptation réussie, en soulignant le rôle crucial d'une phase de masquage préalable souvent omise. Pour mettre à l'échelle ce processus sans les données de pré-entraînement originales, nous introduisons une stratégie duale combinant la fusion linéaire de poids avec un mélange léger de données multi-domaines qui atténue l'oubli catastrophique. Enfin, nous enrichissons nos encodeurs en les fusionnant avec des modèles causaux spécialisés, transférant ainsi de manière transparente des capacités spécifiques aux modalités et domaines. Cette recette open-source, conçue pour tout LLM décodeur causal, produit BidirLM, une famille de cinq encodeurs qui surpassent les alternatives sur des benchmarks de représentation pour le texte, la vision et l'audio.

English

Transforming causal generative language models into bidirectional encoders offers a powerful alternative to BERT-style architectures. However, current approaches remain limited: they lack consensus on optimal training objectives, suffer from catastrophic forgetting at scale, and fail to flexibly integrate the vast ecosystem of specialized generative models. In this work, through systematic ablations on the Gemma3 and Qwen3 families, we identify the key factors driving successful adaptation, highlighting the critical role of an often-omitted prior masking phase. To scale this process without original pre-training data, we introduce a dual strategy combining linear weight merging with a lightweight multi-domain data mixture that mitigates catastrophic forgetting. Finally, we augment our encoders by merging them with specialized causal models, seamlessly transferring modality- and domain-specific capabilities. This open-source recipe, designed for any causal decoder LLM, yields BidirLM, a family of five encoders that outperform alternatives on text, vision, and audio representation benchmarks.