BidirLM: Da testo a encoder bidirezionali omnimodali tramite l'adattamento e la composizione di LLM causali

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

April 2, 2026

Autori: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

cs.AI

Abstract

Trasformare i modelli linguistici generativi causali in encoder bidirezionali offre una valida alternativa alle architetture di tipo BERT. Tuttavia, gli approcci attuali presentano limitazioni significative: mancano di un consenso sugli obiettivi di addestramento ottimali, soffrono di oblio catastrofico su larga scala e non riescono a integrare flessibilmente il vasto ecosistema di modelli generativi specializzati. In questo lavoro, attraverso ablation study sistematiche sulle famiglie Gemma3 e Qwen3, identifichiamo i fattori chiave che guidano un'adattamento efficace, evidenziando il ruolo cruciale di una fase di prior masking spesso omessa. Per scalare questo processo senza i dati di pre-addestramento originali, introduciamo una strategia duale che combina la fusione lineare dei pesi (linear weight merging) con un mixture di dati multi-dominio leggero, mitigando così l'oblio catastrofico. Infine, potenziamo i nostri encoder fondendoli con modelli causali specializzati, trasferendo seamless capacità specifiche per modalità e dominio. Questa ricetta open-source, progettata per qualsiasi LLM decoder causale, dà vita a BidirLM, una famiglia di cinque encoder che superano le alternative su benchmark di rappresentazione per testo, visione e audio.

English

Transforming causal generative language models into bidirectional encoders offers a powerful alternative to BERT-style architectures. However, current approaches remain limited: they lack consensus on optimal training objectives, suffer from catastrophic forgetting at scale, and fail to flexibly integrate the vast ecosystem of specialized generative models. In this work, through systematic ablations on the Gemma3 and Qwen3 families, we identify the key factors driving successful adaptation, highlighting the critical role of an often-omitted prior masking phase. To scale this process without original pre-training data, we introduce a dual strategy combining linear weight merging with a lightweight multi-domain data mixture that mitigates catastrophic forgetting. Finally, we augment our encoders by merging them with specialized causal models, seamlessly transferring modality- and domain-specific capabilities. This open-source recipe, designed for any causal decoder LLM, yields BidirLM, a family of five encoders that outperform alternatives on text, vision, and audio representation benchmarks.