BidirLM: Van tekst naar omnimodale bidirectionele encoders door causale LLM's aan te passen en samen te stellen

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

April 2, 2026

Auteurs: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

cs.AI

Samenvatting

Het omvormen van causale generatieve taalmodel(len) naar bidirectionele encoders biedt een krachtig alternatief voor BERT-achtige architecturen. De huidige benaderingen kennen echter nog beperkingen: er is geen consensus over optimale trainingsdoelstellingen, ze lijden onder catastrofale vergetelheid op grote schaal, en ze slagen er niet in om het uitgebreide ecosysteem van gespecialiseerde generatieve modellen flexibel te integreren. In dit werk identificeren we, door middel van systematische ablatiestudies op de Gemma3- en Qwen3-families, de belangrijkste factoren die een succesvolle adaptatie sturen, waarbij we de cruciale rol benadrukken van een vaak weggelaten fase van voorafgaande masking. Om dit proces op te schalen zonder de oorspronkelijke pretrainingsdata, introduceren we een dubbele strategie die lineair gewichtsmergen combineert met een lichtgewicht datamengsel uit meerdere domeinen, wat catastrofale vergetelheid vermindert. Ten slotte verrijken we onze encoders door ze te mergen met gespecialiseerde causale modellen, waardoor modaliteits- en domeinspecifieke capaciteiten naadloos worden overgedragen. Dit open-source recept, ontworpen voor elk causaal decoder-LLM, levert BidirLM op, een familie van vijf encoders die de alternatieven overtreffen op tekst-, visie- en audio-representatiebenchmarks.

English

Transforming causal generative language models into bidirectional encoders offers a powerful alternative to BERT-style architectures. However, current approaches remain limited: they lack consensus on optimal training objectives, suffer from catastrophic forgetting at scale, and fail to flexibly integrate the vast ecosystem of specialized generative models. In this work, through systematic ablations on the Gemma3 and Qwen3 families, we identify the key factors driving successful adaptation, highlighting the critical role of an often-omitted prior masking phase. To scale this process without original pre-training data, we introduce a dual strategy combining linear weight merging with a lightweight multi-domain data mixture that mitigates catastrophic forgetting. Finally, we augment our encoders by merging them with specialized causal models, seamlessly transferring modality- and domain-specific capabilities. This open-source recipe, designed for any causal decoder LLM, yields BidirLM, a family of five encoders that outperform alternatives on text, vision, and audio representation benchmarks.