BidirLM: De Texto para Codificadores Omnidirecionais Omnidirecionais por meio da Adaptação e Composição de LLMs Causais

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

April 2, 2026

Autores: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

cs.AI

Resumo

A transformação de modelos generativos causais de linguagem em codificadores bidirecionais oferece uma alternativa poderosa às arquiteturas do estilo BERT. No entanto, as abordagens atuais permanecem limitadas: carecem de consenso sobre os objetivos de treinamento ideais, sofrem de esquecimento catastrófico em escala e não conseguem integrar de forma flexível o vasto ecossistema de modelos generativos especializados. Neste trabalho, através de ablações sistemáticas nas famílias Gemma3 e Qwen3, identificamos os fatores-chave que impulsionam uma adaptação bem-sucedida, destacando o papel crítico de uma fase de mascaramento prévio frequentemente omitida. Para escalar este processo sem os dados originais de pré-treinamento, introduzimos uma estratégia dupla que combina a fusão linear de pesos com uma mistura leve de dados de múltiplos domínios, mitigando o esquecimento catastrófico. Por fim, aprimoramos nossos codificadores fundindo-os com modelos causais especializados, transferindo de forma transparente capacidades específicas de modalidade e domínio. Esta receita de código aberto, projetada para qualquer LLM decodificador causal, resulta no BidirLM, uma família de cinco codificadores que superam as alternativas em benchmarks de representação de texto, visão e áudio.

English

Transforming causal generative language models into bidirectional encoders offers a powerful alternative to BERT-style architectures. However, current approaches remain limited: they lack consensus on optimal training objectives, suffer from catastrophic forgetting at scale, and fail to flexibly integrate the vast ecosystem of specialized generative models. In this work, through systematic ablations on the Gemma3 and Qwen3 families, we identify the key factors driving successful adaptation, highlighting the critical role of an often-omitted prior masking phase. To scale this process without original pre-training data, we introduce a dual strategy combining linear weight merging with a lightweight multi-domain data mixture that mitigates catastrophic forgetting. Finally, we augment our encoders by merging them with specialized causal models, seamlessly transferring modality- and domain-specific capabilities. This open-source recipe, designed for any causal decoder LLM, yields BidirLM, a family of five encoders that outperform alternatives on text, vision, and audio representation benchmarks.