ARC-Encoder: het aanleren van gecomprimeerde tekstrepresentaties voor grootschalige taalmmodellen

ARC-Encoder: learning compressed text representations for large language models

October 23, 2025

Auteurs: Hippolyte Pilchen, Edouard Grave, Patrick Pérez

cs.AI

Samenvatting

Recente technieken zoals retrieval-augmented generation of chain-of-thought reasoning hebben geleid tot langere contexten en hogere inferentiekosten. Contextcompressietechnieken kunnen deze kosten verlagen, maar de meest effectieve methoden vereisen fine-tuning van het doelmodel of zelfs aanpassing van de architectuur. Dit kan de algemene capaciteiten aantasten wanneer het niet voor dit specifieke doel wordt gebruikt. Hier onderzoeken we een alternatieve aanpak: een encoder die de context comprimeert tot continue representaties die de token-embeddings in decoder-LLA's vervangen. Ten eerste voeren we een systematische studie uit naar trainingsstrategieën en architectuurkeuzes voor de encoder. Onze bevindingen leidden tot het ontwerp van een Adaptable text Representations Compressor, genaamd ARC-Encoder, die x-maal minder continue representaties uitvoert (typisch x!in!{4,8}) dan teksttokens. We evalueren ARC-Encoder in diverse LLA-gebruiksscenario's, van in-context learning tot contextvensteruitbreiding, op zowel instructie- als basis-decoders. Resultaten tonen aan dat ARC-Encoder state-of-the-art prestaties behaalt op verschillende benchmarks, terwijl de computationele efficiëntie tijdens inferentie verbetert. Tot slot tonen we aan dat onze modellen gelijktijdig aan meerdere decoders kunnen worden aangepast, waardoor een enkele encoder kan generaliseren over verschillende decoder-LLA's. Dit maakt ARC-Encoder tot een flexibele en efficiënte oplossing voor draagbare encoders die naadloos werken met meerdere LLA's. We geven trainingscode vrij op https://github.com/kyutai-labs/ARC-Encoder, fine-tuning datasets en voorgetrainde modellen zijn beschikbaar op https://huggingface.co/collections/kyutai/arc-encoders-68ee18787301407d60a57047.

English

Recent techniques such as retrieval-augmented generation or chain-of-thought reasoning have led to longer contexts and increased inference costs. Context compression techniques can reduce these costs, but the most effective approaches require fine-tuning the target model or even modifying its architecture. This can degrade its general abilities when not used for this specific purpose. Here we explore an alternative approach: an encoder that compresses the context into continuous representations which replace token embeddings in decoder LLMs. First, we perform a systematic study of training strategies and architecture choices for the encoder. Our findings led to the design of an Adaptable text Representations Compressor, named ARC-Encoder, which outputs x-times fewer continuous representations (typically x!in!{4,8}) than text tokens. We evaluate ARC-Encoder across a variety of LLM usage scenarios, ranging from in-context learning to context window extension, on both instruct and base decoders. Results show that ARC-Encoder achieves state-of-the-art performance on several benchmarks while improving computational efficiency at inference. Finally, we demonstrate that our models can be adapted to multiple decoders simultaneously, allowing a single encoder to generalize across different decoder LLMs. This makes ARC-Encoder a flexible and efficient solution for portable encoders that work seamlessly with multiple LLMs. We release a training code at https://github.com/kyutai-labs/ARC-Encoder , fine-tuning dataset and pretrained models are available at https://huggingface.co/collections/kyutai/arc-encoders-68ee18787301407d60a57047 .