LLM2Vec-Gen: 대규모 언어 모델의 생성적 임베딩
LLM2Vec-Gen: Generative Embeddings from Large Language Models
March 11, 2026
저자: Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy
cs.AI
초록
LLM 기반 텍스트 임베더는 일반적으로 입력의 의미적 내용을 인코딩합니다. 그러나 임베딩 작업은 다양한 입력을 유사한 출력에 매핑해야 합니다. 일반적으로 이러한 입력-출력 문제는 대조 학습을 사용하여 짝을 이룬 데이터로 임베딩 모델을 훈련시킴으로써 해결됩니다. 본 연구에서는 새로운 자기 지도 접근법인 LLM2Vec-Gen을 제안하며, 이는 입력을 인코딩하는 대신 모델의 잠재적 응답을 표현하도록 학습하는 다른 패러다임을 채택합니다. 구체적으로, 우리는 LLM의 어휘 사전에 훈련 가능한 특수 토큰을 추가하고 이를 입력에 첨부한 후, 이 토큰들이 LLM의 응답을 고정 길이 시퀀스로 표현하도록 최적화합니다. 훈련은 쿼리에 대한 LLM 자체의 완성본과 함께, 증류 목표를 제공하는 비지도 임베딩 교사 모델에 의해 안내됩니다. 이 공식화는 입력-출력 간격을 해소하는 데 도움이 되며, 안전성 정렬 및 추론과 같은 LLM의 능력을 임베딩 작업으로 전이시킵니다. 중요한 점은 LLM 백본은 동결된 상태로 유지되며 훈련에는 레이블이 없는 쿼리만 필요하다는 것입니다. LLM2Vec-Gen은 Massive Text Embedding Benchmark(MTEB)에서 최첨단 자기 지도 성능을 달성하여 최고의 비지도 임베딩 교사 모델 대비 9.3% 향상되었습니다. 또한 유해 콘텐츠 검색이 최대 43.2% 감소하고 임베딩 작업의 추론 능력이 29.3% 향상된 것을 관찰했습니다. 마지막으로, 학습된 임베딩은 해석이 가능하며 텍스트로 디코딩되어 그 의미적 내용을 드러낼 수 있습니다.
English
LLM-based text embedders typically encode the semantic content of their input. However, embedding tasks require mapping diverse inputs to similar outputs. Typically, this input-output is addressed by training embedding models with paired data using contrastive learning. In this work, we propose a novel self-supervised approach, LLM2Vec-Gen, which adopts a different paradigm: rather than encoding the input, we learn to represent the model's potential response. Specifically, we add trainable special tokens to the LLM's vocabulary, append them to input, and optimize them to represent the LLM's response in a fixed-length sequence. Training is guided by the LLM's own completion for the query, along with an unsupervised embedding teacher that provides distillation targets. This formulation helps to bridge the input-output gap and transfers LLM capabilities such as safety alignment and reasoning to embedding tasks. Crucially, the LLM backbone remains frozen and training requires only unlabeled queries. LLM2Vec-Gen achieves state-of-the-art self-supervised performance on the Massive Text Embedding Benchmark (MTEB), improving by 9.3% over the best unsupervised embedding teacher. We also observe up to 43.2% reduction in harmful content retrieval and 29.3% improvement in reasoning capabilities for embedding tasks. Finally, the learned embeddings are interpretable and can be decoded into text to reveal their semantic content.