LLM2Vec-Gen: 大規模言語モデルによる生成的埋め込み表現

LLM2Vec-Gen: Generative Embeddings from Large Language Models

March 11, 2026

著者: Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

cs.AI

要旨

LLMベースのテキスト埋め込みモデルは、通常、入力の意味内容を符号化します。しかし、埋め込みタスクでは、多様な入力を類似した出力にマッピングする必要があります。この入出力関係は、典型的には対照学習を用いたペアデータによる埋め込みモデルの学習によって扱われてきました。本研究では、新たな自己教師ありアプローチであるLLM2Vec-Genを提案します。これは異なるパラダイムを採用するものです：入力の符号化ではなく、モデルが生成し得る応答を表現することを学習します。具体的には、LLMの語彙に学習可能な特殊トークンを追加し、それを入力に付加し、それらがLLMの応答を固定長の系列で表現するように最適化します。学習は、クエリに対するLLM自身の生成結果と、蒸留ターゲットを提供する教師なし埋め込みモデルの指導によって進められます。この定式化は、入出力間のギャップを埋める助けとなり、安全性の調整や推論といったLLMの能力を埋め込みタスクに転移させます。重要な点は、LLMのバックボーンは凍結されたままであり、学習にはラベル付けされていないクエリのみが必要であることです。LLM2Vec-Genは、Massive Text Embedding Benchmark (MTEB) において、教師なしの状態で最先端の性能を達成し、最高の教師なし埋め込みモデルを9.3%上回りました。さらに、埋め込みタスクにおいて、有害なコンテンツの検索が最大43.2%減少し、推論能力が29.3%向上することを確認しました。最後に、学習された埋め込み表現は解釈可能であり、テキストにデコードしてその意味内容を明らかにすることができます。

English

LLM-based text embedders typically encode the semantic content of their input. However, embedding tasks require mapping diverse inputs to similar outputs. Typically, this input-output is addressed by training embedding models with paired data using contrastive learning. In this work, we propose a novel self-supervised approach, LLM2Vec-Gen, which adopts a different paradigm: rather than encoding the input, we learn to represent the model's potential response. Specifically, we add trainable special tokens to the LLM's vocabulary, append them to input, and optimize them to represent the LLM's response in a fixed-length sequence. Training is guided by the LLM's own completion for the query, along with an unsupervised embedding teacher that provides distillation targets. This formulation helps to bridge the input-output gap and transfers LLM capabilities such as safety alignment and reasoning to embedding tasks. Crucially, the LLM backbone remains frozen and training requires only unlabeled queries. LLM2Vec-Gen achieves state-of-the-art self-supervised performance on the Massive Text Embedding Benchmark (MTEB), improving by 9.3% over the best unsupervised embedding teacher. We also observe up to 43.2% reduction in harmful content retrieval and 29.3% improvement in reasoning capabilities for embedding tasks. Finally, the learned embeddings are interpretable and can be decoded into text to reveal their semantic content.