ベクトル-ICL: 連続ベクトル表現を用いた文脈学習

Vector-ICL: In-context Learning with Continuous Vector Representations

October 8, 2024

著者: Yufan Zhuang, Chandan Singh, Liyuan Liu, Jingbo Shang, Jianfeng Gao

cs.AI

要旨

大規模言語モデル（LLMs）は、テキストデータにおける文脈学習（ICL）能力において顕著な成果を示しています。我々は、これらの能力が、ブラックボックスの事前学習エンコーダから得られた多様なドメインの連続ベクトルにも拡張可能かどうかを探究します。軽量なプロジェクタを介して入力データをLLMの埋め込み空間に整列させることで、LLMsがこれらの射影されたベクトルを効果的に処理し、学習できることを観察しました。これをVector-ICLと呼びます。特に、一般的な言語モデリング目的でプロジェクタを事前学習することが、Vector-ICLを可能にし、タスク固有のファインチューニングはさらなるパフォーマンス向上につながります。様々なタスクやモダリティを対象とした実験において、テキスト再構築、数値関数回帰、テキスト分類、要約、分子キャプショニング、時系列分類、グラフ分類、fMRIデコーディングなどで、Vector-ICLはしばしば少数ショットICLや特定ドメインのモデルや調整を上回ることがあります。さらに、分析や事例研究を行い、LLMsが従来のトークンベースのパラダイムを超えたベクトル表現を処理する可能性を示しています。

English

Large language models (LLMs) have shown remarkable in-context learning (ICL) capabilities on textual data. We explore whether these capabilities can be extended to continuous vectors from diverse domains, obtained from black-box pretrained encoders. By aligning input data with an LLM's embedding space through lightweight projectors, we observe that LLMs can effectively process and learn from these projected vectors, which we term Vector-ICL. In particular, we find that pretraining projectors with general language modeling objectives enables Vector-ICL, while task-specific finetuning further enhances performance. In our experiments across various tasks and modalities, including text reconstruction, numerical function regression, text classification, summarization, molecule captioning, time-series classification, graph classification, and fMRI decoding, Vector-ICL often surpasses both few-shot ICL and domain-specific model or tuning. We further conduct analyses and case studies, indicating the potential of LLMs to process vector representations beyond traditional token-based paradigms.