Vektor-ICL: Lernen im Kontext mit kontinuierlichen Vektorrepräsentationen

Vector-ICL: In-context Learning with Continuous Vector Representations

October 8, 2024

Autoren: Yufan Zhuang, Chandan Singh, Liyuan Liu, Jingbo Shang, Jianfeng Gao

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten zum kontextbezogenen Lernen (ICL) auf textuellen Daten gezeigt. Wir untersuchen, ob diese Fähigkeiten auf kontinuierliche Vektoren aus verschiedenen Domänen erweitert werden können, die von Black-Box-vortrainierten Encodern erhalten wurden. Durch die Ausrichtung der Eingabedaten mit dem Einbettungsraum eines LLMs mittels leichtgewichtiger Projektoren stellen wir fest, dass LLMs diese projizierten Vektoren effektiv verarbeiten und lernen können, was wir als Vektor-ICL bezeichnen. Insbesondere stellen wir fest, dass das Vortrainieren von Projektoren mit allgemeinen sprachmodellierenden Zielen Vektor-ICL ermöglicht, während eine aufgabenbezogene Feinabstimmung die Leistung weiter verbessert. In unseren Experimenten über verschiedene Aufgaben und Modalitäten, einschließlich Textrekonstruktion, numerischer Funktionsregression, Textklassifikation, Zusammenfassung, Molekülbeschriftung, Zeitreihenklassifikation, Graphenklassifikation und fMRI-Dekodierung, übertrifft Vektor-ICL oft sowohl ICL mit wenigen Daten als auch domänenspezifische Modelle oder Feinabstimmungen. Wir führen außerdem Analysen und Fallstudien durch, die auf das Potenzial von LLMs hinweisen, Vektorrepräsentationen jenseits traditioneller tokenbasierter Paradigmen zu verarbeiten.

English

Large language models (LLMs) have shown remarkable in-context learning (ICL) capabilities on textual data. We explore whether these capabilities can be extended to continuous vectors from diverse domains, obtained from black-box pretrained encoders. By aligning input data with an LLM's embedding space through lightweight projectors, we observe that LLMs can effectively process and learn from these projected vectors, which we term Vector-ICL. In particular, we find that pretraining projectors with general language modeling objectives enables Vector-ICL, while task-specific finetuning further enhances performance. In our experiments across various tasks and modalities, including text reconstruction, numerical function regression, text classification, summarization, molecule captioning, time-series classification, graph classification, and fMRI decoding, Vector-ICL often surpasses both few-shot ICL and domain-specific model or tuning. We further conduct analyses and case studies, indicating the potential of LLMs to process vector representations beyond traditional token-based paradigms.