Vector-ICL: In-context leren met continue vectorrepresentaties

Vector-ICL: In-context Learning with Continuous Vector Representations

October 8, 2024

Auteurs: Yufan Zhuang, Chandan Singh, Liyuan Liu, Jingbo Shang, Jianfeng Gao

cs.AI

Samenvatting

Grote taalmodellen (LLM's) hebben opmerkelijke in-context leren (ICL) capaciteiten laten zien op tekstuele data. We onderzoeken of deze capaciteiten kunnen worden uitgebreid naar continue vectoren uit diverse domeinen, verkregen van black-box voortrainde encoders. Door invoergegevens af te stemmen op de insluitruimte van een LLM via lichtgewicht projectoren, observeren we dat LLM's effectief kunnen verwerken en leren van deze geprojecteerde vectoren, wat we Vector-ICL noemen. In het bijzonder ontdekken we dat het voortrainen van projectoren met algemene taalmodelleerdoelstellingen Vector-ICL mogelijk maakt, terwijl taakspecifieke finetuning de prestaties verder verbetert. In onze experimenten over verschillende taken en modaliteiten, waaronder tekstreconstructie, numerieke functieregressie, tekstclassificatie, samenvatting, moleculaire bijschriften, tijdreeksclassificatie, grafiekclassificatie en fMRI-decodering, overtreft Vector-ICL vaak zowel weinig-opnames ICL als domeinspecifieke modellen of afstemming. We voeren verder analyses en casestudies uit, die wijzen op het potentieel van LLM's om vectorrepresentaties te verwerken buiten traditionele op tokens gebaseerde paradigma's.

English

Large language models (LLMs) have shown remarkable in-context learning (ICL) capabilities on textual data. We explore whether these capabilities can be extended to continuous vectors from diverse domains, obtained from black-box pretrained encoders. By aligning input data with an LLM's embedding space through lightweight projectors, we observe that LLMs can effectively process and learn from these projected vectors, which we term Vector-ICL. In particular, we find that pretraining projectors with general language modeling objectives enables Vector-ICL, while task-specific finetuning further enhances performance. In our experiments across various tasks and modalities, including text reconstruction, numerical function regression, text classification, summarization, molecule captioning, time-series classification, graph classification, and fMRI decoding, Vector-ICL often surpasses both few-shot ICL and domain-specific model or tuning. We further conduct analyses and case studies, indicating the potential of LLMs to process vector representations beyond traditional token-based paradigms.