Vector-ICL : Apprentissage en contexte avec des représentations vectorielles continues

Vector-ICL: In-context Learning with Continuous Vector Representations

October 8, 2024

Auteurs: Yufan Zhuang, Chandan Singh, Liyuan Liu, Jingbo Shang, Jianfeng Gao

cs.AI

Résumé

Les grands modèles de langage (LLM) ont montré des capacités remarquables d'apprentissage en contexte (ICL) sur des données textuelles. Nous explorons si ces capacités peuvent être étendues à des vecteurs continus provenant de domaines divers, obtenus à partir d'encodeurs pré-entraînés en boîte noire. En alignant les données d'entrée avec l'espace d'incorporation d'un LLM grâce à des projecteurs légers, nous observons que les LLM peuvent traiter efficacement et apprendre à partir de ces vecteurs projetés, que nous appelons Vector-ICL. En particulier, nous constatons que la pré-formation des projecteurs avec des objectifs généraux de modélisation de langage permet Vector-ICL, tandis que le fine-tuning spécifique à la tâche améliore encore les performances. Dans nos expériences sur diverses tâches et modalités, y compris la reconstruction de texte, la régression de fonctions numériques, la classification de texte, la résumé, la légende de molécules, la classification de séries temporelles, la classification de graphes et le décodage d'IRMf, Vector-ICL dépasse souvent à la fois l'ICL à quelques coups et le modèle ou l'ajustement spécifique au domaine. Nous menons en outre des analyses et des études de cas, indiquant le potentiel des LLM à traiter des représentations vectorielles au-delà des paradigmes traditionnels basés sur des jetons.

English

Large language models (LLMs) have shown remarkable in-context learning (ICL) capabilities on textual data. We explore whether these capabilities can be extended to continuous vectors from diverse domains, obtained from black-box pretrained encoders. By aligning input data with an LLM's embedding space through lightweight projectors, we observe that LLMs can effectively process and learn from these projected vectors, which we term Vector-ICL. In particular, we find that pretraining projectors with general language modeling objectives enables Vector-ICL, while task-specific finetuning further enhances performance. In our experiments across various tasks and modalities, including text reconstruction, numerical function regression, text classification, summarization, molecule captioning, time-series classification, graph classification, and fMRI decoding, Vector-ICL often surpasses both few-shot ICL and domain-specific model or tuning. We further conduct analyses and case studies, indicating the potential of LLMs to process vector representations beyond traditional token-based paradigms.