Vector-ICL: Aprendizado em Contexto com Representações Vetoriais Contínuas

Vector-ICL: In-context Learning with Continuous Vector Representations

October 8, 2024

Autores: Yufan Zhuang, Chandan Singh, Liyuan Liu, Jingbo Shang, Jianfeng Gao

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) têm mostrado notáveis capacidades de aprendizado em contexto (ICL) em dados textuais. Exploramos se essas capacidades podem ser estendidas para vetores contínuos de diversos domínios, obtidos de codificadores pré-treinados caixa-preta. Ao alinhar os dados de entrada com o espaço de incorporação de um LLM por meio de projetores leves, observamos que os LLMs podem processar e aprender de forma eficaz a partir desses vetores projetados, que denominamos Vetor-ICL. Em particular, descobrimos que o pré-treinamento dos projetores com objetivos gerais de modelagem de linguagem possibilita o Vetor-ICL, enquanto o ajuste fino específico da tarefa melhora ainda mais o desempenho. Em nossos experimentos em várias tarefas e modalidades, incluindo reconstrução de texto, regressão de funções numéricas, classificação de texto, sumarização, legenda de moléculas, classificação de séries temporais, classificação de grafos e decodificação de fMRI, o Vetor-ICL frequentemente supera tanto o ICL de poucas amostras quanto modelos ou ajustes específicos de domínio. Realizamos ainda análises e estudos de caso, indicando o potencial dos LLMs para processar representações vetoriais além dos paradigmas tradicionais baseados em tokens.

English

Large language models (LLMs) have shown remarkable in-context learning (ICL) capabilities on textual data. We explore whether these capabilities can be extended to continuous vectors from diverse domains, obtained from black-box pretrained encoders. By aligning input data with an LLM's embedding space through lightweight projectors, we observe that LLMs can effectively process and learn from these projected vectors, which we term Vector-ICL. In particular, we find that pretraining projectors with general language modeling objectives enables Vector-ICL, while task-specific finetuning further enhances performance. In our experiments across various tasks and modalities, including text reconstruction, numerical function regression, text classification, summarization, molecule captioning, time-series classification, graph classification, and fMRI decoding, Vector-ICL often surpasses both few-shot ICL and domain-specific model or tuning. We further conduct analyses and case studies, indicating the potential of LLMs to process vector representations beyond traditional token-based paradigms.