Векторное обучение в контексте: обучение с непрерывными векторными представлениями

Vector-ICL: In-context Learning with Continuous Vector Representations

October 8, 2024

Авторы: Yufan Zhuang, Chandan Singh, Liyuan Liu, Jingbo Shang, Jianfeng Gao

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали выдающиеся возможности контекстного обучения (ICL) на текстовых данных. Мы исследуем, могут ли эти возможности быть расширены на непрерывные векторы из различных областей, полученные из предварительно обученных кодировщиков "черного ящика". Выравнивая входные данные с пространством вложений LLM с помощью легких проекторов, мы наблюдаем, что LLM могут эффективно обрабатывать и учиться на этих отображенных векторах, которые мы называем Векторным ICL. В частности, мы обнаружили, что предварительное обучение проекторов с общими целями языкового моделирования позволяет Векторному ICL, в то время как дальнейшая настройка под конкретную задачу дополнительно улучшает производительность. В наших экспериментах по различным задачам и модальностям, включая восстановление текста, регрессию числовых функций, классификацию текста, суммаризацию, подписывание молекул, классификацию временных рядов, классификацию графов и декодирование fMRI, Векторный ICL часто превосходит как ICL с небольшим числом обучающих примеров, так и модели или настройки, специфичные для области. Мы также проводим анализы и кейс-стади, указывающие на потенциал LLM в обработке векторных представлений за пределами традиционных токен-основанных парадигм.

English

Large language models (LLMs) have shown remarkable in-context learning (ICL) capabilities on textual data. We explore whether these capabilities can be extended to continuous vectors from diverse domains, obtained from black-box pretrained encoders. By aligning input data with an LLM's embedding space through lightweight projectors, we observe that LLMs can effectively process and learn from these projected vectors, which we term Vector-ICL. In particular, we find that pretraining projectors with general language modeling objectives enables Vector-ICL, while task-specific finetuning further enhances performance. In our experiments across various tasks and modalities, including text reconstruction, numerical function regression, text classification, summarization, molecule captioning, time-series classification, graph classification, and fMRI decoding, Vector-ICL often surpasses both few-shot ICL and domain-specific model or tuning. We further conduct analyses and case studies, indicating the potential of LLMs to process vector representations beyond traditional token-based paradigms.