Перетаскивание и настройка LLM: Нулевой сдвиг от подсказки к весам

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

June 19, 2025

Авторы: Zhiyuan Liang, Dongwen Tang, Yuhao Zhou, Xuanlei Zhao, Mingjia Shi, Wangbo Zhao, Zekai Li, Peihao Wang, Konstantin Schürholt, Damian Borth, Michael M. Bronstein, Yang You, Zhangyang Wang, Kai Wang

cs.AI

Аннотация

Современные методы эффективной тонкой настройки параметров (Parameter-Efficient Fine-Tuning, PEFT), такие как адаптация с низким рангом (low-rank adaptation, LoRA), снижают затраты на адаптацию крупных языковых моделей (large language models, LLMs), однако по-прежнему требуют отдельного процесса оптимизации для каждого набора данных. Мы представляем Drag-and-Drop LLMs (\textit{DnD}) — генератор параметров, обусловленных промптами, который устраняет необходимость обучения для каждой задачи, преобразуя несколько немаркированных промптов задачи непосредственно в обновления весов LoRA. Легковесный текстовый кодировщик преобразует пакет промптов в условные эмбеддинги, которые затем трансформируются каскадным гипер-сверточным декодером в полный набор матриц LoRA. После обучения на разнообразной коллекции пар "промпт-чекпоинт" DnD генерирует специфичные для задачи параметры за секунды, обеспечивая: i) снижение накладных расходов до 12 000 раз по сравнению с полной тонкой настройкой, ii) средний прирост производительности до 30\% по сравнению с наиболее эффективными обученными LoRA на тестах по здравому смыслу, математике, программированию и мультимодальным задачам, а также iii) устойчивую кросс-доменную генерализацию, несмотря на отсутствие целевых данных или меток. Наши результаты демонстрируют, что генерация параметров, обусловленных промптами, является жизнеспособной альтернативой градиентной адаптации для быстрой специализации LLMs. Проект доступен по адресу https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.

English

Modern Parameter-Efficient Fine-Tuning (PEFT) methods such as low-rank adaptation (LoRA) reduce the cost of customizing large language models (LLMs), yet still require a separate optimization run for every downstream dataset. We introduce Drag-and-Drop LLMs (\textit{DnD)}, a prompt-conditioned parameter generator that eliminates per-task training by mapping a handful of unlabeled task prompts directly to LoRA weight updates. A lightweight text encoder distills each prompt batch into condition embeddings, which are then transformed by a cascaded hyper-convolutional decoder into the full set of LoRA matrices. Once trained in a diverse collection of prompt-checkpoint pairs, DnD produces task-specific parameters in seconds, yielding i) up to 12,000times lower overhead than full fine-tuning, ii) average gains up to 30\% in performance over the strongest training LoRAs on unseen common-sense reasoning, math, coding, and multimodal benchmarks, and iii) robust cross-domain generalization despite never seeing the target data or labels. Our results demonstrate that prompt-conditioned parameter generation is a viable alternative to gradient-based adaptation for rapidly specializing LLMs. Our project is available at https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.