Drag-and-Drop LLM's: Zero-Shot Prompt-naar-Gewichten

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

June 19, 2025

Auteurs: Zhiyuan Liang, Dongwen Tang, Yuhao Zhou, Xuanlei Zhao, Mingjia Shi, Wangbo Zhao, Zekai Li, Peihao Wang, Konstantin Schürholt, Damian Borth, Michael M. Bronstein, Yang You, Zhangyang Wang, Kai Wang

cs.AI

Samenvatting

Moderne Parameter-Efficiënte Fine-Tuning (PEFT) methoden, zoals low-rank adaptation (LoRA), verlagen de kosten voor het aanpassen van grote taalmodellen (LLMs), maar vereisen nog steeds een aparte optimalisatierun voor elke downstream dataset. Wij introduceren Drag-and-Drop LLMs (\textit{DnD)}, een prompt-geconditioneerde parameter generator die per-taak training elimineert door een handvol ongelabelde taakprompts direct te mappen naar LoRA gewichtsaanpassingen. Een lichtgewicht tekst encoder destilleert elke prompt batch naar conditie-embeddings, die vervolgens getransformeerd worden door een gecascadeerde hyper-convolutionele decoder naar de volledige set van LoRA matrices. Eenmaal getraind in een diverse collectie van prompt-checkpoint paren, produceert DnD taakspecifieke parameters in seconden, wat resulteert in i) tot 12.000 keer lagere overhead dan volledige fine-tuning, ii) gemiddelde verbeteringen tot 30\% in prestaties ten opzichte van de sterkste getrainde LoRA's op onbekende common-sense redenering, wiskunde, codering en multimodale benchmarks, en iii) robuuste cross-domein generalisatie ondanks dat de doeldata of labels nooit zijn gezien. Onze resultaten tonen aan dat prompt-geconditioneerde parameter generatie een haalbaar alternatief is voor gradient-gebaseerde aanpassing voor het snel specialiseren van LLMs. Ons project is beschikbaar op https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.

English

Modern Parameter-Efficient Fine-Tuning (PEFT) methods such as low-rank adaptation (LoRA) reduce the cost of customizing large language models (LLMs), yet still require a separate optimization run for every downstream dataset. We introduce Drag-and-Drop LLMs (\textit{DnD)}, a prompt-conditioned parameter generator that eliminates per-task training by mapping a handful of unlabeled task prompts directly to LoRA weight updates. A lightweight text encoder distills each prompt batch into condition embeddings, which are then transformed by a cascaded hyper-convolutional decoder into the full set of LoRA matrices. Once trained in a diverse collection of prompt-checkpoint pairs, DnD produces task-specific parameters in seconds, yielding i) up to 12,000times lower overhead than full fine-tuning, ii) average gains up to 30\% in performance over the strongest training LoRAs on unseen common-sense reasoning, math, coding, and multimodal benchmarks, and iii) robust cross-domain generalization despite never seeing the target data or labels. Our results demonstrate that prompt-conditioned parameter generation is a viable alternative to gradient-based adaptation for rapidly specializing LLMs. Our project is available at https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.