LLMs par glisser-déposer : Prompt-to-Weights en Zero-Shot

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

June 19, 2025

Auteurs: Zhiyuan Liang, Dongwen Tang, Yuhao Zhou, Xuanlei Zhao, Mingjia Shi, Wangbo Zhao, Zekai Li, Peihao Wang, Konstantin Schürholt, Damian Borth, Michael M. Bronstein, Yang You, Zhangyang Wang, Kai Wang

cs.AI

Résumé

Les méthodes modernes de fine-tuning efficace en paramètres (PEFT) telles que l'adaptation de bas rang (LoRA) réduisent le coût de personnalisation des grands modèles de langage (LLM), mais nécessitent toujours une optimisation distincte pour chaque ensemble de données en aval. Nous introduisons Drag-and-Drop LLMs (\textit{DnD}), un générateur de paramètres conditionné par des prompts qui élimine l'entraînement par tâche en mappant une poignée de prompts non étiquetés directement à des mises à jour de poids LoRA. Un encodeur de texte léger distille chaque lot de prompts en embeddings de condition, qui sont ensuite transformés par un décodeur hyper-convolutionnel en cascade en l'ensemble complet des matrices LoRA. Une fois entraîné sur une collection diversifiée de paires prompt-checkpoint, DnD produit des paramètres spécifiques à la tâche en quelques secondes, offrant i) jusqu'à 12 000 fois moins de surcharge que le fine-tuning complet, ii) des gains moyens allant jusqu'à 30 % en performance par rapport aux LoRA les plus performants sur des benchmarks de raisonnement de bon sens, de mathématiques, de codage et multimodaux non vus, et iii) une généralisation robuste entre domaines malgré n'avoir jamais vu les données ou les étiquettes cibles. Nos résultats démontrent que la génération de paramètres conditionnée par des prompts est une alternative viable à l'adaptation basée sur le gradient pour spécialiser rapidement les LLM. Notre projet est disponible à l'adresse https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.

English

Modern Parameter-Efficient Fine-Tuning (PEFT) methods such as low-rank adaptation (LoRA) reduce the cost of customizing large language models (LLMs), yet still require a separate optimization run for every downstream dataset. We introduce Drag-and-Drop LLMs (\textit{DnD)}, a prompt-conditioned parameter generator that eliminates per-task training by mapping a handful of unlabeled task prompts directly to LoRA weight updates. A lightweight text encoder distills each prompt batch into condition embeddings, which are then transformed by a cascaded hyper-convolutional decoder into the full set of LoRA matrices. Once trained in a diverse collection of prompt-checkpoint pairs, DnD produces task-specific parameters in seconds, yielding i) up to 12,000times lower overhead than full fine-tuning, ii) average gains up to 30\% in performance over the strongest training LoRAs on unseen common-sense reasoning, math, coding, and multimodal benchmarks, and iii) robust cross-domain generalization despite never seeing the target data or labels. Our results demonstrate that prompt-conditioned parameter generation is a viable alternative to gradient-based adaptation for rapidly specializing LLMs. Our project is available at https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.