Drag-and-Drop-LLMs: Zero-Shot-Prompt-zu-Gewichten

Zusammenfassung

Moderne Parameter-Efficient Fine-Tuning (PEFT)-Methoden wie Low-Rank Adaptation (LoRA) reduzieren die Kosten für die Anpassung großer Sprachmodelle (LLMs), erfordern jedoch weiterhin eine separate Optimierung für jeden nachgelagerten Datensatz. Wir stellen Drag-and-Drop LLMs (\textit{DnD}) vor, einen prompt-bedingten Parameter-Generator, der das Training pro Aufgabe überflüssig macht, indem er eine Handvoll ungelabelter Aufgaben-Prompts direkt auf LoRA-Gewichtsaktualisierungen abbildet. Ein leichtgewichtiger Text-Encoder verdichtet jeden Prompt-Batch in Bedingungs-Embeddings, die dann von einem kaskadierten hyper-konvolutionalen Decoder in den vollständigen Satz von LoRA-Matrizen transformiert werden. Nachdem DnD in einer vielfältigen Sammlung von Prompt-Checkpoint-Paaren trainiert wurde, erzeugt es aufgaben-spezifische Parameter in Sekunden, was i) bis zu 12.000-mal geringere Overhead-Kosten als vollständiges Fine-Tuning, ii) durchschnittliche Leistungssteigerungen von bis zu 30\% gegenüber den stärksten trainierten LoRAs bei ungesehenen Common-Sense-Reasoning-, Mathematik-, Coding- und multimodalen Benchmarks sowie iii) robuste domänenübergreifende Generalisierung trotz nie gesehener Ziel-Daten oder -Labels liefert. Unsere Ergebnisse zeigen, dass die prompt-bedingte Parameter-Generierung eine praktikable Alternative zur gradientenbasierten Anpassung für die schnelle Spezialisierung von LLMs darstellt. Unser Projekt ist verfügbar unter https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.

English

Modern Parameter-Efficient Fine-Tuning (PEFT) methods such as low-rank adaptation (LoRA) reduce the cost of customizing large language models (LLMs), yet still require a separate optimization run for every downstream dataset. We introduce Drag-and-Drop LLMs (\textit{DnD)}, a prompt-conditioned parameter generator that eliminates per-task training by mapping a handful of unlabeled task prompts directly to LoRA weight updates. A lightweight text encoder distills each prompt batch into condition embeddings, which are then transformed by a cascaded hyper-convolutional decoder into the full set of LoRA matrices. Once trained in a diverse collection of prompt-checkpoint pairs, DnD produces task-specific parameters in seconds, yielding i) up to 12,000times lower overhead than full fine-tuning, ii) average gains up to 30\% in performance over the strongest training LoRAs on unseen common-sense reasoning, math, coding, and multimodal benchmarks, and iii) robust cross-domain generalization despite never seeing the target data or labels. Our results demonstrate that prompt-conditioned parameter generation is a viable alternative to gradient-based adaptation for rapidly specializing LLMs. Our project is available at https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.

Drag-and-Drop-LLMs: Zero-Shot-Prompt-zu-Gewichten

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

Zusammenfassung

Support