LLM Drag-and-Drop: Prompt-to-Weights in Modalità Zero-Shot

Abstract

I moderni metodi di fine-tuning efficiente in termini di parametri (PEFT), come l'adattamento a basso rango (LoRA), riducono il costo di personalizzazione dei grandi modelli linguistici (LLM), ma richiedono comunque un'ottimizzazione separata per ogni dataset downstream. Introduciamo Drag-and-Drop LLMs (\textit{DnD}), un generatore di parametri condizionato da prompt che elimina l'addestramento per ogni task mappando una manciata di prompt non etichettati direttamente agli aggiornamenti dei pesi LoRA. Un encoder di testo leggero distilla ogni batch di prompt in embedding condizionati, che vengono poi trasformati da un decoder iper-convoluzionale a cascata nell'intero set di matrici LoRA. Una volta addestrato su una raccolta diversificata di coppie prompt-checkpoint, DnD produce parametri specifici per il task in pochi secondi, ottenendo i) un overhead fino a 12.000 volte inferiore rispetto al fine-tuning completo, ii) miglioramenti medi fino al 30\% nelle prestazioni rispetto ai LoRA addestrati più forti su benchmark di ragionamento di senso comune, matematica, codifica e multimodalità non visti, e iii) una robusta generalizzazione cross-domain nonostante non abbia mai visto i dati o le etichette target. I nostri risultati dimostrano che la generazione di parametri condizionata da prompt è un'alternativa valida all'adattamento basato su gradienti per specializzare rapidamente gli LLM. Il nostro progetto è disponibile all'indirizzo https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.

English

Modern Parameter-Efficient Fine-Tuning (PEFT) methods such as low-rank adaptation (LoRA) reduce the cost of customizing large language models (LLMs), yet still require a separate optimization run for every downstream dataset. We introduce Drag-and-Drop LLMs (\textit{DnD)}, a prompt-conditioned parameter generator that eliminates per-task training by mapping a handful of unlabeled task prompts directly to LoRA weight updates. A lightweight text encoder distills each prompt batch into condition embeddings, which are then transformed by a cascaded hyper-convolutional decoder into the full set of LoRA matrices. Once trained in a diverse collection of prompt-checkpoint pairs, DnD produces task-specific parameters in seconds, yielding i) up to 12,000times lower overhead than full fine-tuning, ii) average gains up to 30\% in performance over the strongest training LoRAs on unseen common-sense reasoning, math, coding, and multimodal benchmarks, and iii) robust cross-domain generalization despite never seeing the target data or labels. Our results demonstrate that prompt-conditioned parameter generation is a viable alternative to gradient-based adaptation for rapidly specializing LLMs. Our project is available at https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.

LLM Drag-and-Drop: Prompt-to-Weights in Modalità Zero-Shot

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

Abstract

Support