LLMs de Arrastar e Soltar: Prompt-para-Pesos em Zero-Shot

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

June 19, 2025

Autores: Zhiyuan Liang, Dongwen Tang, Yuhao Zhou, Xuanlei Zhao, Mingjia Shi, Wangbo Zhao, Zekai Li, Peihao Wang, Konstantin Schürholt, Damian Borth, Michael M. Bronstein, Yang You, Zhangyang Wang, Kai Wang

cs.AI

Resumo

Métodos modernos de Fine-Tuning Eficiente em Parâmetros (PEFT), como a adaptação de baixo posto (LoRA), reduzem o custo de personalização de grandes modelos de linguagem (LLMs), mas ainda exigem uma execução de otimização separada para cada conjunto de dados downstream. Apresentamos os LLMs Drag-and-Drop (\textit{DnD}), um gerador de parâmetros condicionado por prompt que elimina o treinamento por tarefa ao mapear um punhado de prompts não rotulados diretamente para atualizações de pesos LoRA. Um codificador de texto leve destila cada lote de prompts em embeddings de condição, que são então transformados por um decodificador hiper-convolucional em cascata no conjunto completo de matrizes LoRA. Uma vez treinado em uma coleção diversificada de pares prompt-checkpoint, o DnD produz parâmetros específicos para tarefas em segundos, resultando em i) uma sobrecarga até 12.000 vezes menor do que o fine-tuning completo, ii) ganhos médios de até 30\% no desempenho em relação aos LoRAs de treinamento mais fortes em benchmarks de raciocínio de senso comum, matemática, codificação e multimodalidade não vistos, e iii) generalização robusta entre domínios, apesar de nunca ter visto os dados ou rótulos de destino. Nossos resultados demonstram que a geração de parâmetros condicionada por prompt é uma alternativa viável à adaptação baseada em gradiente para especializar rapidamente LLMs. Nosso projeto está disponível em https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.

English

Modern Parameter-Efficient Fine-Tuning (PEFT) methods such as low-rank adaptation (LoRA) reduce the cost of customizing large language models (LLMs), yet still require a separate optimization run for every downstream dataset. We introduce Drag-and-Drop LLMs (\textit{DnD)}, a prompt-conditioned parameter generator that eliminates per-task training by mapping a handful of unlabeled task prompts directly to LoRA weight updates. A lightweight text encoder distills each prompt batch into condition embeddings, which are then transformed by a cascaded hyper-convolutional decoder into the full set of LoRA matrices. Once trained in a diverse collection of prompt-checkpoint pairs, DnD produces task-specific parameters in seconds, yielding i) up to 12,000times lower overhead than full fine-tuning, ii) average gains up to 30\% in performance over the strongest training LoRAs on unseen common-sense reasoning, math, coding, and multimodal benchmarks, and iii) robust cross-domain generalization despite never seeing the target data or labels. Our results demonstrate that prompt-conditioned parameter generation is a viable alternative to gradient-based adaptation for rapidly specializing LLMs. Our project is available at https://jerryliang24.github.io/DnD{https://jerryliang24.github.io/DnD}.