PAFT: Ajuste Fino Independiente del Prompt

Resumen

Si bien los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) se adaptan bien a tareas posteriores después del ajuste fino, esta adaptabilidad a menudo compromete la robustez de los prompts, ya que incluso variaciones menores en los prompts pueden degradar significativamente el rendimiento. Para abordar esto, proponemos el Ajuste Fino Independiente del Prompt (PAFT, por sus siglas en inglés), un enfoque simple pero efectivo que ajusta dinámicamente los prompts durante el ajuste fino. Esto fomenta que el modelo aprenda los principios subyacentes de la tarea en lugar de sobreajustarse a formulaciones específicas de prompts. PAFT opera en dos etapas: primero, se construye un conjunto diverso de prompts candidatos sintéticos y significativos. Segundo, durante el ajuste fino, los prompts se muestrean aleatoriamente de este conjunto para crear entradas de entrenamiento dinámicas. Experimentos exhaustivos en diversos conjuntos de datos y LLMs demuestran que los modelos entrenados con PAFT exhiben una fuerte robustez y generalización en una amplia gama de prompts, incluyendo aquellos no vistos previamente. Esta robustez mejorada aumenta tanto el rendimiento del modelo como la velocidad de inferencia, manteniendo la eficiencia del entrenamiento. Estudios de ablación confirman además la efectividad de PAFT.

English

While Large Language Models (LLMs) adapt well to downstream tasks after fine-tuning, this adaptability often compromises prompt robustness, as even minor prompt variations can significantly degrade performance. To address this, we propose Prompt-Agnostic Fine-Tuning(PAFT), a simple yet effective approach that dynamically adjusts prompts during fine-tuning. This encourages the model to learn underlying task principles rather than overfitting to specific prompt formulations. PAFT operates in two stages: First, a diverse set of meaningful, synthetic candidate prompts is constructed. Second, during fine-tuning, prompts are randomly sampled from this set to create dynamic training inputs. Extensive experiments across diverse datasets and LLMs demonstrate that models trained with PAFT exhibit strong robustness and generalization across a wide range of prompts, including unseen ones. This enhanced robustness improves both model performance and inference speed while maintaining training efficiency. Ablation studies further confirm the effectiveness of PAFT.

PAFT: Ajuste Fino Independiente del Prompt

PAFT: Prompt-Agnostic Fine-Tuning

Resumen

Support