PEFT-Arena: Comprendiendo el Ajuste Fino Eficiente en Parámetros desde una Perspectiva de Estabilidad-Plasticidad

Resumen

El ajuste fino eficiente en parámetros (PEFT, por sus siglas en inglés) se ha convertido en el enfoque estándar para adaptar modelos de lenguaje grandes, pero las evaluaciones enfatizan en gran medida la precisión en tareas posteriores mientras pasan por alto la retención de capacidades preentrenadas. Sostenemos que PEFT debería evaluarse a través del dilema estabilidad-plasticidad: el equilibrio entre la adaptación a la tarea objetivo y la resistencia al olvido. Presentamos PEFT-Arena, un punto de referencia que mide conjuntamente el rendimiento en tareas posteriores y la retención de capacidades generales. A través de los métodos, encontramos perfiles de estabilidad-plasticidad distintos; bajo presupuestos de parámetros comparables, el ajuste fino ortogonal logra la frontera de Pareto más favorable. Para explicar estas diferencias, analizamos las actualizaciones de PEFT desde dos perspectivas geométricas. En el espacio de pesos, el análisis espectral revela cómo las parametrizaciones interactúan con la estructura de valores singulares preentrenada. En el espacio de activaciones, las métricas de retención muestran si el ajuste fino preserva o distorsiona las representaciones de capacidades generales, con el olvido vinculado a la distorsión de representación no isométrica. Finalmente, un análisis muestra que los puntos de control finales de SFT a menudo sobrepasan un mejor punto operativo de retención objetivo. Inspirados por esto, presentamos estudios de caso de una mejora post-hoc con rebobinado por trayectoria.

English

Parameter-efficient finetuning (PEFT) has become the standard approach for adapting large language models, yet evaluations largely emphasize downstream accuracy while overlooking the retention of pretrained capabilities. We argue that PEFT should be assessed through the stability-plasticity dilemma: the trade-off between target-task adaptation and resistance to forgetting. We introduce PEFT-Arena, a benchmark that jointly measures downstream performance and general capability retention. Across methods, we find distinct stability-plasticity profiles; under comparable parameter budgets, orthogonal finetuning achieves the most favorable Pareto frontier. To explain these differences, we analyze PEFT updates from two geometric perspectives. In weight space, spectral analysis reveals how parameterizations interact with the pretrained singular-value structure. In activation space, retention metrics show whether finetuning preserves or distorts general-capability representations, with forgetting linked to non-isometric representation distortion. Finally, an analysis shows that final SFT checkpoints often overshoot a better target-retention operating point. Inspired by this, we present case studies of a post-hoc improvement with path-wise rewinding.