Ajuste Fino Feito Corretamente na Edição de Modelos

Fine-tuning Done Right in Model Editing

September 26, 2025

Autores: Wanli Yang, Fei Sun, Rui Tang, Hongyu Zang, Du Su, Qi Cao, Jingang Wang, Huawei Shen, Xueqi Cheng

cs.AI

Resumo

O fine-tuning, um método fundamental para adaptar grandes modelos de linguagem, há muito tempo é considerado ineficaz para a edição de modelos. Aqui, desafiamos essa crença, argumentando que o fracasso relatado não surge de uma limitação inerente ao próprio fine-tuning, mas da adaptação dele à natureza sequencial da tarefa de edição, um pipeline de aprofundamento único que otimiza cada amostra até a convergência antes de prosseguir. Embora intuitivo, esse pipeline de aprofundamento, combinado com atualizações por amostra, superotimiza cada edição e induz interferência entre as edições. Nossos experimentos controlados revelam que simplesmente restaurar o fine-tuning ao pipeline padrão de ampliação (ou seja, baseado em épocas) com otimização em mini-lotes melhora substancialmente sua eficácia para a edição de modelos. Além disso, o fine-tuning na edição também sofre com locais de parâmetros de ajuste subótimos herdados de métodos anteriores. Por meio de uma análise sistemática dos locais de ajuste, derivamos o LocFT-BF, um método de edição localizado simples e eficaz construído sobre o framework de fine-tuning restaurado. Experimentos extensos em diversos LLMs e conjuntos de dados demonstram que o LocFT-BF supera os métodos state-of-the-art por grandes margens. Notavelmente, até onde sabemos, é o primeiro a sustentar 100 mil edições e modelos com 72 bilhões de parâmetros, 10 vezes além da prática anterior, sem sacrificar capacidades gerais. Ao esclarecer um equívoco de longa data e introduzir uma estratégia de ajuste localizado fundamentada, elevamos o fine-tuning de uma linha de base subestimada a um método líder para edição de modelos, estabelecendo uma base sólida para pesquisas futuras.

English

Fine-tuning, a foundational method for adapting large language models, has long been considered ineffective for model editing. Here, we challenge this belief, arguing that the reported failure arises not from the inherent limitation of fine-tuning itself, but from adapting it to the sequential nature of the editing task, a single-pass depth-first pipeline that optimizes each sample to convergence before moving on. While intuitive, this depth-first pipeline coupled with sample-wise updating over-optimizes each edit and induces interference across edits. Our controlled experiments reveal that simply restoring fine-tuning to the standard breadth-first (i.e., epoch-based) pipeline with mini-batch optimization substantially improves its effectiveness for model editing. Moreover, fine-tuning in editing also suffers from suboptimal tuning parameter locations inherited from prior methods. Through systematic analysis of tuning locations, we derive LocFT-BF, a simple and effective localized editing method built on the restored fine-tuning framework. Extensive experiments across diverse LLMs and datasets demonstrate that LocFT-BF outperforms state-of-the-art methods by large margins. Notably, to our knowledge, it is the first to sustain 100K edits and 72B-parameter models,10 x beyond prior practice, without sacrificing general capabilities. By clarifying a long-standing misconception and introducing a principled localized tuning strategy, we advance fine-tuning from an underestimated baseline to a leading method for model editing, establishing a solid foundation for future research.