Réglage fin effectué correctement dans l'édition de modèles

papers.abstract

Le fine-tuning, une méthode fondamentale pour adapter les grands modèles de langage, a longtemps été considéré comme inefficace pour la modification de modèles. Ici, nous remettons en question cette croyance, en arguant que l'échec rapporté ne découle pas d'une limitation inhérente au fine-tuning lui-même, mais de son adaptation à la nature séquentielle de la tâche de modification, un pipeline en profondeur d'abord en une seule passe qui optimise chaque échantillon jusqu'à convergence avant de passer au suivant. Bien qu'intuitif, ce pipeline en profondeur d'abord couplé à une mise à jour échantillon par échantillon sur-optimise chaque modification et induit des interférences entre les modifications. Nos expériences contrôlées révèlent que le simple rétablissement du fine-tuning au pipeline standard en largeur d'abord (c'est-à-dire basé sur les époques) avec une optimisation par mini-lots améliore considérablement son efficacité pour la modification de modèles. De plus, le fine-tuning dans la modification souffre également de localisations sous-optimales des paramètres de réglage héritées des méthodes précédentes. À travers une analyse systématique des localisations de réglage, nous dérivons LocFT-BF, une méthode de modification localisée simple et efficace construite sur le cadre de fine-tuning rétabli. Des expériences approfondies sur divers modèles de langage et ensembles de données démontrent que LocFT-BF surpasse les méthodes de pointe par de larges marges. Notamment, à notre connaissance, c'est la première méthode à soutenir 100 000 modifications et des modèles de 72 milliards de paramètres, 10 fois au-delà des pratiques précédentes, sans sacrifier les capacités générales. En clarifiant une idée fausse de longue date et en introduisant une stratégie de réglage localisée fondée sur des principes, nous faisons progresser le fine-tuning d'une base sous-estimée à une méthode de premier plan pour la modification de modèles, établissant une base solide pour les recherches futures.

English

Fine-tuning, a foundational method for adapting large language models, has long been considered ineffective for model editing. Here, we challenge this belief, arguing that the reported failure arises not from the inherent limitation of fine-tuning itself, but from adapting it to the sequential nature of the editing task, a single-pass depth-first pipeline that optimizes each sample to convergence before moving on. While intuitive, this depth-first pipeline coupled with sample-wise updating over-optimizes each edit and induces interference across edits. Our controlled experiments reveal that simply restoring fine-tuning to the standard breadth-first (i.e., epoch-based) pipeline with mini-batch optimization substantially improves its effectiveness for model editing. Moreover, fine-tuning in editing also suffers from suboptimal tuning parameter locations inherited from prior methods. Through systematic analysis of tuning locations, we derive LocFT-BF, a simple and effective localized editing method built on the restored fine-tuning framework. Extensive experiments across diverse LLMs and datasets demonstrate that LocFT-BF outperforms state-of-the-art methods by large margins. Notably, to our knowledge, it is the first to sustain 100K edits and 72B-parameter models,10 x beyond prior practice, without sacrificing general capabilities. By clarifying a long-standing misconception and introducing a principled localized tuning strategy, we advance fine-tuning from an underestimated baseline to a leading method for model editing, establishing a solid foundation for future research.

Réglage fin effectué correctement dans l'édition de modèles

Fine-tuning Done Right in Model Editing

papers.abstract

Support