Transformer Copilot: Lernen aus dem Fehlerprotokoll bei der Feinabstimmung von LLMs

Transformer Copilot: Learning from The Mistake Log in LLM Fine-tuning

May 22, 2025

Autoren: Jiaru Zou, Yikun Ban, Zihao Li, Yunzhe Qi, Ruizhong Qiu, Ling Yang, Jingrui He

cs.AI

Zusammenfassung

Große Sprachmodelle werden typischerweise durch überwachtes Feinabstimmen auf domänenspezifische Daten an nachgelagerte Aufgaben angepasst. Während sich das Standard-Feintuning darauf konzentriert, den Generierungsverlust zu minimieren, um die Modellparameter zu optimieren, gehen wir einen Schritt weiter, indem wir die eigenen Lernsignale des Modells beibehalten und nutzen, ähnlich wie menschliche Lernende aus vergangenen Fehlern reflektieren, um zukünftige Leistungen zu verbessern. Wir führen zunächst das Konzept des Fehlerprotokolls (Mistake Log) ein, um das Lernverhalten und wiederkehrende Fehler des Modells während des Feintunings systematisch zu verfolgen. Indem wir das ursprüngliche Transformer-basierte Modell als Pilot behandeln, entwerfen wir entsprechend ein Copilot-Modell, um die Inferenzleistung des Piloten durch Logits-Korrektur zu verfeinern. Wir nennen das gesamte Pilot-Copilot-Framework den Transformer Copilot, der (i) ein neuartiges Copilot-Modell-Design, (ii) ein gemeinsames Trainingsparadigma, bei dem der Copilot kontinuierlich aus dem sich entwickelnden Fehlerprotokoll neben dem Piloten lernt, und (iii) ein fusioniertes Inferenzparadigma, bei dem der Copilot die Logits des Piloten für eine verbesserte Generierung korrigiert, einführt. Wir liefern sowohl theoretische als auch empirische Analysen zu unserem neuen Lernframework. Experimente auf 12 Benchmarks, die Common Sense, Arithmetik und Empfehlungsaufgaben umfassen, zeigen, dass der Transformer Copilot die Leistung kontinuierlich um bis zu 34,5 % verbessert, während er nur marginalen Rechenaufwand für Pilotmodelle einführt und starke Skalierbarkeit und Übertragbarkeit aufweist.

English

Large language models are typically adapted to downstream tasks through supervised fine-tuning on domain-specific data. While standard fine-tuning focuses on minimizing generation loss to optimize model parameters, we take a deeper step by retaining and leveraging the model's own learning signals, analogous to how human learners reflect on past mistakes to improve future performance. We first introduce the concept of Mistake Log to systematically track the model's learning behavior and recurring errors throughout fine-tuning. Treating the original transformer-based model as the Pilot, we correspondingly design a Copilot model to refine the Pilot's inference performance via logits rectification. We name the overall Pilot-Copilot framework the Transformer Copilot, which introduces (i) a novel Copilot model design, (ii) a joint training paradigm where the Copilot continuously learns from the evolving Mistake Log alongside the Pilot, and (iii) a fused inference paradigm where the Copilot rectifies the Pilot's logits for enhanced generation. We provide both theoretical and empirical analyses on our new learning framework. Experiments on 12 benchmarks spanning commonsense, arithmetic, and recommendation tasks demonstrate that Transformer Copilot consistently improves performance by up to 34.5%, while introducing marginal computational overhead to Pilot models and exhibiting strong scalability and transferability.