Transformer Copilot: LLM 미세 조정에서의 오류 로그 학습

Transformer Copilot: Learning from The Mistake Log in LLM Fine-tuning

May 22, 2025

저자: Jiaru Zou, Yikun Ban, Zihao Li, Yunzhe Qi, Ruizhong Qiu, Ling Yang, Jingrui He

cs.AI

초록

대규모 언어 모델은 일반적으로 도메인 특화 데이터에 대한 지도 미세 조정을 통해 다운스트림 작업에 적응됩니다. 표준 미세 조정은 생성 손실을 최소화하여 모델 파라미터를 최적화하는 데 초점을 맞추지만, 우리는 인간 학습자가 과거 실수를 반영하여 미래 성능을 개선하는 방식과 유사하게, 모델 자체의 학습 신호를 유지하고 활용하는 더 깊은 단계를 거칩니다. 먼저, 미세 조정 과정에서 모델의 학습 행동과 반복되는 오류를 체계적으로 추적하기 위해 '실수 로그(Mistake Log)' 개념을 도입합니다. 원래의 트랜스포머 기반 모델을 '파일럿(Pilot)'으로 간주하고, 이에 상응하여 '코파일럿(Copilot)' 모델을 설계하여 파일럿의 추론 성능을 로짓 정제를 통해 개선합니다. 우리는 이 전체 파일럿-코파일럿 프레임워크를 '트랜스포머 코파일럿(Transformer Copilot)'으로 명명하며, 이는 (i) 새로운 코파일럿 모델 설계, (ii) 코파일럿이 파일럿과 함께 진화하는 실수 로그로부터 지속적으로 학습하는 공동 훈련 패러다임, 그리고 (iii) 코파일럿이 파일럿의 로짓을 정제하여 향상된 생성을 가능하게 하는 융합 추론 패러다임을 도입합니다. 우리는 이 새로운 학습 프레임워크에 대한 이론적 및 실증적 분석을 제공합니다. 상식, 산술, 추천 작업을 아우르는 12개의 벤치마크에서의 실험 결과, 트랜스포머 코파일럿은 최대 34.5%의 성능 향상을 일관되게 보여주며, 파일럿 모델에 미미한 계산 오버헤드만을 추가하면서도 강력한 확장성과 전이성을 나타냅니다.

English

Large language models are typically adapted to downstream tasks through supervised fine-tuning on domain-specific data. While standard fine-tuning focuses on minimizing generation loss to optimize model parameters, we take a deeper step by retaining and leveraging the model's own learning signals, analogous to how human learners reflect on past mistakes to improve future performance. We first introduce the concept of Mistake Log to systematically track the model's learning behavior and recurring errors throughout fine-tuning. Treating the original transformer-based model as the Pilot, we correspondingly design a Copilot model to refine the Pilot's inference performance via logits rectification. We name the overall Pilot-Copilot framework the Transformer Copilot, which introduces (i) a novel Copilot model design, (ii) a joint training paradigm where the Copilot continuously learns from the evolving Mistake Log alongside the Pilot, and (iii) a fused inference paradigm where the Copilot rectifies the Pilot's logits for enhanced generation. We provide both theoretical and empirical analyses on our new learning framework. Experiments on 12 benchmarks spanning commonsense, arithmetic, and recommendation tasks demonstrate that Transformer Copilot consistently improves performance by up to 34.5%, while introducing marginal computational overhead to Pilot models and exhibiting strong scalability and transferability.