재사용하지 않아야 할 때를 알기: 자율적 LLM 후속 학습에서의 조건부 경험 전이

초록

대규모 언어 모델은 광범위한 기능을 제공하지만, 진화하는 도메인·도구·요구사항에 적응시키기 위해서는 반복적인 사후 학습이 필요한 경우가 많다. 자율 시스템은 업데이트 제안, 학습 후보 생성, 평가 피드백을 활용한 후속 제안 선택 과정을 자동화함으로써 이 프로세스의 일부를 수행한다. 증거가 축적됨에 따라 핵심 문제가 대두된다: 후속 학습이 상위 모델을 변경한 이후에도 과거 업데이트 증거 중 어느 것이 여전히 실행 가능한가? 업데이트의 효과는 상위 모델, 데이터, 학습 단계에 의존한다. 과거의 성공을 맥락과 무관한 허가로 간주하면 컴퓨팅 자원이 낭비될 수 있다. 결과적으로 생성된 하위 모델이 승격될 경우, 이후의 학습 궤적 또한 저하될 수 있다. 우리는 이 문제를 조건부 경험 전이(conditional experience transfer)로 정식화하고, 가중치 변경 학습 이전에 경험 재사용을 승인하는 경계 보정 개입 전이(Boundary-Calibrated Intervention Transfer, BCIT) 방법을 소개한다. BCIT는 관찰된 효과를 해당 출처 맥락에 결부시키고, 적용 가능성 조건을 확인하며, 명명된 하드 충돌이 있는 후보를 거부하고, 필요 시 제한된 학습 시행을 통해 현재 상태의 증거를 확보한다. 완전히 학습된 후보는 여전히 공동 채택 규칙에 직면하며, 관찰된 사건만이 메모리를 확장한다. 금융 추론, 텍스트-투-SQL, 함수 호출 영역에 걸쳐 적응된 4B 모델 실험에서, 후보 업데이트는 평가된 맥락 전반에 걸쳐 이질적인 목표 효과와 유지 효과를 나타냈다. 일치된 후보, 증거, 컴퓨팅 조건에서 BCIT는 평가된 대안들보다 더 적은 유해 업데이트를 승인하고 더 높은 동일 예산 최종 모델 품질을 달성했다. 이러한 결과는 경험 승인을 자율 사후 학습에서의 별개의 문제로 취급해야 함을 뒷받침한다.

English

Large language models offer broad capabilities, but adapting them to evolving domains, tools, and requirements often entails repeated post-training. Autonomous systems automate parts of this process by proposing updates, training candidates, and using evaluation feedback to select subsequent proposals. As evidence accumulates, a central problem emerges: which past update evidence remains actionable after subsequent training has changed the parent model? An update's effect depends on its parent, data, and training stage. Treating past success as context-free permission can waste compute. If the resulting child is promoted, it can also degrade the subsequent training trajectory. We formulate this problem as conditional experience transfer and introduce Boundary-Calibrated Intervention Transfer (BCIT), a method that authorizes experience reuse before weight-changing training. BCIT binds an observed effect to its source context, checks applicability conditions, vetoes candidates with named hard conflicts, and obtains current-state evidence through a bounded training trial when needed. Fully trained candidates still face a shared adoption rule, and only observed events extend memory. On one 4B model adapted across finance reasoning, text-to-SQL, and function calling, candidate updates exhibit heterogeneous target and retention effects across the evaluated contexts. Under matched candidates, evidence, and compute, BCIT authorizes fewer harmful updates and attains higher equal-budget final-model quality than the evaluated alternatives. These results support treating experience authorization as a distinct problem in autonomous post-training.