테스트 시점의 AI4AI: 하네스를 통한 강→약 능력 전이

초록

최근 증류에 관한 연구는 대형 모델의 능력을 더 작은 모델로 전이하는 방법을 다루며, 주로 교사 강제(teacher forcing), 온-폴리시 증류(on-policy distillation), 그리고 이와 관련된 학습 시점(train-time) 기법을 통해 후자의 파라미터를 업데이트하는 방식으로 이루어진다. 본 논문에서는 이러한 전이가 대신 테스트 시점에 일어날 수 있는지 묻는다. 우리는 강한 모델에서 약한 모델로의 스캐폴딩(strong-to-weak scaffolding)을 연구한다. 즉, 더 강한 빌더 모델이 추론 시점 하네스(inference-time harness)를 구축하여, 파라미터 업데이트 없이 더 약한 타깃 모델이 과제를 더 안정적으로 해결하도록 도울 수 있는지를 살펴본다. 네 가지 대표적인 마음이론(Theory-of-Mind) 벤치마크를 사용하여, 각 빌더 모델은 데이터의 5%를 검증 세트로 활용해 여러 라운드에 걸쳐 하네스를 반복적으로 개선하며, 최종 확정된 하네스는 전체 테스트 세트에서 평가된다. 실험 결과, 이러한 형태의 테스트 시점 능력 전이는 매우 효과적이어서 평균 타깃 모델 성능이 0.49에서 0.91로 약 두 배 가까이 향상되었다. 분석 결과, 이러한 성과는 주로 불안정한 모델 추론을 결정적 코드로 오프로딩하고, 벤치마크별 라우팅을 수행하며, 엄격한 답변 형식 강제를 적용하는 데서 비롯되며, 타깃 모델이 더 광범위하게 추론하거나 더 넓게 샘플링하도록 장려하는 것에서는 비롯되지 않는다. 또한 빌더 모델의 추론 노력은 하네스 품질을 단조적으로 향상시키며, 플랫폼 효과는 빌더 모델 자체의 능력에 비해 미미하고, 더 약한 타깃 모델일수록 가장 큰 이득을 얻는다는 것을 발견했다. 이러한 결과는 추론 시점 하네스 설계가 기존의 학습 시점 증류를 보완하는 중요한 수단임을 시사하며, 강한 모델이 재학습 없이도 약한 모델에게 인지 구조를 전이할 수 있게 한다.

English

Recent work on distillation transfers the capabilities of large models to smaller ones often by updating the latter's parameters, through teacher forcing, on-policy distillation, and related training-time methods. In this paper, we ask whether such transfer can instead occur at test time. We study strong-to-weak scaffolding: whether a stronger builder model can construct inference-time harnesses that help a weaker target model solve tasks more reliably without any parameter updates. Using four representative Theory-of-Mind benchmarks, each builder model uses 5% of the data as a validation set to iteratively refine its harness over multiple rounds, after which the finalized harness is evaluated on the full test set. Empirically, this form of test-time capability transfer is highly effective, nearly doubling average target-model performance from 0.49 to 0.91. Our analysis shows that the gains come primarily from offloading unstable model reasoning into deterministic code, benchmark-specific routing, and strict answer-format enforcement, rather than from encouraging the target model to reason more extensively or sample more broadly. We further find that builder-model reasoning effort improves harness quality monotonically, platform effects are modest relative to the builder model's own capability, and weaker target models receive the largest gains. These results suggest that inference-time harness design is an important complement to conventional training-time distillation, enabling strong models to transfer cognitive structure to weaker models without retraining.