본질적으로 해석 가능한 언어 모델의 스케일링

초록

해석 가능성은 종종 성능에 대한 세금처럼 취급된다. 언어 모델은 불투명한 시스템으로 훈련된 뒤, 신뢰성을 확립하기 어려운 방법들로 사후에 설명된다. 본 연구에서는 이러한 전제에 도전한다. 우리는 모델을 역공학하는 대신, 해석 가능성을 언어 모델링 목적 함수와 함께 최적화되는 훈련 파이프라인의 제약 조건으로 만든다. 계산량의 세 자릿수 범위에 걸쳐, 자기회귀 및 확산 언어 모델 모두에서 해석 가능성은 성능과 반비례하는 것이 아니라 비례하여 확장된다. 놀랍게도, 모델의 표현은 규모가 커질수록 더욱 분리되고 인간이 이해할 수 있는 개념과 정렬된다. 우리는 인과적 어텐션 마스크를 갖춘 확산 언어 모델인 Steerling-8B로 훈련 중 해석 가능성 기법을 구현한다. 생성된 토큰의 모든 그룹에 대해 Steerling-8B는 출력을 관련 입력 토큰, 인간이 이해할 수 있는 개념, 그리고 훈련 데이터에 귀속시킨다. 이를 통해 폐루프 개입이 가능해진다: 개념 또는 특징 귀속을 통해 출력을 진단하고, 유사한 훈련 데이터를 검색하며, 재훈련 없이 개념 조향을 통해 행동을 수정한다. Steerling-8B는 2~16배 더 많은 계산량으로 훈련된 공개 동급 모델들과 경쟁력을 유지하며, 이는 새로운 스케일링 패러다임을 시사한다: 해석 가능성은 훈련에 설계될 수 있으며, 규모가 커질수록 개선된다.

English

Interpretability is often treated as a tax on capability: language models are trained as opaque systems, then explained after the fact, with methods whose reliability is difficult to establish. In this work, we challenge this premise. Rather than reverse-engineering a model, we make interpretability a constraint of the training pipeline, optimized alongside the language modeling objective. Across three orders of magnitude of compute, on both autoregressive and diffusion language models, interpretability scales with capability rather than against it. Surprisingly, model representations become more disentangled and aligned with human-understandable concepts with scale. We instantiate the training-time recipe with Steerling-8B, a diffusion language model with a causal attention mask. For any group of generated tokens, Steerling-8B attributes the output to relevant input tokens, human-understandable concepts, and training data. This enables closed-loop intervention: diagnose an output through its concept or feature attribution, retrieve similar training data, and correct the behavior through concept steering without retraining. Steerling-8B remains competitive with open peer models trained on substantially 2-16x more compute, suggesting a different scaling paradigm: interpretability can be designed into training, and it improves with scale.