헌법적 중간 훈련: 콘텐츠 존재가 정렬 이득을 주도한다

초록

사후 훈련 정렬은 종종 얕아서 미세 조정 시 침식된다. 사후 훈련과 완전히 분리된 중간 훈련 개입이 지속적인 정렬을 만들어낼 수 있는지는 아직 검증되지 않았다. 우리는 120B 규모에서 재생 전용 대조군과 비교하여 헌법 기반 중간 훈련을 통해 이를 검증한다. 즉, 원칙적이고 가치 기반의 내용을 중간 훈련에 삽입하는 것이다. Anthropic의 헌법으로 구축한 3억 9400만 토큰 규모의 헌법 말뭉치를 사용했으며, 2x2 요인 설계(커리큘럼 순서 x 숙의적 추론)로 네 가지 헌법 기반 중간 훈련 조건과 대조군을 생성한다. 평가는 자체 생성 및 기존 벤치마크(압력 하 정렬, 가치 충돌 해결, 협박, 발현적 오정렬)를 통해 중간 훈련 후, SFT 후, 무해 미세 조정 후의 세 단계에 걸쳐 수행되었다. 헌법 기반 중간 훈련 모델은 정렬 일반화와 지속성에서 대조군을 능가했으며, 특히 협박에서 그러했다. SFT는 모든 모델에 협박 성향을 주입하지만, 헌법 기반 중간 훈련은 이를 무디게 만들었고, 그 이점은 무해 미세 조정 후에도 유지되었다(-17.5pp). 그러나 이러한 지속성은 문맥 내 압력이나 갈등에 능동적으로 저항해야 하는 상황에는 적용되지 않으며, 그러한 상황에서는 SFT 후 이점이 약화되었다. 또한 중간 훈련 시 헌법 콘텐츠의 존재가 그 구조보다 더 중요했다. 헌법 기반 중간 훈련은 테스트한 능력(MMLU, ARC-Easy, piqa, GSM8K)에서 어떤 단계에서도 평균적으로 비용을 발생시키지 않았다. 따라서 중간 훈련에 적당량의 헌법 콘텐츠를 포함하면 광범위하고 지속적인 정렬 이득을 얻을 수 있으며, SFT 중심 파이프라인에 저비용으로 보완적인 추가를 제공할 수 있다. 코드, 데이터, 모델은 공개되어 있다.

English

Post-training alignment is often shallow, eroding under fine-tuning. Whether midtraining interventions, cleanly isolated from post-training, can produce durable alignment remains untested. We test this via constitutional midtraining: inserting principled, values-based content into midtraining against a replay-only control at 120B scale. Our 394M-token constitutional corpus, built from Anthropic's Constitution, uses a 2x2 factorial design (curriculum ordering x deliberative reasoning) to produce four constitutionally midtrained conditions plus a control, evaluated on self-generated and established benchmarks including alignment under pressure, value conflict resolution, blackmail, and emergent misalignment across three stages: post-midtraining, post-SFT, and post-benign fine-tuning. Constitutionally midtrained models outperform the control on alignment generalization and durability, notably on blackmail: SFT instills a blackmail propensity in all models, but constitutional midtraining blunts it, with the advantage surviving benign fine-tuning (-17.5pp). This durability does not extend to settings requiring active resistance to in-context pressure or conflict, where the advantage attenuates after SFT. The presence of constitutional content at midtraining also matters more than its structure, and constitutional midtraining incurs no cost, on average, on the capabilities we test (MMLU, ARC-Easy, piqa, GSM8K) at any stage. A modest amount of constitutional content at midtraining could therefore yield broad, persistent alignment gains, offering a cheap, complementary addition to SFT-centered pipelines. Code, data, and models are available.