베이스 정렬 모델 협업을 통한 다양성과 품질 최적화

초록

정렬(Alignment)은 대규모 언어 모델(LLM)의 출력 품질을 크게 향상시켰지만, 다양성 측면에서는 희생을 감수해야 했으며, 여러 생성 과정에서 매우 유사한 출력을 내놓는 결과를 초래했습니다. 본 논문에서는 다양성과 품질을 최적화하기 위해 추론 시점(Inference-time)에서 토큰 수준의 모델 협업 프레임워크인 Base-Aligned Model Collaboration(BACo)을 제안합니다. BACo는 기본(Base) LLM과 정렬된(Aligned) 대응 모델을 동적으로 결합합니다. 선행 연구(Fei et al., 2025)에서 영감을 받은 BACo는 다음 토큰 예측의 불확실성과 예측된 내용의 의미론적 역할을 기반으로 각 토큰을 어느 모델에서 디코딩할지 결정하는 라우팅 전략을 사용합니다. 재학습(Retraining), 프롬프트 엔지니어링, 다중 샘플링(Multi-sampling) 방법과 같은 기존의 다양성 증진 방법들은 다양성을 향상시키지만 품질 저하를 초래하거나 많은 비용이 드는 디코딩 또는 사후 학습(Post-training)을 필요로 하는 경우가 많습니다. 이와 대조적으로, BACo는 단일 패스(Single pass) 내에서 사후(Hoc)적으로 높은 다양성과 품질을 동시에 달성하며, 강력한 제어 가능성(Controllability)을 제공합니다. 우리는 다양한 라우팅 전략군을 탐구했으며, 세 가지 개방형 생성 과제(Open-ended generation tasks)와 다양성 및 품질을 포괄하는 13개의 평가 지표를 통해 BACo가 최신 추론 시점 기준 모델(Inference-time baselines)들을 지속적으로 능가함을 확인했습니다. 최적의 라우터를 사용했을 때, BACo는 다양성과 품질의 종합적 개선치에서 21.3%의 향상을 달성했습니다. 인간 평가 결과 또한 이러한 개선 효과를 뒷받침합니다. 결과는 기본 모델과 정렬 모델 간의 협업이 다양성과 품질을 최적화하고 제어할 수 있음을 시사합니다.

English

Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.

베이스 정렬 모델 협업을 통한 다양성과 품질 최적화

Optimizing Diversity and Quality through Base-Aligned Model Collaboration

초록

Support