ベースモデル連携による多様性と品質の最適化

Optimizing Diversity and Quality through Base-Aligned Model Collaboration

November 7, 2025

著者: Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee

cs.AI

要旨

アライメントにより大規模言語モデル（LLM）の出力品質は大きく向上したが、多様性が犠牲となり、生成結果が高度に類似する問題が生じている。本研究では、ベースモデルとアライメント済みモデルを動的に組み合わせ、多様性と品質の最適化を図る推論時トークンレベルモデル連携フレームワーク「Base-Aligned Model Collaboration（BACo）」を提案する。先行研究（Fei et al., 2025）に着想を得たBACoは、次トークン予測の不確実性と予測内容の意味的役割に基づき、トークン毎にデコード元のモデルを決定するルーティング戦略を採用する。再学習、プロンプトエンジニアリング、マルチサンプリング手法など従来の多様性促進手法は、多様性を向上させるものの、品質低下や高コストなデコード／事後学習を要する場合が多い。対照的に、BACoは単一パスで事後的かつ高品質な多様性を実現し、強力な制御性を提供する。3種類のオープンエンド生成タスクと多様性・品質を網羅する13指標を用いた検証により、提案する一連のルーティング戦略が、常に最先端の推論時ベースラインを凌駕することを示す。最適なルーターを用いた場合、BACoは多様性と品質の総合評価で21.3%の改善を達成した。人間評価でも同様の改善傾向が確認された。これらの結果は、ベースモデルとアライメント済みモデルの連携が、多様性と品質の最適化と制御を可能にすることを示唆している。

English

Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.