Оптимизация разнообразия и качества посредством согласованного взаимодействия базовых моделей

Optimizing Diversity and Quality through Base-Aligned Model Collaboration

November 7, 2025

Авторы: Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee

cs.AI

Аннотация

Выравнивание значительно повысило качество выходных данных больших языковых моделей (LLM), но ценой снижения разнообразия, что приводит к генерации высокосхожих результатов. Мы предлагаем Base-Aligned Model Collaboration (BACo) — фреймворк для совместной работы моделей на уровне токенов во время вывода, который динамически комбинирует базовую LLM с её выровненной версией для оптимизации разнообразия и качества. Вдохновлённые предыдущей работой (Fei et al., 2025), в BACo используются стратегии маршрутизации, которые на каждом токене определяют, из какой модели следует декодировать, основываясь на неопределённости предсказания следующего токена и семантической роли предсказываемого содержимого. Предыдущие методы повышения разнообразия, такие как дообучение, инженерия промптов и методы множественной выборки, улучшают разнообразие, но часто ухудшают качество или требуют дорогостоящего декодирования или пост-обучения. В отличие от них, BACo достигает высокого разнообразия и качества постфактум за один проход, обеспечивая при этом высокую управляемость. Мы исследуем семейство стратегий маршрутизации на трёх задачах открытой генерации и с помощью 13 метрик, охватывающих разнообразие и качество. BACo последовательно превосходит передовые базовые методы, применяемые во время вывода. С нашим лучшим маршрутизатором BACo достигает совокупного улучшения разнообразия и качества на 21,3%. Результаты человеческой оценки также подтверждают эти улучшения. Полученные данные свидетельствуют о том, что совместная работа базовой и выровненной моделей позволяет оптимизировать и контролировать разнообразие и качество.

English

Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.