Otimização da Diversidade e Qualidade por meio da Colaboração de Modelos Alinhados por Base
Optimizing Diversity and Quality through Base-Aligned Model Collaboration
November 7, 2025
Autores: Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee
cs.AI
Resumo
O alinhamento melhorou significativamente a qualidade da saída dos grandes modelos de linguagem (LLMs) às custas da diversidade, produzindo resultados altamente similares entre gerações. Propomos o Base-Aligned Model Collaboration (BACo), uma estrutura de colaboração entre modelos a nível de token durante a inferência que combina dinamicamente um LLM base com a sua contraparte alinhada para otimizar diversidade e qualidade. Inspirado por trabalhos anteriores (Fei et al., 2025), o BACo emprega estratégias de roteamento que determinam, a cada token, de qual modelo decodificar com base na incerteza da previsão do próximo token e no papel semântico dos conteúdos previstos. Métodos anteriores de promoção da diversidade, como retreinamento, engenharia de prompt e métodos de amostragem múltipla, melhoram a diversidade, mas frequentemente degradam a qualidade ou requerem decodificação ou pós-treinamento dispendiosos. Em contraste, o BACo alcança alta diversidade e qualidade *post hoc* em uma única passagem, ao mesmo tempo que oferece forte controlabilidade. Exploramos uma família de estratégias de roteamento; em três tarefas de geração aberta e 13 métricas cobrindo diversidade e qualidade, o BACo supera consistentemente os métodos de estado da arte durante a inferência. Com o nosso melhor roteador, o BACo alcança uma melhoria conjunta de 21,3% em diversidade e qualidade. Avaliações humanas também refletem essas melhorias. Os resultados sugerem que a colaboração entre modelos base e alinhados pode otimizar e controlar a diversidade e a qualidade.
English
Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.