Ottimizzazione della Diversità e della Qualità attraverso la Collaborazione di Modelli Allineati alla Base

Optimizing Diversity and Quality through Base-Aligned Model Collaboration

November 7, 2025

Autori: Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee

cs.AI

Abstract

L'allineamento ha notevolmente migliorato la qualità dell'output dei grandi modelli linguistici (LLM) a scapito della diversità, producendo output molto simili tra diverse generazioni. Proponiamo Base-Aligned Model Collaboration (BACo), un framework di collaborazione tra modelli a livello di token durante l'inferenza, che combina dinamicamente un LLM base con la sua controparte allineata per ottimizzare diversità e qualità. Ispirato da lavori precedenti (Fei et al., 2025), BACo impiega strategie di instradamento che determinano, per ogni token, da quale modello effettuare il decoding, basandosi sull'incertezza della predizione del token successivo e sul ruolo semantico dei contenuti previsti. I metodi precedenti per promuovere la diversità, come il re-training, il prompt engineering e i metodi di multi-campionamento, migliorano la diversità ma spesso degradano la qualità o richiedono decoding o post-training costosi. Al contrario, BACo raggiunge sia un'alta diversità che un'alta qualità in modo post hoc in un singolo passaggio, offrendo al contempo una forte controllabilità. Esploriamo una famiglia di strategie di instradamento attraverso tre task di generazione open-ended e 13 metriche che coprono diversità e qualità; BACo supera costantemente i baseline state-of-the-art applicati durante l'inferenza. Con la nostra migliore strategia di instradamento, BACo raggiunge un miglioramento congiunto del 21.3% in diversità e qualità. Le valutazioni umane rispecchiano anch'esse questi miglioramenti. I risultati suggeriscono che la collaborazione tra modelli base e modelli allineati possa ottimizzare e controllare diversità e qualità.

English

Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.