Il Linguaggio del Pensiero Plasma la Diversità dell'Output nei Grandi Modelli Linguistici
Language of Thought Shapes Output Diversity in Large Language Models
January 16, 2026
Autori: Shaoyang Xu, Wenxuan Zhang
cs.AI
Abstract
La diversità dell'output è cruciale per i Modelli Linguistici di Grande Dimensioni poiché sostiene il pluralismo e la creatività. In questo lavoro, dimostriamo che controllare la lingua utilizzata durante il pensiero del modello – il linguaggio del pensiero – rappresenta una fonte nuova e strutturale di diversità dell'output. Il nostro studio preliminare mostra che diversi linguaggi del pensiero occupano regioni distinte nello spazio di pensiero di un modello. Sulla base di questa osservazione, studiamo due strategie di campionamento ripetuto in contesti di pensiero multilingue – Campionamento a Lingua Singola e Campionamento a Lingue Miste – e conduciamo una valutazione della diversità sugli output controllati per essere in inglese, indipendentemente dal linguaggio del pensiero utilizzato. Attraverso esperimenti estesi, dimostriamo che cambiare il linguaggio del pensiero dall'inglese a lingue non inglesi aumenta costantemente la diversità dell'output, con una chiara e coerente correlazione positiva tale per cui le lingue più lontane dall'inglese nello spazio del pensiero producono guadagni maggiori. Mostriamo inoltre che aggregare campioni provenienti da molteplici linguaggi del pensiero apporta ulteriori miglioramenti attraverso effetti compositivi, e che aumentare il campionamento con eterogeneità linguistica espande il limite superiore della diversità del modello. Infine, dimostriamo che questi risultati si traducono in benefici pratici negli scenari di allineamento pluralistico, portando a una copertura più ampia della conoscenza culturale e degli orientamenti valoriali negli output dei LLM. Il nostro codice è pubblicamente disponibile all'indirizzo https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.
English
Output diversity is crucial for Large Language Models as it underpins pluralism and creativity. In this work, we reveal that controlling the language used during model thinking-the language of thought-provides a novel and structural source of output diversity. Our preliminary study shows that different thinking languages occupy distinct regions in a model's thinking space. Based on this observation, we study two repeated sampling strategies under multilingual thinking-Single-Language Sampling and Mixed-Language Sampling-and conduct diversity evaluation on outputs that are controlled to be in English, regardless of the thinking language used. Across extensive experiments, we demonstrate that switching the thinking language from English to non-English languages consistently increases output diversity, with a clear and consistent positive correlation such that languages farther from English in the thinking space yield larger gains. We further show that aggregating samples across multiple thinking languages yields additional improvements through compositional effects, and that scaling sampling with linguistic heterogeneity expands the model's diversity ceiling. Finally, we show that these findings translate into practical benefits in pluralistic alignment scenarios, leading to broader coverage of cultural knowledge and value orientations in LLM outputs. Our code is publicly available at https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.