El Lenguaje del Pensamiento Determina la Diversidad de la Producción en los Modelos de Lenguaje a Gran Escala
Language of Thought Shapes Output Diversity in Large Language Models
January 16, 2026
Autores: Shaoyang Xu, Wenxuan Zhang
cs.AI
Resumen
La diversidad de salida es crucial para los Modelos de Lenguaje a Gran Escala, ya que sustenta el pluralismo y la creatividad. En este trabajo, revelamos que controlar el lenguaje utilizado durante el pensamiento del modelo —el lenguaje del pensamiento— constituye una fuente novedosa y estructural de diversidad en la salida. Nuestro estudio preliminar muestra que diferentes lenguajes de pensamiento ocupan regiones distintas en el espacio de pensamiento de un modelo. Basándonos en esta observación, estudiamos dos estrategias de muestreo repetido bajo pensamiento multilingüe —Muestreo de Lenguaje Único y Muestreo de Lenguaje Mixto— y realizamos una evaluación de diversidad en las salidas que están controladas para ser en inglés, independientemente del lenguaje de pensamiento utilizado. A través de extensos experimentos, demostramos que cambiar el lenguaje de pensamiento del inglés a lenguajes no ingleses aumenta consistentemente la diversidad de la salida, mostrando una correlación positiva clara y consistente, de modo que los lenguajes más alejados del inglés en el espacio de pensamiento producen ganancias mayores. Además, mostramos que agregar muestras de múltiples lenguajes de pensamiento produce mejoras adicionales mediante efectos composicionales, y que escalar el muestreo con heterogeneidad lingüística expande el límite máximo de diversidad del modelo. Finalmente, demostramos que estos hallazgos se traducen en beneficios prácticos en escenarios de alineación pluralista, conduciendo a una cobertura más amplia de conocimiento cultural y orientaciones de valor en las salidas de los LLM. Nuestro código está disponible públicamente en https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.
English
Output diversity is crucial for Large Language Models as it underpins pluralism and creativity. In this work, we reveal that controlling the language used during model thinking-the language of thought-provides a novel and structural source of output diversity. Our preliminary study shows that different thinking languages occupy distinct regions in a model's thinking space. Based on this observation, we study two repeated sampling strategies under multilingual thinking-Single-Language Sampling and Mixed-Language Sampling-and conduct diversity evaluation on outputs that are controlled to be in English, regardless of the thinking language used. Across extensive experiments, we demonstrate that switching the thinking language from English to non-English languages consistently increases output diversity, with a clear and consistent positive correlation such that languages farther from English in the thinking space yield larger gains. We further show that aggregating samples across multiple thinking languages yields additional improvements through compositional effects, and that scaling sampling with linguistic heterogeneity expands the model's diversity ceiling. Finally, we show that these findings translate into practical benefits in pluralistic alignment scenarios, leading to broader coverage of cultural knowledge and value orientations in LLM outputs. Our code is publicly available at https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.