Язык мысли определяет разнообразие выходных данных в больших языковых моделях

Language of Thought Shapes Output Diversity in Large Language Models

January 16, 2026

Авторы: Shaoyang Xu, Wenxuan Zhang

cs.AI

Аннотация

Разнообразие выходных данных крайне важно для больших языковых моделей, поскольку оно лежит в основе плюрализма и творческих способностей. В данной работе мы показываем, что управление языком, используемым во время размышлений модели — языком мысли — представляет собой новый и структурный источник разнообразия выходных данных. Наше предварительное исследование демонстрирует, что разные языки мышления занимают различные области в пространстве размышлений модели. Основываясь на этом наблюдении, мы изучаем две стратегии повторной выборки при многозадачном мышлении — выборку на одном языке и выборку на смешанных языках — и проводим оценку разнообразия выходных данных, которые контролируемо генерируются на английском языке, независимо от используемого языка мышления. В ходе обширных экспериментов мы демонстрируем, что переключение языка мышления с английского на другие языки последовательно увеличивает разнообразие выходных данных, причем наблюдается четкая и устойчивая положительная корреляция: чем дальше язык находится от английского в пространстве мышления, тем больше выигрыш в разнообразии. Мы также показываем, что агрегирование выборок из нескольких языков мышления приводит к дополнительным улучшениям за счет композиционных эффектов, а масштабирование выборки с лингвистической гетерогенностью расширяет потолок разнообразия модели. Наконец, мы демонстрируем, что эти результаты находят практическое применение в сценариях плюралистического согласования, способствуя более широкому охвату культурных знаний и ценностных ориентаций в выходных данных больших языковых моделей. Наш код общедоступен по адресу https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.

English

Output diversity is crucial for Large Language Models as it underpins pluralism and creativity. In this work, we reveal that controlling the language used during model thinking-the language of thought-provides a novel and structural source of output diversity. Our preliminary study shows that different thinking languages occupy distinct regions in a model's thinking space. Based on this observation, we study two repeated sampling strategies under multilingual thinking-Single-Language Sampling and Mixed-Language Sampling-and conduct diversity evaluation on outputs that are controlled to be in English, regardless of the thinking language used. Across extensive experiments, we demonstrate that switching the thinking language from English to non-English languages consistently increases output diversity, with a clear and consistent positive correlation such that languages farther from English in the thinking space yield larger gains. We further show that aggregating samples across multiple thinking languages yields additional improvements through compositional effects, and that scaling sampling with linguistic heterogeneity expands the model's diversity ceiling. Finally, we show that these findings translate into practical benefits in pluralistic alignment scenarios, leading to broader coverage of cultural knowledge and value orientations in LLM outputs. Our code is publicly available at https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.