Эпистемическое разнообразие и коллапс знаний в крупных языковых моделях

Epistemic Diversity and Knowledge Collapse in Large Language Models

October 5, 2025

Авторы: Dustin Wright, Sarah Masud, Jared Moore, Srishti Yadav, Maria Antoniak, Chan Young Park, Isabelle Augenstein

cs.AI

Аннотация

Крупные языковые модели (LLM) склонны генерировать лексически, семантически и стилистически однородные тексты. Это создает риск коллапса знаний, при котором однородные LLM опосредуют сокращение диапазона доступной информации с течением времени. Существующие работы по проблеме гомогенизации ограничены фокусом на закрытых множественных выборах или нечетких семантических признаках и не рассматривают тенденции во времени и культурных контекстах. Чтобы преодолеть это, мы предлагаем новую методологию для измерения эпистемического разнообразия, то есть вариативности утверждений о реальном мире в выводах LLM, которую мы используем для проведения широкого эмпирического исследования коллапса знаний в LLM. Мы тестируем 27 LLM, 155 тем, охватывающих 12 стран, и 200 вариаций запросов, взятых из реальных пользовательских чатов. Для тем нашего исследования мы показываем, что, хотя более новые модели склонны генерировать более разнообразные утверждения, почти все модели обладают меньшим эпистемическим разнообразием, чем базовый веб-поиск. Мы обнаруживаем, что размер модели негативно влияет на эпистемическое разнообразие, в то время как генерация, дополненная поиском (RAG), оказывает положительное влияние, хотя улучшение от RAG варьируется в зависимости от культурного контекста. Наконец, по сравнению с традиционным источником знаний (Википедией), мы обнаруживаем, что утверждения, специфичные для страны, больше отражают английский язык, чем местный, что подчеркивает пробел в эпистемическом представлении.

English

Large language models (LLMs) tend to generate lexically, semantically, and stylistically homogenous texts. This poses a risk of knowledge collapse, where homogenous LLMs mediate a shrinking in the range of accessible information over time. Existing works on homogenization are limited by a focus on closed-ended multiple-choice setups or fuzzy semantic features, and do not look at trends across time and cultural contexts. To overcome this, we present a new methodology to measure epistemic diversity, i.e., variation in real-world claims in LLM outputs, which we use to perform a broad empirical study of LLM knowledge collapse. We test 27 LLMs, 155 topics covering 12 countries, and 200 prompt variations sourced from real user chats. For the topics in our study, we show that while newer models tend to generate more diverse claims, nearly all models are less epistemically diverse than a basic web search. We find that model size has a negative impact on epistemic diversity, while retrieval-augmented generation (RAG) has a positive impact, though the improvement from RAG varies by the cultural context. Finally, compared to a traditional knowledge source (Wikipedia), we find that country-specific claims reflect the English language more than the local one, highlighting a gap in epistemic representation