대규모 언어 모델에서의 인식론적 다양성과 지식 붕괴

초록

대형 언어 모델(LLMs)은 어휘적, 의미적, 그리고 문체적으로 동질화된 텍스트를 생성하는 경향이 있다. 이는 시간이 지남에 따라 접근 가능한 정보의 범위가 축소되는 지식 붕괴(knowledge collapse)의 위험을 초래한다. 기존의 동질화 연구는 폐쇄형 객관식 설정이나 모호한 의미적 특징에 초점을 맞추는 데 한계가 있으며, 시간과 문화적 맥락에 따른 추세를 살펴보지 않는다. 이를 극복하기 위해, 우리는 LLM 출력에서 실제 세계 주장의 변이를 측정하는 새로운 방법론을 제시하며, 이를 통해 LLM 지식 붕괴에 대한 광범위한 실증 연구를 수행한다. 우리는 27개의 LLM, 12개 국가를 아우르는 155개 주제, 그리고 실제 사용자 채팅에서 수집한 200개의 프롬프트 변형을 테스트한다. 연구 주제에 대해, 우리는 최신 모델이 더 다양한 주장을 생성하는 경향이 있지만 거의 모든 모델이 기본 웹 검색보다 인식론적 다양성이 낮다는 것을 보여준다. 모델 크기는 인식론적 다양성에 부정적인 영향을 미치는 반면, 검색 증강 생성(RAG)은 긍정적인 영향을 미치지만, RAG의 개선 효과는 문화적 맥락에 따라 다르다는 것을 발견했다. 마지막으로, 전통적인 지식 소스(위키백과)와 비교했을 때, 국가별 주장은 현지 언어보다 영어를 더 많이 반영하며, 이는 인식론적 표현의 격차를 강조한다.

English

Large language models (LLMs) tend to generate lexically, semantically, and stylistically homogenous texts. This poses a risk of knowledge collapse, where homogenous LLMs mediate a shrinking in the range of accessible information over time. Existing works on homogenization are limited by a focus on closed-ended multiple-choice setups or fuzzy semantic features, and do not look at trends across time and cultural contexts. To overcome this, we present a new methodology to measure epistemic diversity, i.e., variation in real-world claims in LLM outputs, which we use to perform a broad empirical study of LLM knowledge collapse. We test 27 LLMs, 155 topics covering 12 countries, and 200 prompt variations sourced from real user chats. For the topics in our study, we show that while newer models tend to generate more diverse claims, nearly all models are less epistemically diverse than a basic web search. We find that model size has a negative impact on epistemic diversity, while retrieval-augmented generation (RAG) has a positive impact, though the improvement from RAG varies by the cultural context. Finally, compared to a traditional knowledge source (Wikipedia), we find that country-specific claims reflect the English language more than the local one, highlighting a gap in epistemic representation

대규모 언어 모델에서의 인식론적 다양성과 지식 붕괴

Epistemic Diversity and Knowledge Collapse in Large Language Models

초록

Support