샘플링에서 길을 잃다: 단어 커버리지 점수(WCS)를 통한 LLM의 어휘 도달 가능성 평가

초록

현대 대규모 언어 모델(LLMs)은 방대한 잠재 어휘를 보유하고 있음에도 불구하고, 종종 반복적이고 균질한 텍스트를 생성한다는 비판을 받습니다. 기존 연구가 모델 지식과 학습 데이터에 초점을 맞춘 반면, 우리는 디코딩 메커니즘이 언어적 다양성을 억제하는 역할을 조사합니다. 우리는 맥락에 적합한 인간 어휘가 표준 샘플링 필터(예: Top-p, Top-k, Min-p)에 의해 수학적으로 얼마나 제거되는지 정량화하는 지표인 단어 적용 범위 점수(WCS)를 도입합니다. WCS는 정적 지식을 평가하는 대신, 샘플링 매개변수의 함수로서 저빈도·고정보 인간 단어의 어휘 생존율을 측정합니다. 오픈 가중치 모델을 인간이 작성한 코퍼스 조각에 대해 감사(audit)함으로써, 디코더가 논리적으로 선택할 수 있는 어휘 선택 중 어떤 것들이 확률 공간 내에 존재함에도 불구하고 도달 불가능하게 되는지 식별합니다. 우리의 결과는 업계 표준 샘플링 기본값이 의도하지 않은 검열 메커니즘으로 작용하여 인간 표현의 독특한 질감을 균질화된 담론으로 평탄화한다는 정량적 증거를 제공합니다. WCS는 텍스트 일관성과 어휘적 풍부성 사이의 균형을 최적화하기 위한 엄격한 프레임워크를 제공하며, 생성 모델에서 인간 언어의 다양성을 보존하기 위한 진단 도구 역할을 합니다.

English

Modern Large Language Models (LLMs) are often criticized for producing repetitive and homogeneous text, despite possessing vast latent vocabularies. While previous research has focused on model knowledge and training data, we investigate the role of decoding mechanics in suppressing linguistic diversity. We introduce the Word Coverage Score (WCS), a metric that quantifies the extent to which contextually appropriate human vocabulary is mathematically pruned by standard sampling filters (e.g., Top-p, Top-k, and Min-p). Rather than assessing static knowledge, the WCS measures the lexical survival rate of low-frequency, high-information human words as a function of sampling parameters. By auditing open-weight models on human-authored corpus fragments, we identify which logical lexical choices are rendered unreachable by the decoder, even when they reside within the probability space. Our results provide quantitative evidence that industry-standard sampling defaults act as unintended censorship mechanisms, smoothing the unique textures of human expression into a homogenized discourse. The WCS offers a rigorous framework for optimizing the trade-off between text coherence and lexical richness, providing a diagnostic tool for preserving the diversity of human language in generative models.