압축된 단문 생성에서 품질이 저하되는 지점: 단계적 병목 위치 파악

초록

압축된 단문 텍스트 생성기는 두 가지 서로 다른 지점에서 실패할 수 있다. 즉, 생성이 시작되기 전에 코덱이 정보를 폐기하거나, 잠재 생성기가 약한 코드를 생성할 수 있다. 이러한 실패 모드를 구분하지 않으면 연구자들은 잘못된 구성 요소를 개선하는 데 계산 자원을 낭비할 수 있다. 본 연구는 계층적 VQ-VAE-2 코덱과 마스크된 이산 확산 생성기(MDLM)로 구성된 통제된 64-to-16 TinyStories 사례 연구에서 이 문제를 분석한다. 우리는 단계적 검증 프로토콜을 사용하여 코덱 재구성 충실도, 잠재 생성 품질 및 보조 잠재 진단을 하나의 공유된 외부 GPT-2 평가자 아래에서 분리하고, 기하학 연구를 위한 보완적 의미론적 지표를 함께 보고한다. 테스트된 구성에서 코덱 재구성만으로도 중간 외부 혼란도(perplexity)가 15.17에서 27.36(+80.4%)으로, p95는 25.10에서 98.91(+294.1%)로 상승하여, 잠재 생성이 시작되기 전에 지배적인 품질 손실이 발생함을 보여준다. 동일한 평가자 아래에서 코드 공간 MDLM은 토큰 공간 확산보다 실질적으로 더 강력하여 평균, 중간값 및 p95를 각각 32.9%, 30.9% 및 36.6% 감소시킨다. 기하학 인식 정규화는 국소 잠재 대리 지표를 개선하지만, 사용 가능한 실행에서 디코딩된 텍스트 지표는 개선하지 못한다. 기여는 알고리즘보다 방법론적이다. 즉, 본 논문은 하나의 구체적인 파이프라인에 대해 재사용 가능한 단계적 진단법을 제시하고, 이 설정에서 잠재 잡음 제거보다 코덱 충실도가 실제 품질 상한을 결정함을 보여준다.

English

Compressed short-text generators can fail in two different places: the codec may discard information before generation starts, or the latent generator may produce weak codes. Without separating these failure modes, researchers can spend compute improving the wrong component. We study this problem in a controlled 64-to-16 TinyStories case study built from a hierarchical VQ-VAE-2 codec and a masked discrete diffusion generator (MDLM). We use a staged validation protocol that separates codec reconstruction fidelity, latent generation quality, and auxiliary latent diagnostics under one shared external GPT-2 scorer, while reporting complementary semantic metrics for the geometry study. In the tested configuration, codec reconstruction alone raises median external perplexity from 15.17 to 27.36 (+80.4%) and p95 from 25.10 to 98.91 (+294.1%), showing that the dominant quality loss appears before latent generation begins. Under the same scorer, code-space MDLM remains materially stronger than token-space diffusion, reducing mean, median, and p95 by 32.9%, 30.9%, and 36.6%, respectively. Geometry-aware regularization improves local latent proxies but does not improve decoded-text metrics in the available runs. The contribution is methodological rather than algorithmic: the paper presents a reusable staged diagnosis for one concrete pipeline and shows that, in this setting, codec fidelity rather than latent denoising sets the practical quality ceiling.