圧縮短文生成における品質の破綻箇所：段階的ボトルネック特定

要旨

圧縮された短文生成器は、二つの異なる箇所で失敗する可能性がある。すなわち、生成開始前にコーデックが情報を破棄する場合と、潜在生成器が弱いコードを生成する場合である。これらの失敗モードを分離しなければ、研究者は誤ったコンポーネントの改善に計算資源を費やしかねない。本稿では、階層型VQ-VAE-2コーデックとマスク付き離散拡散生成器（MDLM）から構成される、制御された64-to-16 TinyStoriesケーススタディにおいてこの問題を検討する。我々は、共通の外部GPT-2スコアラのもとで、コーデック再構成の忠実度、潜在生成品質、および補助的な潜在診断を段階的に検証するプロトコルを用い、幾何学的検討のための補完的な意味論的指標も併せて報告する。検証した構成では、コーデック再構成のみで外部パープレキシティの中央値が15.17から27.36（+80.4%）に、p95が25.10から98.91（+294.1%）に上昇し、支配的な品質低下が潜在生成開始前に発生していることが示された。同じスコアラのもとでは、コード空間のMDLMはトークン空間の拡散よりも明らかに強力であり、平均値、中央値、p95をそれぞれ32.9%、30.9%、36.6%低減した。幾何学的正則化は局所的な潜在プロキシを改善するものの、実施した実行において復号テキストの指標を改善しなかった。本稿の貢献はアルゴリズム的ではなく方法論的である。すなわち、特定のパイプラインに対する再利用可能な段階的診断法を提示し、この設定では潜在ノイズ除去よりもコーデックの忠実度が実用的な品質上限を決定することを示す。

English

Compressed short-text generators can fail in two different places: the codec may discard information before generation starts, or the latent generator may produce weak codes. Without separating these failure modes, researchers can spend compute improving the wrong component. We study this problem in a controlled 64-to-16 TinyStories case study built from a hierarchical VQ-VAE-2 codec and a masked discrete diffusion generator (MDLM). We use a staged validation protocol that separates codec reconstruction fidelity, latent generation quality, and auxiliary latent diagnostics under one shared external GPT-2 scorer, while reporting complementary semantic metrics for the geometry study. In the tested configuration, codec reconstruction alone raises median external perplexity from 15.17 to 27.36 (+80.4%) and p95 from 25.10 to 98.91 (+294.1%), showing that the dominant quality loss appears before latent generation begins. Under the same scorer, code-space MDLM remains materially stronger than token-space diffusion, reducing mean, median, and p95 by 32.9%, 30.9%, and 36.6%, respectively. Geometry-aware regularization improves local latent proxies but does not improve decoded-text metrics in the available runs. The contribution is methodological rather than algorithmic: the paper presents a reusable staged diagnosis for one concrete pipeline and shows that, in this setting, codec fidelity rather than latent denoising sets the practical quality ceiling.