マスク拡散機械翻訳のための長さ適応型デコーディング

要旨

機械翻訳は、すべてのソース・トークンを忠実に表現しなければならないため、マスク拡散言語モデル（dLLM）にとって厳しいテストとなる。一方、固定キャンバス復号では、デノイジングの前にターゲット長を選択しなければならない。既存のマスク拡散復号研究は主にトークンのマスク解除順序を対象としており、この長さ決定はカバレッジと冗長性に直接影響するにもかかわらず、あまり研究されていない。我々はEntropy-Valley（EV）を導入する。これは学習を必要としない長さ選択手法であり、全マスク順伝播による平均予測エントロピーを用いて候補となるターゲット・キャンバスをスコアリングし、バックボーンが最も埋めやすいキャンバスを選択する。訓練コーパスの長さ統計を用いるベースラインと比較して、EVはEntoZh、ZhtoEn、EntoDeにおいて、参照ターゲット長から得られるCOMET-22の向上分の64.9%、65.3%、33.0%を回復する。我々の診断実験は、デノイジングに適した長さが必ずしも参照長と一致する必要がないことを示している。3名の翻訳専門家による評価は、英語⇔中国語の妥当性の向上を支持しており、ZhtoEnではより強い根拠が得られた。同じファインチューニングデータで学習されたLLaMA-3-8B自己回帰（AR）モデルと比較して、EVシステムはEntoZhでは互角であり、ZhtoEnでは優位である。さらに、オラクル長を用いた診断実験は、このマスク拡散MT設定において、どのトークンを最初に明かすかを決定することは、ターゲット長がどのように供給されるかよりも重要度が低いことを示している。

English

Machine translation tests masked diffusion language models (dLLMs) because every source token must be rendered faithfully, while fixed canvas decoding must choose target length before denoising. Existing masked diffusion decoding work mainly studies token unmasking order, leaving this length decision under-explored despite its direct effect on coverage and redundancy. We introduce Entropy-Valley (EV), a training-free length selector that scores candidate target canvases by mean predictive entropy from all-mask forward passes and selects the canvas the backbone is most prepared to fill. Relative to a baseline using training corpus length statistics, EV recovers 64.9%, 65.3%, and 33.0% of the COMET-22 gain from reference target lengths on EntoZh, ZhtoEn, and EntoDe. Our diagnostics show that denoising-friendly lengths need not match reference lengths. Evaluation by three translation experts supports the EnleftrightarrowZh adequacy gains, with stronger evidence on ZhtoEn. Compared with a LLaMA-3-8B autoregressive (AR) model trained on the same fine-tuning data, the EV system ties on EntoZh and leads on ZhtoEn; an oracle-length diagnostic further shows that, in this masked diffusion MT setting, deciding which tokens to reveal first matters less than how the target length is supplied.