마스크드 확산 기계 번역을 위한 길이 적응형 디코딩

초록

기계 번역은 모든 소스 토큰을 충실히 표현해야 하기 때문에 마스크 확산 언어 모델(dLLM)에게 중요한 시험대가 된다. 또한 고정 캔버스 디코딩은 노이즈 제거 전에 목표 길이를 선택해야 한다. 기존의 마스크 확산 디코딩 연구는 주로 토큰 언마스킹 순서를 다루었으며, 길이 결정은 커버리지와 중복성에 직접적인 영향을 미침에도 불구하고 충분히 탐구되지 않았다. 본 연구에서는 Entropy-Valley(EV)를 제안한다. 이는 학습이 필요 없는 길이 선택기로서, 전체 마스크 상태의 순방향 패스들에서 얻은 평균 예측 엔트로피로 후보 목표 캔버스에 점수를 매기고, 백본이 가장 잘 채울 준비가 된 캔버스를 선택한다. 학습 말뭉치 길이 통계를 사용하는 기준선과 비교했을 때, EV는 EntoZh, ZhtoEn, EntoDe에서 참조 목표 길이로 얻은 COMET-22 향상의 64.9%, 65.3%, 33.0%를 회복한다. 진단 결과는 노이즈 제거에 적합한 길이가 참조 길이와 일치할 필요가 없음을 보여준다. 세 명의 번역 전문가에 의한 평가는 En↔Zh의 적절성 향상을 뒷받침하며, ZhtoEn에서 더 강한 증거를 제공한다. 동일한 미세 조정 데이터로 훈련된 LLaMA-3-8B 자기회귀(AR) 모델과 비교했을 때, EV 시스템은 EntoZh에서 동률을, ZhtoEn에서 우위를 보인다. 오라클 길이 진단은 또한 이 마스크 확산 기계 번역 설정에서 어떤 토큰을 먼저 드러낼지 결정하는 것보다 목표 길이가 제공되는 방식이 더 중요함을 보여준다.

English

Machine translation tests masked diffusion language models (dLLMs) because every source token must be rendered faithfully, while fixed canvas decoding must choose target length before denoising. Existing masked diffusion decoding work mainly studies token unmasking order, leaving this length decision under-explored despite its direct effect on coverage and redundancy. We introduce Entropy-Valley (EV), a training-free length selector that scores candidate target canvases by mean predictive entropy from all-mask forward passes and selects the canvas the backbone is most prepared to fill. Relative to a baseline using training corpus length statistics, EV recovers 64.9%, 65.3%, and 33.0% of the COMET-22 gain from reference target lengths on EntoZh, ZhtoEn, and EntoDe. Our diagnostics show that denoising-friendly lengths need not match reference lengths. Evaluation by three translation experts supports the EnleftrightarrowZh adequacy gains, with stronger evidence on ZhtoEn. Compared with a LLaMA-3-8B autoregressive (AR) model trained on the same fine-tuning data, the EV system ties on EntoZh and leads on ZhtoEn; an oracle-length diagnostic further shows that, in this masked diffusion MT setting, deciding which tokens to reveal first matters less than how the target length is supplied.