Gestructureerde Documentvertaling via Formaatversterkend Leren
Structured Document Translation via Format Reinforcement Learning
December 4, 2025
Auteurs: Haiyue Song, Johannes Eschbach-Dymanus, Hour Kaing, Sumire Honda, Hideki Tanaka, Bianka Buschbeck, Masao Utiyama
cs.AI
Samenvatting
Recent onderzoek naar gestructureerde tekstvertaling blijft beperkt tot zinsniveau, omdat men moeite heeft om de complexe XML- of HTML-structuren op documentniveau effectief te verwerken. Om dit aan te pakken, stellen wij Format Reinforcement Learning (FormatRL) voor, dat Group Relative Policy Optimization toepast op een supervised fine-tuning model om direct nieuwe structuurbewuste beloningen te optimaliseren: 1) TreeSim, dat structurele gelijkenis meet tussen voorspelde en referentie-XML-bomen, en 2) Node-chrF, dat vertaalkwaliteit meet op het niveau van XML-nodes. Daarnaast passen wij StrucAUC toe, een fijnmazige metric die onderscheid maakt tussen kleine fouten en grote structurele mankementen. Experimenten op de SAP-software documentatie-benchmark tonen verbeteringen aan op zes metrieken, en een analyse toont verder aan hoe verschillende beloningsfuncties bijdragen aan verbeteringen in zowel structurele als vertaalkwaliteit.
English
Recent works on structured text translation remain limited to the sentence level, as they struggle to effectively handle the complex document-level XML or HTML structures. To address this, we propose Format Reinforcement Learning (FormatRL), which employs Group Relative Policy Optimization on top of a supervised fine-tuning model to directly optimize novel structure-aware rewards: 1) TreeSim, which measures structural similarity between predicted and reference XML trees and 2) Node-chrF, which measures translation quality at the level of XML nodes. Additionally, we apply StrucAUC, a fine-grained metric distinguishing between minor errors and major structural failures. Experiments on the SAP software-documentation benchmark demonstrate improvements across six metrics and an analysis further shows how different reward functions contribute to improvements in both structural and translation quality.