構造化文書の翻訳における書式強化学習

要旨

構造化テキスト翻訳に関する最近の研究は、複雑な文書レベルのXMLやHTML構造を効果的に扱うことに課題があるため、依然として文レベルに限定されている。この問題に対処するため、我々はFormat Reinforcement Learning (FormatRL)を提案する。この手法は、教師ありファインチューニングモデルにGroup Relative Policy Optimizationを適用し、新たな構造認識報酬を直接最適化する：1) 予測XMLツリーと参照XMLツリーの構造的類似性を測定するTreeSim、2) XMLノードレベルでの翻訳品質を測定するNode-chrFである。さらに、軽微な誤りと重大な構造的失敗を区別する詳細な評価指標StrucAUCを適用する。SAPソフトウェアドキュメンテーションのベンチマークによる実験では、6つの評価指標全てで改善が確認され、異なる報酬関数が構造的品質と翻訳品質の両方の向上にどのように寄与するかを詳細に分析する。

English

Recent works on structured text translation remain limited to the sentence level, as they struggle to effectively handle the complex document-level XML or HTML structures. To address this, we propose Format Reinforcement Learning (FormatRL), which employs Group Relative Policy Optimization on top of a supervised fine-tuning model to directly optimize novel structure-aware rewards: 1) TreeSim, which measures structural similarity between predicted and reference XML trees and 2) Node-chrF, which measures translation quality at the level of XML nodes. Additionally, we apply StrucAUC, a fine-grained metric distinguishing between minor errors and major structural failures. Experiments on the SAP software-documentation benchmark demonstrate improvements across six metrics and an analysis further shows how different reward functions contribute to improvements in both structural and translation quality.

構造化文書の翻訳における書式強化学習

Structured Document Translation via Format Reinforcement Learning

要旨

Support