형식 강화 학습을 통한 구조화된 문서 번역

초록

구조화된 텍스트 번역에 대한 최근 연구들은 복잡한 문서 수준의 XML 또는 HTML 구조를 효과적으로 처리하지 못해 여전히 문장 수준에 국한되고 있다. 이를 해결하기 위해 우리는 감독 미세조정 모델 위에 그룹 상대 정책 최적화를 적용하여 새로운 구조 인식 보상 함수를 직접 최적화하는 Format 강화 학습(FormatRL)을 제안한다: 1) 예측된 XML 트리와 참조 XML 트리 간의 구조적 유사성을 측정하는 TreeSim과 2) XML 노드 수준에서 번역 품질을 측정하는 Node-chrF이다. 추가로 사소한 오류와 주요 구조적 실패를 구분하는 세분화된 평가 지표인 StrucAUC를 적용한다. SAP 소프트웨어 문서 벤치마크에서의 실험은 6가지 평가 지표 전반에 걸쳐 개선을 보여주며, 추가 분석을 통해 서로 다른 보상 함수가 구조적 및 번역 품질 개선에 어떻게 기여하는지 입증한다.

English

Recent works on structured text translation remain limited to the sentence level, as they struggle to effectively handle the complex document-level XML or HTML structures. To address this, we propose Format Reinforcement Learning (FormatRL), which employs Group Relative Policy Optimization on top of a supervised fine-tuning model to directly optimize novel structure-aware rewards: 1) TreeSim, which measures structural similarity between predicted and reference XML trees and 2) Node-chrF, which measures translation quality at the level of XML nodes. Additionally, we apply StrucAUC, a fine-grained metric distinguishing between minor errors and major structural failures. Experiments on the SAP software-documentation benchmark demonstrate improvements across six metrics and an analysis further shows how different reward functions contribute to improvements in both structural and translation quality.

형식 강화 학습을 통한 구조화된 문서 번역

Structured Document Translation via Format Reinforcement Learning

초록

Support