Traducción de Documentos Estructurados mediante Aprendizaje por Refuerzo de Formato
Structured Document Translation via Format Reinforcement Learning
December 4, 2025
Autores: Haiyue Song, Johannes Eschbach-Dymanus, Hour Kaing, Sumire Honda, Hideki Tanaka, Bianka Buschbeck, Masao Utiyama
cs.AI
Resumen
Los trabajos recientes sobre traducción de texto estructurado siguen limitándose al nivel de oración, ya que tienen dificultades para manejar eficazmente las complejas estructuras XML o HTML a nivel de documento. Para abordar esto, proponemos Aprendizaje por Refuerzo de Formato (FormatRL), que emplea Optimización de Políticas Relativas Grupales sobre un modelo supervisado de ajuste fino para optimizar directamente nuevas recompensas conscientes de la estructura: 1) TreeSim, que mide la similitud estructural entre los árboles XML predichos y de referencia, y 2) Node-chrF, que mide la calidad de la traducción a nivel de nodos XML. Adicionalmente, aplicamos StrucAUC, una métrica de grano fino que distingue entre errores menores y fallos estructurales mayores. Los experimentos en el benchmark de documentación de software SAP demuestran mejoras en seis métricas, y un análisis adicional muestra cómo las diferentes funciones de recompensa contribuyen a las mejoras tanto en la calidad estructural como en la de traducción.
English
Recent works on structured text translation remain limited to the sentence level, as they struggle to effectively handle the complex document-level XML or HTML structures. To address this, we propose Format Reinforcement Learning (FormatRL), which employs Group Relative Policy Optimization on top of a supervised fine-tuning model to directly optimize novel structure-aware rewards: 1) TreeSim, which measures structural similarity between predicted and reference XML trees and 2) Node-chrF, which measures translation quality at the level of XML nodes. Additionally, we apply StrucAUC, a fine-grained metric distinguishing between minor errors and major structural failures. Experiments on the SAP software-documentation benchmark demonstrate improvements across six metrics and an analysis further shows how different reward functions contribute to improvements in both structural and translation quality.