Tradução Estruturada de Documentos via Aprendizado por Reforço de Formatação
Structured Document Translation via Format Reinforcement Learning
December 4, 2025
Autores: Haiyue Song, Johannes Eschbach-Dymanus, Hour Kaing, Sumire Honda, Hideki Tanaka, Bianka Buschbeck, Masao Utiyama
cs.AI
Resumo
Os trabalhos recentes sobre tradução de texto estruturado permanecem limitados ao nível da frase, uma vez que lutam para lidar eficazmente com as complexas estruturas XML ou HTML a nível de documento. Para resolver isto, propomos o Format Reinforcement Learning (FormatRL), que emprega a Otimização de Política Relativa de Grupo sobre um modelo de afinação supervisionada para otimizar diretamente novas recompensas conscientes da estrutura: 1) TreeSim, que mede a similaridade estrutural entre as árvores XML previstas e de referência, e 2) Node-chrF, que mede a qualidade da tradução ao nível dos nós XML. Adicionalmente, aplicamos o StrucAUC, uma métrica de granularidade fina que distingue entre erros menores e falhas estruturais maiores. Experiências no benchmark de documentação de software SAP demonstram melhorias em seis métricas, e uma análise mostra ainda como diferentes funções de recompensa contribuem para melhorias na qualidade estrutural e de tradução.
English
Recent works on structured text translation remain limited to the sentence level, as they struggle to effectively handle the complex document-level XML or HTML structures. To address this, we propose Format Reinforcement Learning (FormatRL), which employs Group Relative Policy Optimization on top of a supervised fine-tuning model to directly optimize novel structure-aware rewards: 1) TreeSim, which measures structural similarity between predicted and reference XML trees and 2) Node-chrF, which measures translation quality at the level of XML nodes. Additionally, we apply StrucAUC, a fine-grained metric distinguishing between minor errors and major structural failures. Experiments on the SAP software-documentation benchmark demonstrate improvements across six metrics and an analysis further shows how different reward functions contribute to improvements in both structural and translation quality.