DocReward: Un Modelo de Recompensa de Documentos para Estructurar y Estilizar

DocReward: A Document Reward Model for Structuring and Stylizing

October 13, 2025

Autores: Junpeng Liu, Yuzhong Zhao, Bowen Cao, Jiayu Ding, Yilin Jia, Tengchao Lv, Yupan Huang, Shaohan Huang, Nan Yang, Li Dong, Lei Cui, Tao Ge, Xun Wang, Huitian Jiao, Sun Mao, FNU Kartik, Si-Qing Chen, Wai Lam, Furu Wei

cs.AI

Resumen

Los recientes avances en flujos de trabajo agentivos han permitido la automatización de tareas como la generación de documentos profesionales. Sin embargo, estos avances se centran principalmente en la calidad textual, descuidando la estructura y el estilo visual, que son cruciales para la legibilidad y el compromiso del lector. Esta brecha surge principalmente de la ausencia de modelos de recompensa adecuados para guiar a los flujos de trabajo agentivos hacia la producción de documentos con una calidad estructural y estilística más sólida. Para abordar esto, proponemos DocReward, un modelo de recompensa de documentos que evalúa los documentos en función de su estructura y estilo. Construimos un conjunto de datos multi-dominio llamado DocPair, que contiene 117K pares de documentos, abarcando 32 dominios y 267 tipos de documentos, cada uno incluyendo un documento de alta y baja profesionalidad con contenido idéntico pero diferente estructura y estilo. Esto permite que el modelo evalúe la profesionalidad de manera integral y de una manera independiente de la calidad textual. DocReward se entrena utilizando la pérdida de Bradley-Terry para puntuar documentos, penalizando las predicciones que contradicen el ranking anotado. Para evaluar el rendimiento de los modelos de recompensa, creamos un conjunto de datos de prueba que contiene paquetes de documentos clasificados por evaluadores humanos bien educados. Notablemente, DocReward supera a GPT-4o y GPT-5 en precisión por 30.6 y 19.4 puntos porcentuales, respectivamente, demostrando su superioridad sobre las líneas base. En una evaluación extrínseca de la generación de documentos, DocReward logra una tasa de victoria significativamente mayor del 60.8%, en comparación con el 37.7% de GPT-5, demostrando su utilidad para guiar a los agentes de generación hacia la producción de documentos preferidos por los humanos.

English

Recent advances in agentic workflows have enabled the automation of tasks such as professional document generation. However, they primarily focus on textual quality, neglecting visual structure and style, which are crucial for readability and engagement. This gap arises mainly from the absence of suitable reward models to guide agentic workflows toward producing documents with stronger structural and stylistic quality. To address this, we propose DocReward, a document reward model that evaluates documents based on their structure and style. We construct a multi-domain dataset DocPair of 117K paired documents, covering 32 domains and 267 document types, each including a high- and low-professionalism document with identical content but different structure and style. This enables the model to evaluate professionalism comprehensively, and in a textual-quality-agnostic way. DocReward is trained using the Bradley-Terry loss to score documents, penalizing predictions that contradict the annotated ranking. To assess the performance of reward models, we create a test dataset containing document bundles ranked by well-educated human evaluators. Notably, DocReward outperforms GPT-4o and GPT-5 in accuracy by 30.6 and 19.4 percentage points, respectively, demonstrating its superiority over baselines. In an extrinsic evaluation of document generation, DocReward achieves a significantly higher win rate of 60.8%, compared to GPT-5's 37.7% win rate, demonstrating its utility in guiding generation agents toward producing human-preferred documents.