DocReward : Un modèle de récompense documentaire pour la structuration et la stylisation

DocReward: A Document Reward Model for Structuring and Stylizing

October 13, 2025

papers.authors: Junpeng Liu, Yuzhong Zhao, Bowen Cao, Jiayu Ding, Yilin Jia, Tengchao Lv, Yupan Huang, Shaohan Huang, Nan Yang, Li Dong, Lei Cui, Tao Ge, Xun Wang, Huitian Jiao, Sun Mao, FNU Kartik, Si-Qing Chen, Wai Lam, Furu Wei

cs.AI

papers.abstract

Les récentes avancées dans les workflows agentiques ont permis l'automatisation de tâches telles que la génération de documents professionnels. Cependant, elles se concentrent principalement sur la qualité textuelle, négligeant la structure visuelle et le style, qui sont cruciaux pour la lisibilité et l'engagement. Cet écart découle principalement de l'absence de modèles de récompense adaptés pour guider les workflows agentiques vers la production de documents dotés d'une meilleure qualité structurelle et stylistique. Pour remédier à cela, nous proposons DocReward, un modèle de récompense pour documents qui évalue les documents en fonction de leur structure et de leur style. Nous construisons un ensemble de données multi-domaines DocPair comprenant 117 000 paires de documents, couvrant 32 domaines et 267 types de documents, chacun incluant un document de haute et de faible professionnalisme avec un contenu identique mais une structure et un style différents. Cela permet au modèle d'évaluer le professionnalisme de manière exhaustive et indépendamment de la qualité textuelle. DocReward est entraîné en utilisant la perte de Bradley-Terry pour noter les documents, en pénalisant les prédictions qui contredisent le classement annoté. Pour évaluer la performance des modèles de récompense, nous créons un ensemble de données de test contenant des lots de documents classés par des évaluateurs humains bien éduqués. Notamment, DocReward surpasse GPT-4o et GPT-5 en précision de 30,6 et 19,4 points de pourcentage respectivement, démontrant sa supériorité par rapport aux modèles de référence. Dans une évaluation extrinsèque de la génération de documents, DocReward atteint un taux de réussite significativement plus élevé de 60,8 %, contre 37,7 % pour GPT-5, démontrant son utilité pour guider les agents de génération vers la production de documents préférés par les humains.

English

Recent advances in agentic workflows have enabled the automation of tasks such as professional document generation. However, they primarily focus on textual quality, neglecting visual structure and style, which are crucial for readability and engagement. This gap arises mainly from the absence of suitable reward models to guide agentic workflows toward producing documents with stronger structural and stylistic quality. To address this, we propose DocReward, a document reward model that evaluates documents based on their structure and style. We construct a multi-domain dataset DocPair of 117K paired documents, covering 32 domains and 267 document types, each including a high- and low-professionalism document with identical content but different structure and style. This enables the model to evaluate professionalism comprehensively, and in a textual-quality-agnostic way. DocReward is trained using the Bradley-Terry loss to score documents, penalizing predictions that contradict the annotated ranking. To assess the performance of reward models, we create a test dataset containing document bundles ranked by well-educated human evaluators. Notably, DocReward outperforms GPT-4o and GPT-5 in accuracy by 30.6 and 19.4 percentage points, respectively, demonstrating its superiority over baselines. In an extrinsic evaluation of document generation, DocReward achieves a significantly higher win rate of 60.8%, compared to GPT-5's 37.7% win rate, demonstrating its utility in guiding generation agents toward producing human-preferred documents.