T2R-bench : Un benchmark pour la génération de rapports au niveau de l'article à partir de tableaux industriels réels

papers.abstract

Des recherches approfondies ont été menées pour explorer les capacités des grands modèles de langage (LLMs) dans le raisonnement sur les tableaux. Cependant, la tâche essentielle de transformer les informations des tableaux en rapports reste un défi majeur pour les applications industrielles. Cette tâche est confrontée à deux problèmes critiques : 1) la complexité et la diversité des tableaux entraînent des résultats de raisonnement sous-optimaux ; et 2) les benchmarks existants pour les tableaux manquent de la capacité à évaluer adéquatement l'application pratique de cette tâche. Pour combler cette lacune, nous proposons la tâche de transformation de tableaux en rapports et construisons un benchmark bilingue nommé T2R-bench, où l'information clé circule des tableaux aux rapports pour cette tâche. Le benchmark comprend 457 tableaux industriels, tous issus de scénarios réels et couvrant 19 domaines industriels ainsi que 4 types de tableaux industriels. De plus, nous proposons des critères d'évaluation pour mesurer équitablement la qualité de la génération de rapports. Les expériences sur 25 LLMs largement utilisés révèlent que même les modèles de pointe comme Deepseek-R1 n'atteignent qu'une performance avec un score global de 62,71, indiquant que les LLMs ont encore des marges d'amélioration sur T2R-bench. Le code source et les données seront disponibles après acceptation.

English

Extensive research has been conducted to explore the capabilities of large language models (LLMs) in table reasoning. However, the essential task of transforming tables information into reports remains a significant challenge for industrial applications. This task is plagued by two critical issues: 1) the complexity and diversity of tables lead to suboptimal reasoning outcomes; and 2) existing table benchmarks lack the capacity to adequately assess the practical application of this task. To fill this gap, we propose the table-to-report task and construct a bilingual benchmark named T2R-bench, where the key information flow from the tables to the reports for this task. The benchmark comprises 457 industrial tables, all derived from real-world scenarios and encompassing 19 industry domains as well as 4 types of industrial tables. Furthermore, we propose an evaluation criteria to fairly measure the quality of report generation. The experiments on 25 widely-used LLMs reveal that even state-of-the-art models like Deepseek-R1 only achieves performance with 62.71 overall score, indicating that LLMs still have room for improvement on T2R-bench. Source code and data will be available after acceptance.

T2R-bench : Un benchmark pour la génération de rapports au niveau de l'article à partir de tableaux industriels réels

T2R-bench: A Benchmark for Generating Article-Level Reports from Real World Industrial Tables

papers.abstract

Support