T2R-Bench: Ein Benchmark für die Generierung von Artikel-basierten Berichten aus realen industriellen Tabellen
T2R-bench: A Benchmark for Generating Article-Level Reports from Real World Industrial Tables
August 27, 2025
papers.authors: Jie Zhang, Changzai Pan, Kaiwen Wei, Sishi Xiong, Yu Zhao, Xiangyu Li, Jiaxin Peng, Xiaoyan Gu, Jian Yang, Wenhan Chang, Zhenhe Wu, Jiang Zhong, Shuangyong Song, Yongxiang Li, Xuelong Li
cs.AI
papers.abstract
Umfangreiche Forschung wurde durchgeführt, um die Fähigkeiten großer Sprachmodelle (LLMs) im Bereich der Tabellenanalyse zu untersuchen. Die wesentliche Aufgabe, Tabelleninformationen in Berichte umzuwandeln, bleibt jedoch eine erhebliche Herausforderung für industrielle Anwendungen. Diese Aufgabe wird durch zwei kritische Probleme erschwert: 1) Die Komplexität und Vielfalt von Tabellen führen zu suboptimalen Analyseergebnissen; und 2) bestehende Tabellen-Benchmarks sind nicht in der Lage, die praktische Anwendung dieser Aufgabe angemessen zu bewerten. Um diese Lücke zu schließen, schlagen wir die Aufgabe der Tabellen-zu-Bericht-Transformation vor und erstellen einen zweisprachigen Benchmark namens T2R-bench, der den Schlüsselinformationsfluss von den Tabellen zu den Berichten für diese Aufgabe abbildet. Der Benchmark umfasst 457 industrielle Tabellen, die alle aus realen Szenarien stammen und 19 Branchen sowie 4 Arten von industriellen Tabellen abdecken. Darüber hinaus schlagen wir ein Bewertungskriterium vor, um die Qualität der Berichterstellung fair zu messen. Die Experimente mit 25 weit verbreiteten LLMs zeigen, dass selbst state-of-the-art Modelle wie Deepseek-R1 nur eine Leistung mit einem Gesamtscore von 62,71 erreichen, was darauf hindeutet, dass LLMs auf T2R-bench noch Verbesserungspotenzial haben. Quellcode und Daten werden nach der Annahme verfügbar sein.
English
Extensive research has been conducted to explore the capabilities of large
language models (LLMs) in table reasoning. However, the essential task of
transforming tables information into reports remains a significant challenge
for industrial applications. This task is plagued by two critical issues: 1)
the complexity and diversity of tables lead to suboptimal reasoning outcomes;
and 2) existing table benchmarks lack the capacity to adequately assess the
practical application of this task. To fill this gap, we propose the
table-to-report task and construct a bilingual benchmark named T2R-bench, where
the key information flow from the tables to the reports for this task. The
benchmark comprises 457 industrial tables, all derived from real-world
scenarios and encompassing 19 industry domains as well as 4 types of industrial
tables. Furthermore, we propose an evaluation criteria to fairly measure the
quality of report generation. The experiments on 25 widely-used LLMs reveal
that even state-of-the-art models like Deepseek-R1 only achieves performance
with 62.71 overall score, indicating that LLMs still have room for improvement
on T2R-bench. Source code and data will be available after acceptance.