ST-Raptor : Réponse à des questions sur des tableaux semi-structurés assistée par un modèle de langage de grande taille

ST-Raptor: LLM-Powered Semi-Structured Table Question Answering

August 25, 2025

papers.authors: Zirui Tang, Boyu Niu, Xuanhe Zhou, Boxiu Li, Wei Zhou, Jiannan Wang, Guoliang Li, Xinyi Zhang, Fan Wu

cs.AI

papers.abstract

Les tableaux semi-structurés, largement utilisés dans des applications réelles (par exemple, les rapports financiers, les dossiers médicaux, les commandes transactionnelles), impliquent souvent des mises en page flexibles et complexes (par exemple, des en-têtes hiérarchiques et des cellules fusionnées). Ces tableaux reposent généralement sur des analystes humains pour interpréter les mises en page et répondre à des questions en langage naturel pertinentes, ce qui est coûteux et inefficace. Pour automatiser ce processus, les méthodes existantes rencontrent des défis importants. Premièrement, des méthodes comme NL2SQL nécessitent la conversion des tableaux semi-structurés en tableaux structurés, ce qui entraîne souvent une perte substantielle d'informations. Deuxièmement, des méthodes comme NL2Code et les modèles de langage multi-modaux (LLM) pour les questions-réponses (QA) peinent à comprendre les mises en page complexes des tableaux semi-structurés et ne peuvent pas répondre avec précision aux questions correspondantes. Pour résoudre ce problème, nous proposons ST-Raptor, un framework basé sur des arbres pour les questions-réponses sur les tableaux semi-structurés utilisant des modèles de langage de grande taille. Premièrement, nous introduisons l'arbre orthogonal hiérarchique (HO-Tree), un modèle structurel qui capture les mises en page complexes des tableaux semi-structurés, ainsi qu'un algorithme efficace pour construire cet arbre. Deuxièmement, nous définissons un ensemble d'opérations de base sur les arbres pour guider les LLM dans l'exécution des tâches courantes de QA. Étant donné une question utilisateur, ST-Raptor la décompose en sous-questions plus simples, génère des pipelines d'opérations sur les arbres correspondants, et effectue un alignement entre les opérations et le tableau pour une exécution précise du pipeline. Troisièmement, nous intégrons un mécanisme de vérification en deux étapes : la validation avant vérifie la correction des étapes d'exécution, tandis que la validation arrière évalue la fiabilité des réponses en reconstruisant les requêtes à partir des réponses prédites. Pour évaluer les performances, nous présentons SSTQA, un ensemble de données contenant 764 questions sur 102 tableaux semi-structurés réels. Les expériences montrent que ST-Raptor surpasse neuf méthodes de référence avec une précision des réponses allant jusqu'à 20 % supérieure. Le code est disponible à l'adresse suivante : https://github.com/weAIDB/ST-Raptor.

English

Semi-structured tables, widely used in real-world applications (e.g., financial reports, medical records, transactional orders), often involve flexible and complex layouts (e.g., hierarchical headers and merged cells). These tables generally rely on human analysts to interpret table layouts and answer relevant natural language questions, which is costly and inefficient. To automate the procedure, existing methods face significant challenges. First, methods like NL2SQL require converting semi-structured tables into structured ones, which often causes substantial information loss. Second, methods like NL2Code and multi-modal LLM QA struggle to understand the complex layouts of semi-structured tables and cannot accurately answer corresponding questions. To this end, we propose ST-Raptor, a tree-based framework for semi-structured table question answering using large language models. First, we introduce the Hierarchical Orthogonal Tree (HO-Tree), a structural model that captures complex semi-structured table layouts, along with an effective algorithm for constructing the tree. Second, we define a set of basic tree operations to guide LLMs in executing common QA tasks. Given a user question, ST-Raptor decomposes it into simpler sub-questions, generates corresponding tree operation pipelines, and conducts operation-table alignment for accurate pipeline execution. Third, we incorporate a two-stage verification mechanism: forward validation checks the correctness of execution steps, while backward validation evaluates answer reliability by reconstructing queries from predicted answers. To benchmark the performance, we present SSTQA, a dataset of 764 questions over 102 real-world semi-structured tables. Experiments show that ST-Raptor outperforms nine baselines by up to 20% in answer accuracy. The code is available at https://github.com/weAIDB/ST-Raptor.