ST-Raptor: LLM-aangedreven semi-gestructureerde tabelvraagbeantwoording

ST-Raptor: LLM-Powered Semi-Structured Table Question Answering

August 25, 2025

Auteurs: Zirui Tang, Boyu Niu, Xuanhe Zhou, Boxiu Li, Wei Zhou, Jiannan Wang, Guoliang Li, Xinyi Zhang, Fan Wu

cs.AI

Samenvatting

Semi-gestructureerde tabellen, die veel worden gebruikt in real-world toepassingen (bijv. financiële rapporten, medische dossiers, transactieorders), hebben vaak flexibele en complexe lay-outs (bijv. hiërarchische koppen en samengevoegde cellen). Deze tabellen zijn doorgaans afhankelijk van menselijke analisten om de tabelindelingen te interpreteren en relevante vragen in natuurlijke taal te beantwoorden, wat kostbaar en inefficiënt is. Om dit proces te automatiseren, staan bestaande methoden voor aanzienlijke uitdagingen. Ten eerste vereisen methoden zoals NL2SQL het omzetten van semi-gestructureerde tabellen in gestructureerde tabellen, wat vaak tot aanzienlijk informatieverlies leidt. Ten tweede hebben methoden zoals NL2Code en multi-modale LLM QA moeite met het begrijpen van de complexe lay-outs van semi-gestructureerde tabellen en kunnen ze de bijbehorende vragen niet nauwkeurig beantwoorden. Daarom stellen we ST-Raptor voor, een op bomen gebaseerd raamwerk voor het beantwoorden van vragen over semi-gestructureerde tabellen met behulp van grote taalmodellen. Ten eerste introduceren we de Hierarchical Orthogonal Tree (HO-Tree), een structureel model dat complexe lay-outs van semi-gestructureerde tabellen vastlegt, samen met een effectief algoritme voor het construeren van de boom. Ten tweede definiëren we een set basisboomoperaties om LLM's te begeleiden bij het uitvoeren van veelvoorkomende QA-taken. Gegeven een gebruikersvraag, deelt ST-Raptor deze op in eenvoudigere subvragen, genereert het bijbehorende boomoperatiepijplijnen en voert het operatie-tabeluitlijning uit voor nauwkeurige pijplijnuitvoering. Ten derde integreren we een tweestaps validatiemechanisme: voorwaartse validatie controleert de juistheid van uitvoeringsstappen, terwijl achterwaartse validatie de betrouwbaarheid van antwoorden evalueert door queries te reconstrueren uit voorspelde antwoorden. Om de prestaties te benchmarken, presenteren we SSTQA, een dataset van 764 vragen over 102 real-world semi-gestructureerde tabellen. Experimenten tonen aan dat ST-Raptor negen baseline-methoden overtreft met een verbetering van tot 20% in antwoorden nauwkeurigheid. De code is beschikbaar op https://github.com/weAIDB/ST-Raptor.

English

Semi-structured tables, widely used in real-world applications (e.g., financial reports, medical records, transactional orders), often involve flexible and complex layouts (e.g., hierarchical headers and merged cells). These tables generally rely on human analysts to interpret table layouts and answer relevant natural language questions, which is costly and inefficient. To automate the procedure, existing methods face significant challenges. First, methods like NL2SQL require converting semi-structured tables into structured ones, which often causes substantial information loss. Second, methods like NL2Code and multi-modal LLM QA struggle to understand the complex layouts of semi-structured tables and cannot accurately answer corresponding questions. To this end, we propose ST-Raptor, a tree-based framework for semi-structured table question answering using large language models. First, we introduce the Hierarchical Orthogonal Tree (HO-Tree), a structural model that captures complex semi-structured table layouts, along with an effective algorithm for constructing the tree. Second, we define a set of basic tree operations to guide LLMs in executing common QA tasks. Given a user question, ST-Raptor decomposes it into simpler sub-questions, generates corresponding tree operation pipelines, and conducts operation-table alignment for accurate pipeline execution. Third, we incorporate a two-stage verification mechanism: forward validation checks the correctness of execution steps, while backward validation evaluates answer reliability by reconstructing queries from predicted answers. To benchmark the performance, we present SSTQA, a dataset of 764 questions over 102 real-world semi-structured tables. Experiments show that ST-Raptor outperforms nine baselines by up to 20% in answer accuracy. The code is available at https://github.com/weAIDB/ST-Raptor.