ST-Raptor: Risposte a Domande su Tabelle Semi-strutturate Basate su LLM

ST-Raptor: LLM-Powered Semi-Structured Table Question Answering

August 25, 2025

Autori: Zirui Tang, Boyu Niu, Xuanhe Zhou, Boxiu Li, Wei Zhou, Jiannan Wang, Guoliang Li, Xinyi Zhang, Fan Wu

cs.AI

Abstract

Le tabelle semi-strutturate, ampiamente utilizzate in applicazioni reali (ad esempio, report finanziari, cartelle cliniche, ordini transazionali), spesso presentano layout flessibili e complessi (ad esempio, intestazioni gerarchiche e celle unite). Queste tabelle si basano generalmente su analisti umani per interpretare i layout delle tabelle e rispondere a relative domande in linguaggio naturale, il che è costoso e inefficiente. Per automatizzare la procedura, i metodi esistenti affrontano sfide significative. In primo luogo, metodi come NL2SQL richiedono la conversione di tabelle semi-strutturate in tabelle strutturate, il che spesso causa una sostanziale perdita di informazioni. In secondo luogo, metodi come NL2Code e QA multi-modale con LLM faticano a comprendere i layout complessi delle tabelle semi-strutturate e non riescono a rispondere accuratamente alle relative domande. A tal fine, proponiamo ST-Raptor, un framework basato su alberi per il question answering su tabelle semi-strutturate utilizzando modelli linguistici di grandi dimensioni. In primo luogo, introduciamo l'Hierarchical Orthogonal Tree (HO-Tree), un modello strutturale che cattura i layout complessi delle tabelle semi-strutturate, insieme a un algoritmo efficace per la costruzione dell'albero. In secondo luogo, definiamo un insieme di operazioni di base sugli alberi per guidare gli LLM nell'esecuzione di comuni task di QA. Data una domanda dell'utente, ST-Raptor la scompone in sottodomande più semplici, genera le corrispondenti pipeline di operazioni sugli alberi e conduce un allineamento operazione-tabella per un'esecuzione accurata della pipeline. In terzo luogo, incorporiamo un meccanismo di verifica in due fasi: la validazione in avanti controlla la correttezza dei passi di esecuzione, mentre la validazione all'indietro valuta l'affidabilità delle risposte ricostruendo le query dalle risposte previste. Per valutare le prestazioni, presentiamo SSTQA, un dataset di 764 domande su 102 tabelle semi-strutturate del mondo reale. Gli esperimenti mostrano che ST-Raptor supera nove baseline fino al 20% in termini di accuratezza delle risposte. Il codice è disponibile all'indirizzo https://github.com/weAIDB/ST-Raptor.

English

Semi-structured tables, widely used in real-world applications (e.g., financial reports, medical records, transactional orders), often involve flexible and complex layouts (e.g., hierarchical headers and merged cells). These tables generally rely on human analysts to interpret table layouts and answer relevant natural language questions, which is costly and inefficient. To automate the procedure, existing methods face significant challenges. First, methods like NL2SQL require converting semi-structured tables into structured ones, which often causes substantial information loss. Second, methods like NL2Code and multi-modal LLM QA struggle to understand the complex layouts of semi-structured tables and cannot accurately answer corresponding questions. To this end, we propose ST-Raptor, a tree-based framework for semi-structured table question answering using large language models. First, we introduce the Hierarchical Orthogonal Tree (HO-Tree), a structural model that captures complex semi-structured table layouts, along with an effective algorithm for constructing the tree. Second, we define a set of basic tree operations to guide LLMs in executing common QA tasks. Given a user question, ST-Raptor decomposes it into simpler sub-questions, generates corresponding tree operation pipelines, and conducts operation-table alignment for accurate pipeline execution. Third, we incorporate a two-stage verification mechanism: forward validation checks the correctness of execution steps, while backward validation evaluates answer reliability by reconstructing queries from predicted answers. To benchmark the performance, we present SSTQA, a dataset of 764 questions over 102 real-world semi-structured tables. Experiments show that ST-Raptor outperforms nine baselines by up to 20% in answer accuracy. The code is available at https://github.com/weAIDB/ST-Raptor.