HiddenTables & PyQTax: Un Gioco Cooperativo e un Dataset per TableQA per Garantire Scalabilità e Privacy dei Dati Attraverso una Molteplicità di Tassonomie

HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies

June 16, 2024

Autori: William Watson, Nicole Cho, Tucker Balch, Manuela Veloso

cs.AI

Abstract

Una miriade di diversi modelli linguistici di grandi dimensioni (LLM) affronta una sfida comune nell'analisi contestuale dei compiti di risposta a domande basate su tabelle. Queste sfide derivano da (1) finestre di contesto limitate per tabelle di grandi dimensioni, (2) discrepanze multifaccettate tra i modelli di tokenizzazione e i confini delle celle, e (3) varie limitazioni legate alla riservatezza dei dati nel processo di utilizzo di modelli esterni come gpt-3.5-turbo. Proponiamo un gioco cooperativo denominato "HiddenTables" come potenziale soluzione a questa sfida. In sostanza, "HiddenTables" viene giocato tra l'LLM generatore di codice "Solver" e l'"Oracle" che valuta la capacità degli agenti LLM di risolvere compiti di Table QA. Questo gioco si basa su schemi di linguaggio naturale e, cosa importante, garantisce la sicurezza dei dati sottostanti. Forniamo esperimenti evidenti su un insieme diversificato di tabelle che dimostrano l'incapacità collettiva degli LLM di generalizzare e performare su query complesse, gestire dipendenze composizionali e allineare il linguaggio naturale a comandi programmatici quando vengono forniti schemi di tabelle concreti. A differenza dei modelli basati su encoder, abbiamo spinto i confini di "HiddenTables" per non essere limitati dal numero di righe, dimostrando quindi un'efficienza migliorata nei token di prompt e completamento. La nostra infrastruttura ha generato un nuovo dataset "PyQTax" che copre 116.711 triplette domanda-tabella-risposta e fornisce ulteriori suddivisioni dettagliate ed etichette per diverse tassonomie di domande. Pertanto, in parallelo con i nostri contributi accademici riguardo alle carenze degli LLM nei compiti di TableQA, "HiddenTables" è una manifestazione tangibile di come gli LLM possano interagire con dataset di grandi dimensioni garantendo la sicurezza dei dati e minimizzando i costi di generazione.

English

A myriad of different Large Language Models (LLMs) face a common challenge in contextually analyzing table question-answering tasks. These challenges are engendered from (1) finite context windows for large tables, (2) multi-faceted discrepancies amongst tokenization patterns against cell boundaries, and (3) various limitations stemming from data confidentiality in the process of using external models such as gpt-3.5-turbo. We propose a cooperative game dubbed "HiddenTables" as a potential resolution to this challenge. In essence, "HiddenTables" is played between the code-generating LLM "Solver" and the "Oracle" which evaluates the ability of the LLM agents to solve Table QA tasks. This game is based on natural language schemas and importantly, ensures the security of the underlying data. We provide evidential experiments on a diverse set of tables that demonstrate an LLM's collective inability to generalize and perform on complex queries, handle compositional dependencies, and align natural language to programmatic commands when concrete table schemas are provided. Unlike encoder-based models, we have pushed the boundaries of "HiddenTables" to not be limited by the number of rows - therefore we exhibit improved efficiency in prompt and completion tokens. Our infrastructure has spawned a new dataset "PyQTax" that spans across 116,671 question-table-answer triplets and provides additional fine-grained breakdowns & labels for varying question taxonomies. Therefore, in tandem with our academic contributions regarding LLMs' deficiency in TableQA tasks, "HiddenTables" is a tactile manifestation of how LLMs can interact with massive datasets while ensuring data security and minimizing generation costs.