HiddenTables & PyQTax: Een Coöperatief Spel en Dataset voor TableQA om Schaal en Gegevensprivacy te Waarborgen over een Veelheid van Taxonomieën

HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies

June 16, 2024

Auteurs: William Watson, Nicole Cho, Tucker Balch, Manuela Veloso

cs.AI

Samenvatting

Een veelvoud aan verschillende Large Language Models (LLMs) wordt geconfronteerd met een gemeenschappelijke uitdaging bij het contextueel analyseren van tabelvraag-antwoordtaken. Deze uitdagingen ontstaan door (1) beperkte contextvensters voor grote tabellen, (2) veelzijdige discrepanties tussen tokenisatiepatronen en celgrenzen, en (3) diverse beperkingen die voortkomen uit gegevensvertrouwelijkheid bij het gebruik van externe modellen zoals gpt-3.5-turbo. Wij stellen een coöperatief spel genaamd "HiddenTables" voor als een mogelijke oplossing voor deze uitdaging. In essentie wordt "HiddenTables" gespeeld tussen de codegenererende LLM "Solver" en de "Oracle", die het vermogen van de LLM-agents evalueert om tabelvraag-antwoordtaken op te lossen. Dit spel is gebaseerd op natuurlijke taal schema's en zorgt, cruciaal, voor de beveiliging van de onderliggende gegevens. Wij presenteren bewijsvoerende experimenten op een diverse set van tabellen die het collectieve onvermogen van een LLM aantonen om te generaliseren en te presteren op complexe queries, compositionele afhankelijkheden te hanteren, en natuurlijke taal af te stemmen op programmatische commando's wanneer concrete tabelechema's worden verstrekt. In tegenstelling tot encoder-gebaseerde modellen, hebben wij de grenzen van "HiddenTables" verlegd om niet beperkt te worden door het aantal rijen - waardoor wij een verbeterde efficiëntie in prompt- en completion-tokens demonstreren. Onze infrastructuur heeft een nieuwe dataset "PyQTax" voortgebracht die 116.671 vraag-tabel-antwoord tripletten omvat en aanvullende fijnmazige opdelingen en labels biedt voor verschillende vraagtaxonomieën. Daarom is "HiddenTables", in samenhang met onze academische bijdragen over de tekortkomingen van LLMs in TableQA-taken, een tastbare manifestatie van hoe LLMs kunnen interageren met enorme datasets terwijl gegevensbeveiliging wordt gewaarborgd en generatiekosten worden geminimaliseerd.

English

A myriad of different Large Language Models (LLMs) face a common challenge in contextually analyzing table question-answering tasks. These challenges are engendered from (1) finite context windows for large tables, (2) multi-faceted discrepancies amongst tokenization patterns against cell boundaries, and (3) various limitations stemming from data confidentiality in the process of using external models such as gpt-3.5-turbo. We propose a cooperative game dubbed "HiddenTables" as a potential resolution to this challenge. In essence, "HiddenTables" is played between the code-generating LLM "Solver" and the "Oracle" which evaluates the ability of the LLM agents to solve Table QA tasks. This game is based on natural language schemas and importantly, ensures the security of the underlying data. We provide evidential experiments on a diverse set of tables that demonstrate an LLM's collective inability to generalize and perform on complex queries, handle compositional dependencies, and align natural language to programmatic commands when concrete table schemas are provided. Unlike encoder-based models, we have pushed the boundaries of "HiddenTables" to not be limited by the number of rows - therefore we exhibit improved efficiency in prompt and completion tokens. Our infrastructure has spawned a new dataset "PyQTax" that spans across 116,671 question-table-answer triplets and provides additional fine-grained breakdowns & labels for varying question taxonomies. Therefore, in tandem with our academic contributions regarding LLMs' deficiency in TableQA tasks, "HiddenTables" is a tactile manifestation of how LLMs can interact with massive datasets while ensuring data security and minimizing generation costs.