HiddenTables & PyQTax: Ein kooperatives Spiel und Datensatz für TableQA, um Skalierbarkeit und Datenschutz über eine Vielzahl von Taxonomien sicherzustellen.

HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies

June 16, 2024

Autoren: William Watson, Nicole Cho, Tucker Balch, Manuela Veloso

cs.AI

Zusammenfassung

Eine Vielzahl verschiedener großer Sprachmodelle (Large Language Models, LLMs) steht vor einer gemeinsamen Herausforderung bei der kontextuellen Analyse von Tabellen-Frage-Antwort-Aufgaben. Diese Herausforderungen entstehen aus (1) begrenzten Kontextfenstern für große Tabellen, (2) vielschichtigen Diskrepanzen zwischen Tokenisierungsmustern und Zellgrenzen sowie (3) verschiedenen Einschränkungen, die sich aus der Datenvertraulichkeit im Prozess der Verwendung externer Modelle wie gpt-3.5-turbo ergeben. Wir schlagen ein kooperatives Spiel namens "HiddenTables" als potenzielle Lösung für diese Herausforderung vor. Im Wesentlichen wird "HiddenTables" zwischen dem codegenerierenden LLM "Solver" und dem "Oracle" gespielt, der die Fähigkeit der LLM-Agenten zur Lösung von Tabellen-QA-Aufgaben bewertet. Dieses Spiel basiert auf natürlichen Sprachschemas und gewährleistet die Sicherheit der zugrunde liegenden Daten. Wir liefern experimentelle Beweise anhand einer vielfältigen Auswahl von Tabellen, die die kollektive Unfähigkeit eines LLMs zeigen, zu generalisieren und komplexe Abfragen durchzuführen, kompositionelle Abhängigkeiten zu handhaben und natürliche Sprache mit programmatischen Befehlen abzugleichen, wenn konkrete Tabellenschemas bereitgestellt werden. Im Gegensatz zu encoderbasierten Modellen haben wir die Grenzen von "HiddenTables" erweitert, um nicht durch die Anzahl der Zeilen eingeschränkt zu sein - daher zeigen wir eine verbesserte Effizienz bei Eingabeaufforderungen und Abschluss-Token. Unsere Infrastruktur hat einen neuen Datensatz "PyQTax" hervorgebracht, der sich über 116.671 Frage-Tabellen-Antwort-Tripel erstreckt und zusätzliche feingranulare Aufschlüsselungen und Labels für verschiedene Frage-Taxonomien bietet. Daher ist "HiddenTables" in Verbindung mit unseren wissenschaftlichen Beiträgen zur Unzulänglichkeit von LLMs bei TableQA-Aufgaben eine greifbare Manifestation davon, wie LLMs mit umfangreichen Datensätzen interagieren können, während sie die Datensicherheit gewährleisten und die Generierungskosten minimieren.

English

A myriad of different Large Language Models (LLMs) face a common challenge in contextually analyzing table question-answering tasks. These challenges are engendered from (1) finite context windows for large tables, (2) multi-faceted discrepancies amongst tokenization patterns against cell boundaries, and (3) various limitations stemming from data confidentiality in the process of using external models such as gpt-3.5-turbo. We propose a cooperative game dubbed "HiddenTables" as a potential resolution to this challenge. In essence, "HiddenTables" is played between the code-generating LLM "Solver" and the "Oracle" which evaluates the ability of the LLM agents to solve Table QA tasks. This game is based on natural language schemas and importantly, ensures the security of the underlying data. We provide evidential experiments on a diverse set of tables that demonstrate an LLM's collective inability to generalize and perform on complex queries, handle compositional dependencies, and align natural language to programmatic commands when concrete table schemas are provided. Unlike encoder-based models, we have pushed the boundaries of "HiddenTables" to not be limited by the number of rows - therefore we exhibit improved efficiency in prompt and completion tokens. Our infrastructure has spawned a new dataset "PyQTax" that spans across 116,671 question-table-answer triplets and provides additional fine-grained breakdowns & labels for varying question taxonomies. Therefore, in tandem with our academic contributions regarding LLMs' deficiency in TableQA tasks, "HiddenTables" is a tactile manifestation of how LLMs can interact with massive datasets while ensuring data security and minimizing generation costs.