HiddenTables & PyQTax : Un jeu coopératif et un ensemble de données pour TableQA visant à garantir l'échelle et la confidentialité des données à travers une multitude de taxonomies

HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies

June 16, 2024

Auteurs: William Watson, Nicole Cho, Tucker Balch, Manuela Veloso

cs.AI

Résumé

Une multitude de modèles de langage de grande taille (LLMs) sont confrontés à un défi commun dans l'analyse contextuelle des tâches de question-réponse sur des tableaux. Ces défis découlent de (1) fenêtres de contexte limitées pour les grands tableaux, (2) divergences multifacettes entre les schémas de tokenisation et les limites des cellules, et (3) diverses limitations liées à la confidentialité des données lors de l'utilisation de modèles externes tels que gpt-3.5-turbo. Nous proposons un jeu coopératif nommé "HiddenTables" comme solution potentielle à ce défi. En substance, "HiddenTables" se joue entre le LLM générateur de code "Solver" et l'"Oracle" qui évalue la capacité des agents LLM à résoudre des tâches de question-réponse sur des tableaux. Ce jeu repose sur des schémas en langage naturel et, surtout, garantit la sécurité des données sous-jacentes. Nous présentons des expériences probantes sur un ensemble diversifié de tableaux qui démontrent l'incapacité collective des LLMs à généraliser et à performer sur des requêtes complexes, à gérer les dépendances compositionnelles, et à aligner le langage naturel sur des commandes programmatiques lorsque des schémas de tableaux concrets sont fournis. Contrairement aux modèles basés sur des encodeurs, nous avons repoussé les limites de "HiddenTables" pour ne pas être restreints par le nombre de lignes, ce qui permet d'exhiber une efficacité améliorée en termes de tokens de prompt et de complétion. Notre infrastructure a donné naissance à un nouveau jeu de données "PyQTax" qui couvre 116 671 triplets question-tableau-réponse et fournit des décompositions et étiquettes supplémentaires pour diverses taxonomies de questions. Ainsi, parallèlement à nos contributions académiques concernant les lacunes des LLMs dans les tâches de TableQA, "HiddenTables" est une manifestation concrète de la manière dont les LLMs peuvent interagir avec des ensembles de données massifs tout en assurant la sécurité des données et en minimisant les coûts de génération.

English

A myriad of different Large Language Models (LLMs) face a common challenge in contextually analyzing table question-answering tasks. These challenges are engendered from (1) finite context windows for large tables, (2) multi-faceted discrepancies amongst tokenization patterns against cell boundaries, and (3) various limitations stemming from data confidentiality in the process of using external models such as gpt-3.5-turbo. We propose a cooperative game dubbed "HiddenTables" as a potential resolution to this challenge. In essence, "HiddenTables" is played between the code-generating LLM "Solver" and the "Oracle" which evaluates the ability of the LLM agents to solve Table QA tasks. This game is based on natural language schemas and importantly, ensures the security of the underlying data. We provide evidential experiments on a diverse set of tables that demonstrate an LLM's collective inability to generalize and perform on complex queries, handle compositional dependencies, and align natural language to programmatic commands when concrete table schemas are provided. Unlike encoder-based models, we have pushed the boundaries of "HiddenTables" to not be limited by the number of rows - therefore we exhibit improved efficiency in prompt and completion tokens. Our infrastructure has spawned a new dataset "PyQTax" that spans across 116,671 question-table-answer triplets and provides additional fine-grained breakdowns & labels for varying question taxonomies. Therefore, in tandem with our academic contributions regarding LLMs' deficiency in TableQA tasks, "HiddenTables" is a tactile manifestation of how LLMs can interact with massive datasets while ensuring data security and minimizing generation costs.