HiddenTables & PyQTax: Um Jogo Cooperativo e Conjunto de Dados para TableQA para Garantir Escalabilidade e Privacidade de Dados em uma Miríade de Taxonomias

HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies

June 16, 2024

Autores: William Watson, Nicole Cho, Tucker Balch, Manuela Veloso

cs.AI

Resumo

Uma miríade de diferentes Modelos de Linguagem de Grande Escala (LLMs) enfrenta um desafio comum na análise contextual de tarefas de questionamento e resposta sobre tabelas. Esses desafios surgem de (1) janelas de contexto limitadas para tabelas grandes, (2) discrepâncias multifacetadas entre padrões de tokenização em relação aos limites das células, e (3) várias limitações decorrentes da confidencialidade dos dados no processo de uso de modelos externos, como o gpt-3.5-turbo. Propomos um jogo cooperativo chamado "HiddenTables" como uma resolução potencial para esse desafio. Em essência, o "HiddenTables" é jogado entre o LLM gerador de código "Solver" e o "Oracle", que avalia a capacidade dos agentes LLM de resolver tarefas de questionamento e resposta sobre tabelas. Este jogo é baseado em esquemas de linguagem natural e, de forma crucial, garante a segurança dos dados subjacentes. Fornecemos experimentos evidenciados em um conjunto diversificado de tabelas que demonstram a incapacidade coletiva de um LLM de generalizar e desempenhar-se em consultas complexas, lidar com dependências composicionais e alinhar linguagem natural a comandos programáticos quando esquemas concretos de tabelas são fornecidos. Diferente de modelos baseados em codificadores, expandimos os limites do "HiddenTables" para não serem restritos pelo número de linhas - portanto, exibimos uma eficiência aprimorada em tokens de prompt e conclusão. Nossa infraestrutura gerou um novo conjunto de dados, "PyQTax", que abrange 116.671 triplas de pergunta-tabela-resposta e fornece detalhamentos e rótulos adicionais para diversas taxonomias de perguntas. Assim, em conjunto com nossas contribuições acadêmicas sobre a deficiência dos LLMs em tarefas de TableQA, o "HiddenTables" é uma manifestação tangível de como os LLMs podem interagir com conjuntos de dados massivos enquanto garantem a segurança dos dados e minimizam os custos de geração.

English

A myriad of different Large Language Models (LLMs) face a common challenge in contextually analyzing table question-answering tasks. These challenges are engendered from (1) finite context windows for large tables, (2) multi-faceted discrepancies amongst tokenization patterns against cell boundaries, and (3) various limitations stemming from data confidentiality in the process of using external models such as gpt-3.5-turbo. We propose a cooperative game dubbed "HiddenTables" as a potential resolution to this challenge. In essence, "HiddenTables" is played between the code-generating LLM "Solver" and the "Oracle" which evaluates the ability of the LLM agents to solve Table QA tasks. This game is based on natural language schemas and importantly, ensures the security of the underlying data. We provide evidential experiments on a diverse set of tables that demonstrate an LLM's collective inability to generalize and perform on complex queries, handle compositional dependencies, and align natural language to programmatic commands when concrete table schemas are provided. Unlike encoder-based models, we have pushed the boundaries of "HiddenTables" to not be limited by the number of rows - therefore we exhibit improved efficiency in prompt and completion tokens. Our infrastructure has spawned a new dataset "PyQTax" that spans across 116,671 question-table-answer triplets and provides additional fine-grained breakdowns & labels for varying question taxonomies. Therefore, in tandem with our academic contributions regarding LLMs' deficiency in TableQA tasks, "HiddenTables" is a tactile manifestation of how LLMs can interact with massive datasets while ensuring data security and minimizing generation costs.