HiddenTables & PyQTax: Un Juego Cooperativo y Conjunto de Datos para TableQA que Garantiza Escalabilidad y Privacidad de Datos a Través de una Multitud de Taxonomías

HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies

June 16, 2024

Autores: William Watson, Nicole Cho, Tucker Balch, Manuela Veloso

cs.AI

Resumen

Una miríada de diferentes Modelos de Lenguaje de Gran Escala (LLMs) enfrentan un desafío común al analizar contextualmente tareas de preguntas y respuestas sobre tablas. Estos desafíos surgen de (1) ventanas de contexto finitas para tablas grandes, (2) discrepancias multifacéticas entre los patrones de tokenización y los límites de las celdas, y (3) diversas limitaciones derivadas de la confidencialidad de los datos en el proceso de utilizar modelos externos como gpt-3.5-turbo. Proponemos un juego cooperativo llamado "HiddenTables" como una posible resolución a este desafío. En esencia, "HiddenTables" se juega entre el LLM generador de código "Solver" y el "Oracle", que evalúa la capacidad de los agentes LLM para resolver tareas de preguntas y respuestas sobre tablas. Este juego se basa en esquemas de lenguaje natural y, lo que es más importante, garantiza la seguridad de los datos subyacentes. Proporcionamos experimentos evidenciados en un conjunto diverso de tablas que demuestran la incapacidad colectiva de un LLM para generalizar y desempeñarse en consultas complejas, manejar dependencias composicionales y alinear el lenguaje natural con comandos programáticos cuando se proporcionan esquemas de tablas concretos. A diferencia de los modelos basados en codificadores, hemos ampliado los límites de "HiddenTables" para que no estén restringidos por el número de filas, lo que demuestra una mayor eficiencia en los tokens de solicitud y finalización. Nuestra infraestructura ha generado un nuevo conjunto de datos llamado "PyQTax" que abarca 116,671 tripletas de pregunta-tabla-respuesta y proporciona desgloses adicionales y etiquetas detalladas para diversas taxonomías de preguntas. Por lo tanto, junto con nuestras contribuciones académicas sobre la deficiencia de los LLMs en tareas de TableQA, "HiddenTables" es una manifestación tangible de cómo los LLMs pueden interactuar con conjuntos de datos masivos mientras garantizan la seguridad de los datos y minimizan los costos de generación.

English

A myriad of different Large Language Models (LLMs) face a common challenge in contextually analyzing table question-answering tasks. These challenges are engendered from (1) finite context windows for large tables, (2) multi-faceted discrepancies amongst tokenization patterns against cell boundaries, and (3) various limitations stemming from data confidentiality in the process of using external models such as gpt-3.5-turbo. We propose a cooperative game dubbed "HiddenTables" as a potential resolution to this challenge. In essence, "HiddenTables" is played between the code-generating LLM "Solver" and the "Oracle" which evaluates the ability of the LLM agents to solve Table QA tasks. This game is based on natural language schemas and importantly, ensures the security of the underlying data. We provide evidential experiments on a diverse set of tables that demonstrate an LLM's collective inability to generalize and perform on complex queries, handle compositional dependencies, and align natural language to programmatic commands when concrete table schemas are provided. Unlike encoder-based models, we have pushed the boundaries of "HiddenTables" to not be limited by the number of rows - therefore we exhibit improved efficiency in prompt and completion tokens. Our infrastructure has spawned a new dataset "PyQTax" that spans across 116,671 question-table-answer triplets and provides additional fine-grained breakdowns & labels for varying question taxonomies. Therefore, in tandem with our academic contributions regarding LLMs' deficiency in TableQA tasks, "HiddenTables" is a tactile manifestation of how LLMs can interact with massive datasets while ensuring data security and minimizing generation costs.