HiddenTables & PyQTax: Кооперативная игра и набор данных для TableQA для обеспечения масштаба и конфиденциальности данных в различных таксономиях.

HiddenTables & PyQTax: A Cooperative Game and Dataset For TableQA to Ensure Scale and Data Privacy Across a Myriad of Taxonomies

June 16, 2024

Авторы: William Watson, Nicole Cho, Tucker Balch, Manuela Veloso

cs.AI

Аннотация

Многочисленные различные модели больших языковых моделей (Large Language Models, LLM) сталкиваются с общим вызовом контекстного анализа задач вопросно-ответной таблицы. Эти вызовы обусловлены (1) конечными окнами контекста для больших таблиц, (2) многоаспектными расхождениями среди образцов токенизации относительно границ ячеек и (3) различными ограничениями, вытекающими из конфиденциальности данных при использовании внешних моделей, таких как gpt-3.5-turbo. Мы предлагаем кооперативную игру под названием "HiddenTables" в качестве потенциального решения этого вызова. По сути, "HiddenTables" играется между кодогенерирующей LLM "Решателем" и "Оракулом", который оценивает способность агентов LLM решать задачи Table QA. Эта игра основана на естественных языковых схемах и, что важно, обеспечивает безопасность базовых данных. Мы предоставляем доказательные эксперименты на разнообразном наборе таблиц, которые демонстрируют коллективную неспособность LLM к обобщению и выполнению сложных запросов, обработке композиционных зависимостей и согласованию естественного языка с программными командами при предоставлении конкретных схем таблиц. В отличие от моделей на основе энкодеров, мы расширили границы "HiddenTables", чтобы не ограничиваться количеством строк, поэтому мы продемонстрировали улучшенную эффективность в токенах запроса и завершения. Наша инфраструктура породила новый набор данных "PyQTax", охватывающий 116 671 троек вопрос-таблица-ответ и предоставляющий дополнительные детальные разбивки и метки для различных таксономий вопросов. Таким образом, параллельно с нашими академическими вкладами в отношении недостатков LLM в задачах TableQA, "HiddenTables" является тактильным проявлением того, как LLM могут взаимодействовать с массивными наборами данных, обеспечивая безопасность данных и минимизируя затраты на генерацию.

English

A myriad of different Large Language Models (LLMs) face a common challenge in contextually analyzing table question-answering tasks. These challenges are engendered from (1) finite context windows for large tables, (2) multi-faceted discrepancies amongst tokenization patterns against cell boundaries, and (3) various limitations stemming from data confidentiality in the process of using external models such as gpt-3.5-turbo. We propose a cooperative game dubbed "HiddenTables" as a potential resolution to this challenge. In essence, "HiddenTables" is played between the code-generating LLM "Solver" and the "Oracle" which evaluates the ability of the LLM agents to solve Table QA tasks. This game is based on natural language schemas and importantly, ensures the security of the underlying data. We provide evidential experiments on a diverse set of tables that demonstrate an LLM's collective inability to generalize and perform on complex queries, handle compositional dependencies, and align natural language to programmatic commands when concrete table schemas are provided. Unlike encoder-based models, we have pushed the boundaries of "HiddenTables" to not be limited by the number of rows - therefore we exhibit improved efficiency in prompt and completion tokens. Our infrastructure has spawned a new dataset "PyQTax" that spans across 116,671 question-table-answer triplets and provides additional fine-grained breakdowns & labels for varying question taxonomies. Therefore, in tandem with our academic contributions regarding LLMs' deficiency in TableQA tasks, "HiddenTables" is a tactile manifestation of how LLMs can interact with massive datasets while ensuring data security and minimizing generation costs.