Круглый стол: Использование динамической схемы и контекстуального автозаполнения для повышения точности запросов в системах вопросов и ответов на табличных данных

RoundTable: Leveraging Dynamic Schema and Contextual Autocomplete for Enhanced Query Precision in Tabular Question Answering

August 22, 2024

Авторы: Pratyush Kumar, Kuber Vijaykumar Bellad, Bharat Vadlamudi, Aman Chadha

cs.AI

Аннотация

С развитием крупных языковых моделей (LLM) возникло значительное применение - запрос к базам данных на обычном английском языке, перевод вопросов пользователей в исполнимые запросы к базе данных, что значительно улучшило процесс. Однако реальные наборы данных часто содержат огромное количество атрибутов и сложные значения, что затрудняет задачу LLM в точной идентификации соответствующих столбцов или значений из запросов на естественном языке. Традиционные методы не могут полностью передать размер и сложность наборов данных LLM. Для решения этих проблем мы предлагаем новую структуру, которая использует Полнотекстовый поиск (FTS) во входной таблице. Этот подход не только обеспечивает точное обнаружение конкретных значений и столбцов, но также сужает пространство поиска для языковых моделей, тем самым повышая точность запросов. Кроме того, он поддерживает функцию автозаполнения, которая предлагает запросы на основе данных в таблице. Эта интеграция значительно улучшает взаимодействие между пользователем и сложными наборами данных, предлагая изощренное решение для ограничений, с которыми сталкиваются текущие возможности запросов к таблицам. Эта работа сопровождается приложением для платформ Mac и Windows, которое читатели могут попробовать на своих собственных данных.

English

With advancements in Large Language Models (LLMs), a major use case that has emerged is querying databases in plain English, translating user questions into executable database queries, which has improved significantly. However, real-world datasets often feature a vast array of attributes and complex values, complicating the LLMs task of accurately identifying relevant columns or values from natural language queries. Traditional methods cannot fully relay the datasets size and complexity to the LLM. To address these challenges, we propose a novel framework that leverages Full-Text Search (FTS) on the input table. This approach not only enables precise detection of specific values and columns but also narrows the search space for language models, thereby enhancing query accuracy. Additionally, it supports a custom auto-complete feature that suggests queries based on the data in the table. This integration significantly refines the interaction between the user and complex datasets, offering a sophisticated solution to the limitations faced by current table querying capabilities. This work is accompanied by an application for both Mac and Windows platforms, which readers can try out themselves on their own data.