Table ronde : Exploiter un schéma dynamique et l'autocomplétion contextuelle pour améliorer la précision des requêtes dans le cadre de la réponse aux questions tabulaires

RoundTable: Leveraging Dynamic Schema and Contextual Autocomplete for Enhanced Query Precision in Tabular Question Answering

August 22, 2024

Auteurs: Pratyush Kumar, Kuber Vijaykumar Bellad, Bharat Vadlamudi, Aman Chadha

cs.AI

Résumé

Avec les progrès des Modèles de Langage de Grande Taille (LLM), un cas d'utilisation majeur qui a émergé est la requête de bases de données en anglais courant, traduisant les questions des utilisateurs en requêtes de base de données exécutables, ce qui s'est considérablement amélioré. Cependant, les ensembles de données du monde réel présentent souvent une vaste gamme d'attributs et de valeurs complexes, compliquant la tâche des LLMs d'identifier avec précision les colonnes ou valeurs pertinentes à partir des requêtes en langage naturel. Les méthodes traditionnelles ne parviennent pas à transmettre pleinement la taille et la complexité des ensembles de données au LLM. Pour relever ces défis, nous proposons un cadre novateur qui exploite la Recherche en Texte Intégral (FTS) sur la table d'entrée. Cette approche permet non seulement une détection précise des valeurs et colonnes spécifiques, mais réduit également l'espace de recherche pour les modèles de langage, améliorant ainsi la précision des requêtes. De plus, elle prend en charge une fonctionnalité d'auto-complétion personnalisée qui suggère des requêtes basées sur les données de la table. Cette intégration affine considérablement l'interaction entre l'utilisateur et les ensembles de données complexes, offrant une solution sophistiquée aux limitations auxquelles sont confrontées les capacités actuelles de requête de table. Ce travail est accompagné d'une application pour les plateformes Mac et Windows, que les lecteurs peuvent essayer eux-mêmes avec leurs propres données.

English

With advancements in Large Language Models (LLMs), a major use case that has emerged is querying databases in plain English, translating user questions into executable database queries, which has improved significantly. However, real-world datasets often feature a vast array of attributes and complex values, complicating the LLMs task of accurately identifying relevant columns or values from natural language queries. Traditional methods cannot fully relay the datasets size and complexity to the LLM. To address these challenges, we propose a novel framework that leverages Full-Text Search (FTS) on the input table. This approach not only enables precise detection of specific values and columns but also narrows the search space for language models, thereby enhancing query accuracy. Additionally, it supports a custom auto-complete feature that suggests queries based on the data in the table. This integration significantly refines the interaction between the user and complex datasets, offering a sophisticated solution to the limitations faced by current table querying capabilities. This work is accompanied by an application for both Mac and Windows platforms, which readers can try out themselves on their own data.