ChatQA : Développer des modèles de questions-réponses conversationnelles de niveau GPT-4

ChatQA: Building GPT-4 Level Conversational QA Models

January 18, 2024

Auteurs: Zihan Liu, Wei Ping, Rajarshi Roy, Peng Xu, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Résumé

Dans ce travail, nous présentons ChatQA, une famille de modèles de question-réponse conversationnelle (QA) qui atteignent des niveaux de précision comparables à GPT-4. Plus précisément, nous proposons une méthode d'ajustement par instruction en deux étapes qui permet d'améliorer significativement les résultats de QA conversationnelle en zero-shot des grands modèles de langage (LLM). Pour gérer la recherche dans le cadre de la QA conversationnelle, nous affinons un récupérateur dense sur un ensemble de données de QA multi-tours, ce qui fournit des résultats comparables à l'utilisation du modèle de réécriture de requêtes de pointe tout en réduisant considérablement les coûts de déploiement. Il est à noter que notre ChatQA-70B surpasse GPT-4 en termes de score moyen sur 10 ensembles de données de QA conversationnelle (54,14 contre 53,90), sans recourir à aucune donnée synthétique provenant des modèles GPT d'OpenAI.

English

In this work, we introduce ChatQA, a family of conversational question answering (QA) models, that obtain GPT-4 level accuracies. Specifically, we propose a two-stage instruction tuning method that can significantly improve the zero-shot conversational QA results from large language models (LLMs). To handle retrieval in conversational QA, we fine-tune a dense retriever on a multi-turn QA dataset, which provides comparable results to using the state-of-the-art query rewriting model while largely reducing deployment cost. Notably, our ChatQA-70B can outperform GPT-4 in terms of average score on 10 conversational QA datasets (54.14 vs. 53.90), without relying on any synthetic data from OpenAI GPT models.