ChatQA: Создание моделей для диалогового вопросно-ответного поиска уровня GPT-4

ChatQA: Building GPT-4 Level Conversational QA Models

January 18, 2024

Авторы: Zihan Liu, Wei Ping, Rajarshi Roy, Peng Xu, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Аннотация

В данной работе мы представляем ChatQA, семейство моделей для диалогового ответа на вопросы (QA), которые достигают точности на уровне GPT-4. В частности, мы предлагаем двухэтапный метод настройки с использованием инструкций, который значительно улучшает результаты диалогового QA в условиях zero-shot для больших языковых моделей (LLM). Для обработки поиска в контексте диалогового QA мы дообучаем плотный поисковый модуль на наборе данных для многоходового QA, что обеспечивает сопоставимые результаты с использованием передовой модели переформулирования запросов, при этом существенно снижая затраты на развертывание. Примечательно, что наша модель ChatQA-70B превосходит GPT-4 по среднему показателю на 10 наборах данных для диалогового QA (54.14 против 53.90), не полагаясь на какие-либо синтетические данные из моделей OpenAI GPT.

English

In this work, we introduce ChatQA, a family of conversational question answering (QA) models, that obtain GPT-4 level accuracies. Specifically, we propose a two-stage instruction tuning method that can significantly improve the zero-shot conversational QA results from large language models (LLMs). To handle retrieval in conversational QA, we fine-tune a dense retriever on a multi-turn QA dataset, which provides comparable results to using the state-of-the-art query rewriting model while largely reducing deployment cost. Notably, our ChatQA-70B can outperform GPT-4 in terms of average score on 10 conversational QA datasets (54.14 vs. 53.90), without relying on any synthetic data from OpenAI GPT models.