ChatQA: Construindo Modelos de QA Conversacional no Nível do GPT-4

Resumo

Neste trabalho, apresentamos o ChatQA, uma família de modelos de questionamento e resposta conversacional (QA, do inglês Question Answering) que alcançam níveis de precisão comparáveis ao GPT-4. Especificamente, propomos um método de ajuste fino em duas etapas que pode melhorar significativamente os resultados de QA conversacional em cenários de zero-shot em modelos de linguagem de grande escala (LLMs, do inglês Large Language Models). Para lidar com a recuperação de informações em QA conversacional, ajustamos finamente um recuperador denso em um conjunto de dados de QA multi-turn, o que fornece resultados comparáveis ao uso do modelo de reescrita de consultas state-of-the-art, ao mesmo tempo em que reduz substancialmente os custos de implantação. Notavelmente, nosso ChatQA-70B pode superar o GPT-4 em termos de pontuação média em 10 conjuntos de dados de QA conversacional (54,14 vs. 53,90), sem depender de quaisquer dados sintéticos dos modelos GPT da OpenAI.

English

In this work, we introduce ChatQA, a family of conversational question answering (QA) models, that obtain GPT-4 level accuracies. Specifically, we propose a two-stage instruction tuning method that can significantly improve the zero-shot conversational QA results from large language models (LLMs). To handle retrieval in conversational QA, we fine-tune a dense retriever on a multi-turn QA dataset, which provides comparable results to using the state-of-the-art query rewriting model while largely reducing deployment cost. Notably, our ChatQA-70B can outperform GPT-4 in terms of average score on 10 conversational QA datasets (54.14 vs. 53.90), without relying on any synthetic data from OpenAI GPT models.

ChatQA: Construindo Modelos de QA Conversacional no Nível do GPT-4

ChatQA: Building GPT-4 Level Conversational QA Models

Resumo

Support