ChatQA: Construyendo Modelos de Preguntas y Respuestas Conversacionales al Nivel de GPT-4

Resumen

En este trabajo, presentamos ChatQA, una familia de modelos de respuesta a preguntas conversacionales (QA, por sus siglas en inglés) que alcanzan niveles de precisión comparables a GPT-4. Específicamente, proponemos un método de ajuste instruccional en dos etapas que puede mejorar significativamente los resultados de QA conversacional en modo zero-shot en modelos de lenguaje de gran escala (LLMs). Para manejar la recuperación de información en QA conversacional, ajustamos un recuperador denso en un conjunto de datos de QA de múltiples turnos, lo que proporciona resultados comparables al uso del modelo de reescritura de consultas más avanzado, reduciendo considerablemente los costos de implementación. Destacablemente, nuestro ChatQA-70B supera a GPT-4 en términos de puntuación promedio en 10 conjuntos de datos de QA conversacional (54.14 frente a 53.90), sin depender de ningún dato sintético generado por modelos GPT de OpenAI.

English

In this work, we introduce ChatQA, a family of conversational question answering (QA) models, that obtain GPT-4 level accuracies. Specifically, we propose a two-stage instruction tuning method that can significantly improve the zero-shot conversational QA results from large language models (LLMs). To handle retrieval in conversational QA, we fine-tune a dense retriever on a multi-turn QA dataset, which provides comparable results to using the state-of-the-art query rewriting model while largely reducing deployment cost. Notably, our ChatQA-70B can outperform GPT-4 in terms of average score on 10 conversational QA datasets (54.14 vs. 53.90), without relying on any synthetic data from OpenAI GPT models.

ChatQA: Construyendo Modelos de Preguntas y Respuestas Conversacionales al Nivel de GPT-4

ChatQA: Building GPT-4 Level Conversational QA Models

Resumen

Support