TrueTeacher: Aprendizaje de Evaluación de Consistencia Factual con Modelos de Lenguaje a Gran Escala

TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models

May 18, 2023

Autores: Zorik Gekhman, Jonathan Herzig, Roee Aharoni, Chen Elkind, Idan Szpektor

cs.AI

Resumen

La evaluación de consistencia factual a menudo se realiza utilizando modelos de Inferencia del Lenguaje Natural (NLI, por sus siglas en inglés), aunque estos modelos muestran un éxito limitado al evaluar resúmenes. Trabajos previos han mejorado dichos modelos con datos de entrenamiento sintéticos. Sin embargo, estos datos suelen basarse en resúmenes escritos por humanos que han sido alterados, los cuales a menudo difieren en sus características de los resúmenes generados por modelos reales y tienen una cobertura limitada de posibles errores factuales. Alternativamente, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han mostrado recientemente resultados prometedores al evaluar directamente tareas generativas, pero son demasiado costosos computacionalmente para un uso práctico. Motivados por estas limitaciones, presentamos TrueTeacher, un método para generar datos sintéticos mediante la anotación de diversos resúmenes generados por modelos utilizando un LLM. A diferencia de trabajos anteriores, TrueTeacher no depende de resúmenes escritos por humanos y es multilingüe por naturaleza. Los experimentos en el benchmark TRUE muestran que un modelo estudiante entrenado con nuestros datos supera sustancialmente tanto al modelo de última generación con capacidad similar como al LLM maestro. En un estudio sistemático, comparamos TrueTeacher con métodos existentes de generación de datos sintéticos y demostramos su superioridad y robustez frente a cambios de dominio. Utilizando el conjunto de datos mFACE, también mostramos que nuestro método se generaliza a escenarios multilingües. Finalmente, publicamos un conjunto de datos sintéticos a gran escala con 1.4 millones de ejemplos generados usando TrueTeacher.

English

Factual consistency evaluation is often conducted using Natural Language Inference (NLI) models, yet these models exhibit limited success in evaluating summaries. Previous work improved such models with synthetic training data. However, the data is typically based on perturbed human-written summaries, which often differ in their characteristics from real model-generated summaries and have limited coverage of possible factual errors. Alternatively, large language models (LLMs) have recently shown promising results in directly evaluating generative tasks, but are too computationally expensive for practical use. Motivated by these limitations, we introduce TrueTeacher, a method for generating synthetic data by annotating diverse model-generated summaries using a LLM. Unlike prior work, TrueTeacher does not rely on human-written summaries, and is multilingual by nature. Experiments on the TRUE benchmark show that a student model trained using our data, substantially outperforms both the state-of-the-art model with similar capacity, and the LLM teacher. In a systematic study, we compare TrueTeacher to existing synthetic data generation methods and demonstrate its superiority and robustness to domain-shift. Using the the mFACE dataset, we also show that our method generalizes to multilingual scenarios. Finally, we release a large-scale synthetic dataset with 1.4M examples generated using TrueTeacher.