TrueTeacher : Apprentissage de l'évaluation de la cohérence factuelle avec des modèles de langage à grande échelle

TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models

May 18, 2023

Auteurs: Zorik Gekhman, Jonathan Herzig, Roee Aharoni, Chen Elkind, Idan Szpektor

cs.AI

Résumé

L'évaluation de la cohérence factuelle est souvent réalisée à l'aide de modèles d'Inférence en Langage Naturel (NLI), mais ces modèles montrent un succès limité dans l'évaluation des résumés. Les travaux précédents ont amélioré ces modèles en utilisant des données d'entraînement synthétiques. Cependant, ces données sont généralement basées sur des résumés écrits par des humains et modifiés, qui diffèrent souvent dans leurs caractéristiques des résumés générés par des modèles réels et offrent une couverture limitée des erreurs factuelles possibles. Alternativement, les grands modèles de langage (LLM) ont récemment montré des résultats prometteurs dans l'évaluation directe des tâches génératives, mais sont trop coûteux en calcul pour une utilisation pratique. Motivés par ces limitations, nous introduisons TrueTeacher, une méthode pour générer des données synthétiques en annotant des résumés variés générés par des modèles à l'aide d'un LLM. Contrairement aux travaux précédents, TrueTeacher ne repose pas sur des résumés écrits par des humains et est multilingue par nature. Les expériences sur le benchmark TRUE montrent qu'un modèle étudiant entraîné avec nos données surpasse à la fois le modèle de pointe de capacité similaire et le LLM enseignant. Dans une étude systématique, nous comparons TrueTeacher aux méthodes existantes de génération de données synthétiques et démontrons sa supériorité et sa robustesse face au changement de domaine. En utilisant le jeu de données mFACE, nous montrons également que notre méthode se généralise aux scénarios multilingues. Enfin, nous publions un jeu de données synthétique à grande échelle contenant 1,4 million d'exemples générés avec TrueTeacher.

English

Factual consistency evaluation is often conducted using Natural Language Inference (NLI) models, yet these models exhibit limited success in evaluating summaries. Previous work improved such models with synthetic training data. However, the data is typically based on perturbed human-written summaries, which often differ in their characteristics from real model-generated summaries and have limited coverage of possible factual errors. Alternatively, large language models (LLMs) have recently shown promising results in directly evaluating generative tasks, but are too computationally expensive for practical use. Motivated by these limitations, we introduce TrueTeacher, a method for generating synthetic data by annotating diverse model-generated summaries using a LLM. Unlike prior work, TrueTeacher does not rely on human-written summaries, and is multilingual by nature. Experiments on the TRUE benchmark show that a student model trained using our data, substantially outperforms both the state-of-the-art model with similar capacity, and the LLM teacher. In a systematic study, we compare TrueTeacher to existing synthetic data generation methods and demonstrate its superiority and robustness to domain-shift. Using the the mFACE dataset, we also show that our method generalizes to multilingual scenarios. Finally, we release a large-scale synthetic dataset with 1.4M examples generated using TrueTeacher.