TrueTeacher: Apprendimento della Valutazione della Coerenza Fattuale con Modelli Linguistici di Grande Dimensione

TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models

May 18, 2023

Autori: Zorik Gekhman, Jonathan Herzig, Roee Aharoni, Chen Elkind, Idan Szpektor

cs.AI

Abstract

La valutazione della coerenza fattuale viene spesso condotta utilizzando modelli di Inferenza del Linguaggio Naturale (NLI), tuttavia questi modelli mostrano un successo limitato nella valutazione dei riassunti. Ricerche precedenti hanno migliorato tali modelli utilizzando dati di addestramento sintetici. Tuttavia, i dati sono tipicamente basati su riassunti scritti da esseri umani e modificati, che spesso differiscono nelle loro caratteristiche rispetto ai riassunti generati da modelli reali e hanno una copertura limitata degli errori fattuali possibili. In alternativa, i grandi modelli linguistici (LLM) hanno recentemente mostrato risultati promettenti nella valutazione diretta di compiti generativi, ma sono troppo costosi dal punto di vista computazionale per un uso pratico. Motivati da queste limitazioni, introduciamo TrueTeacher, un metodo per generare dati sintetici annotando riassunti generati da modelli diversi utilizzando un LLM. A differenza dei lavori precedenti, TrueTeacher non si basa su riassunti scritti da esseri umani ed è multilingue per natura. Esperimenti condotti sul benchmark TRUE mostrano che un modello studente addestrato utilizzando i nostri dati supera sostanzialmente sia il modello all'avanguardia con capacità simili, sia il LLM insegnante. In uno studio sistematico, confrontiamo TrueTeacher con i metodi esistenti di generazione di dati sintetici e dimostriamo la sua superiorità e robustezza al cambio di dominio. Utilizzando il dataset mFACE, mostriamo anche che il nostro metodo si generalizza a scenari multilingue. Infine, rilasciamo un ampio dataset sintetico con 1,4 milioni di esempi generati utilizzando TrueTeacher.

English

Factual consistency evaluation is often conducted using Natural Language Inference (NLI) models, yet these models exhibit limited success in evaluating summaries. Previous work improved such models with synthetic training data. However, the data is typically based on perturbed human-written summaries, which often differ in their characteristics from real model-generated summaries and have limited coverage of possible factual errors. Alternatively, large language models (LLMs) have recently shown promising results in directly evaluating generative tasks, but are too computationally expensive for practical use. Motivated by these limitations, we introduce TrueTeacher, a method for generating synthetic data by annotating diverse model-generated summaries using a LLM. Unlike prior work, TrueTeacher does not rely on human-written summaries, and is multilingual by nature. Experiments on the TRUE benchmark show that a student model trained using our data, substantially outperforms both the state-of-the-art model with similar capacity, and the LLM teacher. In a systematic study, we compare TrueTeacher to existing synthetic data generation methods and demonstrate its superiority and robustness to domain-shift. Using the the mFACE dataset, we also show that our method generalizes to multilingual scenarios. Finally, we release a large-scale synthetic dataset with 1.4M examples generated using TrueTeacher.