TrueTeacher: Обучение оценки фактической согласованности с использованием крупных языковых моделей

TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models

May 18, 2023

Авторы: Zorik Gekhman, Jonathan Herzig, Roee Aharoni, Chen Elkind, Idan Szpektor

cs.AI

Аннотация

Оценка фактической согласованности часто проводится с использованием моделей естественного языкового вывода (Natural Language Inference, NLI), однако эти модели демонстрируют ограниченный успех при оценке рефератов. Предыдущие работы улучшали такие модели с помощью синтетических обучающих данных. Однако эти данные обычно основаны на модифицированных рефератах, написанных людьми, которые часто отличаются по своим характеристикам от реальных рефератов, сгенерированных моделями, и имеют ограниченное покрытие возможных фактических ошибок. В качестве альтернативы, крупные языковые модели (LLM) недавно показали многообещающие результаты в прямой оценке генеративных задач, но они слишком ресурсоемки для практического использования. Вдохновленные этими ограничениями, мы представляем TrueTeacher — метод генерации синтетических данных путем аннотирования разнообразных рефератов, сгенерированных моделями, с использованием LLM. В отличие от предыдущих работ, TrueTeacher не полагается на рефераты, написанные людьми, и по своей природе является многоязычным. Эксперименты на бенчмарке TRUE показывают, что студенческая модель, обученная на наших данных, значительно превосходит как современную модель с аналогичной емкостью, так и LLM-учителя. В систематическом исследовании мы сравниваем TrueTeacher с существующими методами генерации синтетических данных и демонстрируем его превосходство и устойчивость к сдвигу домена. Используя набор данных mFACE, мы также показываем, что наш метод обобщается на многоязычные сценарии. Наконец, мы публикуем крупномасштабный синтетический набор данных с 1,4 миллионами примеров, сгенерированных с помощью TrueTeacher.

English

Factual consistency evaluation is often conducted using Natural Language Inference (NLI) models, yet these models exhibit limited success in evaluating summaries. Previous work improved such models with synthetic training data. However, the data is typically based on perturbed human-written summaries, which often differ in their characteristics from real model-generated summaries and have limited coverage of possible factual errors. Alternatively, large language models (LLMs) have recently shown promising results in directly evaluating generative tasks, but are too computationally expensive for practical use. Motivated by these limitations, we introduce TrueTeacher, a method for generating synthetic data by annotating diverse model-generated summaries using a LLM. Unlike prior work, TrueTeacher does not rely on human-written summaries, and is multilingual by nature. Experiments on the TRUE benchmark show that a student model trained using our data, substantially outperforms both the state-of-the-art model with similar capacity, and the LLM teacher. In a systematic study, we compare TrueTeacher to existing synthetic data generation methods and demonstrate its superiority and robustness to domain-shift. Using the the mFACE dataset, we also show that our method generalizes to multilingual scenarios. Finally, we release a large-scale synthetic dataset with 1.4M examples generated using TrueTeacher.