Genie: Alcançando Paridade Humana na Geração de Conjuntos de Dados Baseados em Conteúdo

Genie: Achieving Human Parity in Content-Grounded Datasets Generation

January 25, 2024

Autores: Asaf Yehudai, Boaz Carmeli, Yosi Mass, Ofir Arviv, Nathaniel Mills, Assaf Toledo, Eyal Shnarch, Leshem Choshen

cs.AI

Resumo

A falta de dados de alta qualidade para tarefas de geração baseada em conteúdo tem sido identificada como um grande obstáculo para o avanço dessas tarefas. Para abordar essa lacuna, propomos o Genie, um método novo para gerar automaticamente dados de alta qualidade baseados em conteúdo. Ele consiste em três etapas: (a) Preparação de Conteúdo, (b) Geração: criação de exemplos específicos para a tarefa a partir do conteúdo (por exemplo, pares pergunta-resposta ou resumos). (c) Mecanismo de filtragem que visa garantir a qualidade e a fidelidade dos dados gerados. Demonstramos essa metodologia gerando três conjuntos de dados sintéticos em larga escala, desejos, para Resposta de Perguntas de Longo Formato (LFQA), sumarização e extração de informações. Em uma avaliação humana, nossos dados gerados foram considerados naturais e de alta qualidade. Além disso, comparamos modelos treinados com nossos dados com modelos treinados com dados escritos por humanos — ELI5 e ASQA para LFQA e CNN-DailyMail para Sumarização. Mostramos que nossos modelos estão em pé de igualdade ou superam modelos treinados com dados gerados por humanos e consistentemente os superam em fidelidade. Por fim, aplicamos nosso método para criar dados de LFQA no domínio médico e comparamos um modelo treinado com eles com modelos treinados em outros domínios.

English

The lack of high-quality data for content-grounded generation tasks has been identified as a major obstacle to advancing these tasks. To address this gap, we propose Genie, a novel method for automatically generating high-quality content-grounded data. It consists of three stages: (a) Content Preparation, (b) Generation: creating task-specific examples from the content (e.g., question-answer pairs or summaries). (c) Filtering mechanism aiming to ensure the quality and faithfulness of the generated data. We showcase this methodology by generating three large-scale synthetic data, making wishes, for Long-Form Question-Answering (LFQA), summarization, and information extraction. In a human evaluation, our generated data was found to be natural and of high quality. Furthermore, we compare models trained on our data with models trained on human-written data -- ELI5 and ASQA for LFQA and CNN-DailyMail for Summarization. We show that our models are on par with or outperforming models trained on human-generated data and consistently outperforming them in faithfulness. Finally, we applied our method to create LFQA data within the medical domain and compared a model trained on it with models trained on other domains.