Verificación de hechos respaldada por evidencia utilizando RAG y Aprendizaje en Contexto con Pocas Muestras con LLMs

Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs

August 22, 2024

Autores: Ronit Singhal, Pransh Patwa, Parth Patwa, Aman Chadha, Amitava Das

cs.AI

Resumen

Dada la amplia difusión de la desinformación en las redes sociales, es esencial implementar mecanismos de verificación de hechos para las afirmaciones en línea. Verificar manualmente cada afirmación es sumamente desafiante, lo que subraya la necesidad de un sistema automatizado de verificación de hechos. Este artículo presenta nuestro sistema diseñado para abordar este problema. Utilizamos el conjunto de datos Averitec para evaluar la veracidad de las afirmaciones. Además de la predicción de veracidad, nuestro sistema proporciona pruebas de respaldo, las cuales se extraen del conjunto de datos. Desarrollamos un pipeline de Recuperación y Generación (RAG) para extraer frases de evidencia relevantes de una base de conocimiento, las cuales se ingresan junto con la afirmación en un modelo de lenguaje grande (LLM) para su clasificación. También evaluamos las capacidades de aprendizaje en contexto de pocos ejemplos (ICL) de múltiples LLMs. Nuestro sistema logra una puntuación 'Averitec' de 0.33, lo que representa una mejora absoluta del 22% sobre el valor base. Todo el código estará disponible en https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms.

English

Given the widespread dissemination of misinformation on social media, implementing fact-checking mechanisms for online claims is essential. Manually verifying every claim is highly challenging, underscoring the need for an automated fact-checking system. This paper presents our system designed to address this issue. We utilize the Averitec dataset to assess the veracity of claims. In addition to veracity prediction, our system provides supporting evidence, which is extracted from the dataset. We develop a Retrieve and Generate (RAG) pipeline to extract relevant evidence sentences from a knowledge base, which are then inputted along with the claim into a large language model (LLM) for classification. We also evaluate the few-shot In-Context Learning (ICL) capabilities of multiple LLMs. Our system achieves an 'Averitec' score of 0.33, which is a 22% absolute improvement over the baseline. All code will be made available on All code will be made available on https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms.