Feitencontrole onderbouwd met bewijs met behulp van RAG en Few-Shot In-Context Learning met LLM's

Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs

August 22, 2024

Auteurs: Ronit Singhal, Pransh Patwa, Parth Patwa, Aman Chadha, Amitava Das

cs.AI

Samenvatting

Gezien de wijdverspreide verspreiding van desinformatie op sociale media, is het implementeren van factcheckmechanismen voor online beweringen essentieel. Het handmatig verifiëren van elke bewering is zeer uitdagend, wat de noodzaak van een geautomatiseerd factchecksysteem onderstreept. Dit artikel presenteert ons systeem dat is ontworpen om dit probleem aan te pakken. We gebruiken de Averitec-dataset om de waarheidsgetrouwheid van beweringen te beoordelen. Naast het voorspellen van de waarheidsgetrouwheid, biedt ons systeem ondersteunend bewijs, dat uit de dataset wordt geëxtraheerd. We ontwikkelen een Retrieve and Generate (RAG)-pipeline om relevante bewijszinnen uit een kennisbank te extraheren, die vervolgens samen met de bewering worden ingevoerd in een groot taalmodel (LLM) voor classificatie. We evalueren ook de few-shot In-Context Learning (ICL)-mogelijkheden van meerdere LLM's. Ons systeem behaalt een 'Averitec'-score van 0.33, wat een absolute verbetering van 22% is ten opzichte van de baseline. Alle code zal beschikbaar worden gesteld op https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms.

English

Given the widespread dissemination of misinformation on social media, implementing fact-checking mechanisms for online claims is essential. Manually verifying every claim is highly challenging, underscoring the need for an automated fact-checking system. This paper presents our system designed to address this issue. We utilize the Averitec dataset to assess the veracity of claims. In addition to veracity prediction, our system provides supporting evidence, which is extracted from the dataset. We develop a Retrieve and Generate (RAG) pipeline to extract relevant evidence sentences from a knowledge base, which are then inputted along with the claim into a large language model (LLM) for classification. We also evaluate the few-shot In-Context Learning (ICL) capabilities of multiple LLMs. Our system achieves an 'Averitec' score of 0.33, which is a 22% absolute improvement over the baseline. All code will be made available on All code will be made available on https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms.