RAG와 Few-Shot In-Context Learning을 활용한 증거 기반 사실 확인과 LLMs

Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs

August 22, 2024

저자: Ronit Singhal, Pransh Patwa, Parth Patwa, Aman Chadha, Amitava Das

cs.AI

초록

소셜 미디어에서의 잘못된 정보가 널리 퍼지고 있기 때문에 온라인 주장에 대한 사실 확인 메커니즘을 도입하는 것이 중요합니다. 모든 주장을 수동으로 검증하는 것은 매우 어렵기 때문에 자동화된 사실 확인 시스템이 필요하다는 점을 강조합니다. 본 논문은 이 문제를 해결하기 위해 설계된 우리 시스템을 제시합니다. 우리는 Averitec 데이터셋을 활용하여 주장의 진실성을 평가합니다. 진실성 예측에 추가로, 우리 시스템은 데이터셋에서 추출된 지원 증거를 제공합니다. 우리는 지식 베이스에서 관련 증거 문장을 추출하기 위한 Retrieve and Generate (RAG) 파이프라인을 개발하고, 이를 주장과 함께 대형 언어 모델 (LLM)에 입력하여 분류합니다. 또한 여러 LLM의 소수 학습 능력을 평가합니다. 우리 시스템은 'Averitec' 점수가 0.33으로, 기준선 대비 22%의 절대적인 개선을 달성합니다. 모든 코드는 https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms에서 제공될 예정입니다.

English

Given the widespread dissemination of misinformation on social media, implementing fact-checking mechanisms for online claims is essential. Manually verifying every claim is highly challenging, underscoring the need for an automated fact-checking system. This paper presents our system designed to address this issue. We utilize the Averitec dataset to assess the veracity of claims. In addition to veracity prediction, our system provides supporting evidence, which is extracted from the dataset. We develop a Retrieve and Generate (RAG) pipeline to extract relevant evidence sentences from a knowledge base, which are then inputted along with the claim into a large language model (LLM) for classification. We also evaluate the few-shot In-Context Learning (ICL) capabilities of multiple LLMs. Our system achieves an 'Averitec' score of 0.33, which is a 22% absolute improvement over the baseline. All code will be made available on All code will be made available on https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms.