RAGとFew-Shot In-Context Learningを使用した証拠に基づくファクトチェックとLLM

Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs

August 22, 2024

著者: Ronit Singhal, Pransh Patwa, Parth Patwa, Aman Chadha, Amitava Das

cs.AI

要旨

ソーシャルメディア上でのデマの広範な拡散を考慮すると、オンラインの主張に対する事実チェックメカニズムの実装は不可欠です。すべての主張を手動で検証することは非常に困難であり、自動化された事実チェックシステムの必要性が強調されています。本論文では、この問題に対処するために設計された当社のシステムを紹介します。私たちはAveritecデータセットを使用して主張の真偽を評価しています。真偽の予測に加えて、当社のシステムはデータセットから抽出された支持する証拠を提供します。私たちは、関連する証拠文を知識ベースから抽出する「Retrieve and Generate (RAG)」パイプラインを開発し、それらを主張とともに大規模言語モデル（LLM）に入力して分類します。また、複数のLLMの少数ショットの「In-Context Learning (ICL)」能力を評価しています。当社のシステムは、ベースラインよりも22%の絶対改善である「Averitec」スコア0.33を達成しています。すべてのコードはhttps://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llmsで利用可能となります。

English

Given the widespread dissemination of misinformation on social media, implementing fact-checking mechanisms for online claims is essential. Manually verifying every claim is highly challenging, underscoring the need for an automated fact-checking system. This paper presents our system designed to address this issue. We utilize the Averitec dataset to assess the veracity of claims. In addition to veracity prediction, our system provides supporting evidence, which is extracted from the dataset. We develop a Retrieve and Generate (RAG) pipeline to extract relevant evidence sentences from a knowledge base, which are then inputted along with the claim into a large language model (LLM) for classification. We also evaluate the few-shot In-Context Learning (ICL) capabilities of multiple LLMs. Our system achieves an 'Averitec' score of 0.33, which is a 22% absolute improvement over the baseline. All code will be made available on All code will be made available on https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms.