大規模言語モデルの能力を探る：知識強化プロンプティングを用いた比例アナロジーの解決

Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting

December 1, 2024

著者: Thilini Wijesiriwardene, Ruwan Wickramarachchi, Sreeram Vennam, Vinija Jain, Aman Chadha, Amitava Das, Ponnurangam Kumaraguru, Amit Sheth

cs.AI

要旨

アナロジーを作ることは認知において基本的です。4つの用語から成る比例アナロジーは、言語能力や認知能力を評価する際によく使用されます。例えば、「酸素はガスに対して、<空欄>は<空欄>に対して」というアナロジーを完成させることは、最初の2つの用語（「酸素」と「ガス」）の間の意味関係（例えば「の一種」）を特定し、同じ関係を共有する第2のペア（例えば「アルミニウム」と「金属」）を見つけることを要求します。本研究では、比例アナロジーの完成のための15Kの多肢選択問題回答（MCQA）データセットを導入し、現代の大規模言語モデル（LLMs）の性能をさまざまな知識強化プロンプト設定で評価します。具体的には、プロンプトに3種類の知識を付加します：模範、構造化、ターゲット。結果は、広範なトレーニングデータがあるにもかかわらず、現在のLLMsにとって比例アナロジーを解くことは依然として難しいことを示しており、最良のモデルでも55％の精度に達しています。特筆すべきは、ターゲットとなる知識を提供することが、模範や構造化された知識のコレクションを提供するよりも、モデルが比例アナロジーを完成させるのにより効果的であることがわかったことです。

English

Making analogies is fundamental to cognition. Proportional analogies, which consist of four terms, are often used to assess linguistic and cognitive abilities. For instance, completing analogies like "Oxygen is to Gas as <blank> is to <blank>" requires identifying the semantic relationship (e.g., "type of") between the first pair of terms ("Oxygen" and "Gas") and finding a second pair that shares the same relationship (e.g., "Aluminum" and "Metal"). In this work, we introduce a 15K Multiple-Choice Question Answering (MCQA) dataset for proportional analogy completion and evaluate the performance of contemporary Large Language Models (LLMs) in various knowledge-enhanced prompt settings. Specifically, we augment prompts with three types of knowledge: exemplar, structured, and targeted. Our results show that despite extensive training data, solving proportional analogies remains challenging for current LLMs, with the best model achieving an accuracy of 55%. Notably, we find that providing targeted knowledge can better assist models in completing proportional analogies compared to providing exemplars or collections of structured knowledge.