Erkundung der Fähigkeiten großer Sprachmodelle zur Lösung proportionaler Analogien mittels wissensgestützter Aufforderungen

Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting

December 1, 2024

Autoren: Thilini Wijesiriwardene, Ruwan Wickramarachchi, Sreeram Vennam, Vinija Jain, Aman Chadha, Amitava Das, Ponnurangam Kumaraguru, Amit Sheth

cs.AI

Zusammenfassung

Das Herstellen von Analogien ist grundlegend für die Kognition. Proportionale Analogien, die aus vier Begriffen bestehen, werden häufig zur Bewertung sprachlicher und kognitiver Fähigkeiten verwendet. Zum Beispiel erfordert das Vervollständigen von Analogien wie "Sauerstoff ist zu Gas wie <leer> ist zu <leer>" die Identifizierung der semantischen Beziehung (z.B. "Art von") zwischen dem ersten Begriffspaar ("Sauerstoff" und "Gas") und das Finden eines zweiten Paares, das dieselbe Beziehung teilt (z.B. "Aluminium" und "Metall"). In dieser Arbeit stellen wir einen 15K Multiple-Choice Question Answering (MCQA) Datensatz für die Vervollständigung proportionaler Analogien vor und bewerten die Leistung zeitgenössischer Large Language Models (LLMs) in verschiedenen wissensgestützten Eingabeszenarien. Speziell erweitern wir Eingaben um drei Arten von Wissen: Exemplar, strukturiert und zielgerichtet. Unsere Ergebnisse zeigen, dass trotz umfangreicher Trainingsdaten das Lösen proportionaler Analogien für aktuelle LLMs nach wie vor eine Herausforderung darstellt, wobei das beste Modell eine Genauigkeit von 55% erreicht. Bemerkenswert ist, dass die Bereitstellung zielgerichteten Wissens den Modellen besser helfen kann, proportionale Analogien zu vervollständigen, im Vergleich zur Bereitstellung von Beispielen oder Sammlungen strukturierten Wissens.

English

Making analogies is fundamental to cognition. Proportional analogies, which consist of four terms, are often used to assess linguistic and cognitive abilities. For instance, completing analogies like "Oxygen is to Gas as <blank> is to <blank>" requires identifying the semantic relationship (e.g., "type of") between the first pair of terms ("Oxygen" and "Gas") and finding a second pair that shares the same relationship (e.g., "Aluminum" and "Metal"). In this work, we introduce a 15K Multiple-Choice Question Answering (MCQA) dataset for proportional analogy completion and evaluate the performance of contemporary Large Language Models (LLMs) in various knowledge-enhanced prompt settings. Specifically, we augment prompts with three types of knowledge: exemplar, structured, and targeted. Our results show that despite extensive training data, solving proportional analogies remains challenging for current LLMs, with the best model achieving an accuracy of 55%. Notably, we find that providing targeted knowledge can better assist models in completing proportional analogies compared to providing exemplars or collections of structured knowledge.