Explorando las capacidades de los modelos de lenguaje grandes para resolver analogías proporcionales a través de la estimulación mejorada por conocimiento.

Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting

December 1, 2024

Autores: Thilini Wijesiriwardene, Ruwan Wickramarachchi, Sreeram Vennam, Vinija Jain, Aman Chadha, Amitava Das, Ponnurangam Kumaraguru, Amit Sheth

cs.AI

Resumen

Hacer analogías es fundamental para la cognición. Las analogías proporcionales, que constan de cuatro términos, se utilizan a menudo para evaluar habilidades lingüísticas y cognitivas. Por ejemplo, completar analogías como "El oxígeno es a Gas como <en blanco> es a <en blanco>" requiere identificar la relación semántica (por ejemplo, "tipo de") entre el primer par de términos ("Oxígeno" y "Gas") y encontrar un segundo par que comparta la misma relación (por ejemplo, "Aluminio" y "Metal"). En este trabajo, presentamos un conjunto de datos de Preguntas y Respuestas de Opción Múltiple (MCQA) de 15K para la finalización de analogías proporcionales y evaluamos el rendimiento de los Modelos de Lenguaje Grande (LLMs) contemporáneos en varios entornos de indicaciones mejoradas con conocimiento. Específicamente, aumentamos las indicaciones con tres tipos de conocimiento: ejemplar, estructurado y dirigido. Nuestros resultados muestran que a pesar de los extensos datos de entrenamiento, resolver analogías proporcionales sigue siendo un desafío para los LLMs actuales, con el mejor modelo logrando una precisión del 55%. Notablemente, encontramos que proporcionar conocimiento dirigido puede ayudar mejor a los modelos a completar analogías proporcionales en comparación con proporcionar ejemplos o colecciones de conocimiento estructurado.

English

Making analogies is fundamental to cognition. Proportional analogies, which consist of four terms, are often used to assess linguistic and cognitive abilities. For instance, completing analogies like "Oxygen is to Gas as <blank> is to <blank>" requires identifying the semantic relationship (e.g., "type of") between the first pair of terms ("Oxygen" and "Gas") and finding a second pair that shares the same relationship (e.g., "Aluminum" and "Metal"). In this work, we introduce a 15K Multiple-Choice Question Answering (MCQA) dataset for proportional analogy completion and evaluate the performance of contemporary Large Language Models (LLMs) in various knowledge-enhanced prompt settings. Specifically, we augment prompts with three types of knowledge: exemplar, structured, and targeted. Our results show that despite extensive training data, solving proportional analogies remains challenging for current LLMs, with the best model achieving an accuracy of 55%. Notably, we find that providing targeted knowledge can better assist models in completing proportional analogies compared to providing exemplars or collections of structured knowledge.