SBI-RAG: Mejora de la resolución de problemas matemáticos para estudiantes a través de Instrucción Basada en Esquemas y Generación Aumentada por Recuperación.

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

Autores: Prakhar Dixit, Tim Oates

cs.AI

Resumen

Muchos estudiantes tienen dificultades con los problemas matemáticos verbales (PMVs), a menudo encontrando complicado identificar la información clave y seleccionar las operaciones matemáticas apropiadas. La instrucción basada en esquemas (IBE) es una estrategia respaldada por evidencia que ayuda a los estudiantes a categorizar problemas según su estructura, mejorando la precisión en la resolución de problemas. Basándonos en esto, proponemos un marco de Instrucción Basada en Esquemas con Recuperación y Generación Aumentada (IBE-RAG) que incorpora un gran modelo de lenguaje (GLL). Nuestro enfoque enfatiza el razonamiento paso a paso al aprovechar esquemas para guiar la generación de soluciones. Evaluamos su rendimiento en el conjunto de datos GSM8K, comparándolo con GPT-4 y GPT-3.5 Turbo, e introducimos una métrica de "puntuación de razonamiento" para evaluar la calidad de las soluciones. Nuestros hallazgos sugieren que IBE-RAG mejora la claridad del razonamiento y la precisión en la resolución de problemas, potencialmente brindando beneficios educativos para los estudiantes.

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students