SBI-RAG: Melhorando a Resolução de Problemas Matemáticos para Estudantes por meio de Instrução Baseada em Esquemas e Geração Aprimorada por Recuperação.

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

Autores: Prakhar Dixit, Tim Oates

cs.AI

Resumo

Muitos estudantes têm dificuldade com problemas matemáticos em palavras (PMPs), frequentemente achando difícil identificar informações-chave e selecionar as operações matemáticas apropriadas. A instrução baseada em esquemas (IBE) é uma estratégia com base em evidências que ajuda os estudantes a categorizar problemas com base em sua estrutura, melhorando a precisão na resolução de problemas. A partir disso, propomos um framework de Instrução Baseada em Esquemas com Recuperação e Geração Aprimoradas (IBE-RGA) que incorpora um grande modelo de linguagem (GLM). Nossa abordagem enfatiza o raciocínio passo a passo, aproveitando esquemas para orientar a geração de soluções. Avaliamos seu desempenho no conjunto de dados GSM8K, comparando-o com o GPT-4 e o GPT-3.5 Turbo, e introduzimos uma métrica de "pontuação de raciocínio" para avaliar a qualidade da solução. Nossas descobertas sugerem que o IBE-RGA melhora a clareza do raciocínio e a precisão na resolução de problemas, potencialmente proporcionando benefícios educacionais para os estudantes.

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students