SBI-RAG: Migliorare la Risoluzione dei Problemi Matematici per gli Studenti tramite Istruzione Basata sugli Schema e Generazione Potenziata dal Recupero

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

Autori: Prakhar Dixit, Tim Oates

cs.AI

Abstract

Molti studenti faticano con i problemi di matematica espressi in forma verbale (MWPs), spesso trovando difficile identificare le informazioni chiave e selezionare le operazioni matematiche appropriate. L'istruzione basata su schema (SBI) è una strategia basata su evidenze che aiuta gli studenti a categorizzare i problemi in base alla loro struttura, migliorando l'accuratezza nella risoluzione dei problemi. Sviluppando questo concetto, proponiamo un framework di Istruzione Basata su Schema con Recupero e Generazione potenziato (SBI-RAG) che incorpora un grande modello linguistico (LLM). Il nostro approccio enfatizza il ragionamento passo dopo passo sfruttando gli schemi per guidare la generazione della soluzione. Valutiamo le prestazioni su un dataset GSM8K, confrontandolo con GPT-4 e GPT-3.5 Turbo, e introduciamo una metrica di "punteggio di ragionamento" per valutare la qualità della soluzione. I nostri risultati suggeriscono che SBI-RAG migliora la chiarezza del ragionamento e l'accuratezza nella risoluzione dei problemi, offrendo potenziali benefici educativi agli studenti.

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students