SBI-RAG: Verbesserung der Lösung mathematischer Textaufgaben für Schüler durch schema-basierte Anleitung und generierungsunterstützte Abrufung.

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

Autoren: Prakhar Dixit, Tim Oates

cs.AI

Zusammenfassung

Viele Schüler haben Schwierigkeiten mit Mathematik-Wortproblemen (MWPs) und finden es oft schwer, Schlüsselinformationen zu identifizieren und die geeigneten mathematischen Operationen auszuwählen. Die instruktionsbasierte Schema-Strategie (SBI) ist eine evidenzbasierte Methode, die Schülern hilft, Probleme anhand ihrer Struktur zu kategorisieren und so die Genauigkeit bei der Problemlösung zu verbessern. Aufbauend darauf schlagen wir ein Schema-basiertes Instruktionsabruf-erweitertes Generierungs (SBI-RAG) Framework vor, das ein großes Sprachmodell (LLM) integriert. Unser Ansatz betont schrittweises Denken, indem er Schemata nutzt, um die Lösungsgenerierung zu lenken. Wir bewerten seine Leistung anhand des GSM8K-Datensatzes, vergleichen sie mit GPT-4 und GPT-3.5 Turbo und führen eine "Denk-Score"-Metrik ein, um die Lösungsqualität zu bewerten. Unsere Ergebnisse legen nahe, dass SBI-RAG die Klarheit des Denkens und die Genauigkeit der Problemlösung verbessert und möglicherweise Bildungsvorteile für Schüler bietet.

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students