SBI-RAG : Amélioration de la résolution de problèmes mathématiques pour les élèves grâce à l'Instruction basée sur les schémas et la Génération augmentée par récupération

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

Auteurs: Prakhar Dixit, Tim Oates

cs.AI

Résumé

De nombreux étudiants éprouvent des difficultés avec les problèmes mathématiques verbaux (PMV), ayant souvent du mal à identifier les informations clés et à sélectionner les opérations mathématiques appropriées. L'instruction basée sur les schémas (IBS) est une stratégie basée sur des preuves qui aide les étudiants à catégoriser les problèmes en fonction de leur structure, améliorant ainsi la précision de la résolution des problèmes. En nous appuyant sur cela, nous proposons un cadre d'Instruction Basée sur les Schémas avec Récupération Augmentée de Génération (IBS-RAG) qui intègre un grand modèle de langage (GML). Notre approche met l'accent sur un raisonnement étape par étape en exploitant les schémas pour guider la génération de solutions. Nous évaluons ses performances sur l'ensemble de données GSM8K, en le comparant avec GPT-4 et GPT-3.5 Turbo, et introduisons une métrique de "score de raisonnement" pour évaluer la qualité des solutions. Nos résultats suggèrent que l'IBS-RAG améliore la clarté du raisonnement et la précision de la résolution des problèmes, offrant potentiellement des avantages éducatifs pour les étudiants.

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students