SBI-RAG：スキーマベースの指導と検索拡張生成を通じた学生の数学ワード問題解決の向上

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

著者: Prakhar Dixit, Tim Oates

cs.AI

要旨

多くの学生が数学の文章問題（MWPs）に苦労しており、しばしば重要な情報を特定し、適切な数学的操作を選択することが難しいと感じています。スキーマベースの指導（SBI）は、問題の構造に基づいて問題を分類し、問題解決の正確性を向上させるのに役立つ、エビデンスに基づく戦略です。これを踏まえ、大規模言語モデル（LLM）を組み込んだスキーマベースの指導検索増強生成（SBI-RAG）フレームワークを提案します。当該手法は、スキーマを活用して解決生成を導くことで、段階的な推論を重視しています。我々は、GSM8Kデータセットでその性能を評価し、GPT-4およびGPT-3.5 Turboと比較します。また、解決の質を評価する「推論スコア」指標を導入します。我々の調査結果は、SBI-RAGが推論の明瞭さと問題解決の正確性を向上させ、学生に教育上の利益をもたらす可能性があることを示唆しています。

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students