SBI-RAG: Улучшение решения математических задач на слова для студентов через инструктаж на основе схем и увеличение поколения через извлечение.

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

Авторы: Prakhar Dixit, Tim Oates

cs.AI

Аннотация

Многие студенты испытывают трудности с математическими текстовыми задачами (МТЗ), часто находя сложности в выделении ключевой информации и выборе соответствующих математических операций. Инструкция на основе схемы (SBI) - это стратегия, подтвержденная доказательствами, которая помогает студентам категоризировать задачи на основе их структуры, улучшая точность решения проблем. На основе этого мы предлагаем фреймворк Инструкции на основе схемы с извлечением и дополнением (SBI-RAG), который включает в себя большую языковую модель (LLM). Наш подход акцентируется на пошаговом рассуждении, используя схемы для направления генерации решения. Мы оцениваем его производительность на наборе данных GSM8K, сравнивая его с GPT-4 и GPT-3.5 Turbo, и представляем метрику "оценки рассуждений" для оценки качества решения. Наши результаты показывают, что SBI-RAG улучшает ясность рассуждений и точность решения проблем, что потенциально приносит образовательные выгоды для студентов.

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students