AI-University: 科学教育の授業設計に特化したLLMベースのプラットフォーム

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

著者: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

要旨

AI大学（AI-U）を紹介する。これは、教員の指導スタイルに適応するAI駆動型コースコンテンツ配信の柔軟なフレームワークである。AI-Uの中核では、大規模言語モデル（LLM）を検索拡張生成（RAG）を用いて微調整し、講義ビデオ、ノート、教科書から教員に沿った応答を生成する。大学院レベルの有限要素法（FEM）コースを事例研究として、トレーニングデータを体系的に構築し、Low-Rank Adaptation（LoRA）を用いてオープンソースのLLMを微調整し、RAGベースの合成を通じてその応答を最適化するスケーラブルなパイプラインを提示する。評価では、コサイン類似度、LLMベースの評価、専門家レビューを組み合わせ、教材との強い整合性を示している。また、https://my-ai-university.comで利用可能なプロトタイプのウェブアプリケーションを開発し、AI生成の応答を関連教材の特定のセクションやオープンアクセスの講義ビデオのタイムスタンプ付きインスタンスにリンクすることで、トレーサビリティを向上させている。専門家モデルは、86%のテストケースで参照資料とのコサイン類似度が高かった。また、LLM判定者によると、専門家モデルはベースのLlama 3.2モデルを約5回中4回の割合で上回った。AI-Uは、AI支援教育のスケーラブルなアプローチを提供し、高等教育における広範な採用への道を開く。ここでは、FEMのクラスという設定でフレームワークを提示した。FEMは、工学科学の博士課程および修士課程の学生を訓練する上で中心的な科目である。しかし、この設定は、科学分野の研究コンテンツにLLMを微調整するというより広範な文脈の一例に過ぎない。

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.