AI-University: 과학 교실의 교육적 정렬을 위한 LLM 기반 플랫폼

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

저자: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

초록

우리는 강사들의 교수 스타일에 맞춰 조정 가능한 AI 기반 강의 콘텐츠 전달 프레임워크인 AI 대학(AI-U)을 소개합니다. AI-U의 핵심은 대형 언어 모델(LLM)을 검색 증강 생성(RAG) 기법으로 미세 조정하여 강의 동영상, 노트, 교재로부터 강사와 일치하는 응답을 생성하는 것입니다. 대학원 수준의 유한 요소법(FEM) 강좌를 사례 연구로 활용하여, 우리는 체계적으로 훈련 데이터를 구축하고, Low-Rank Adaptation(LoRA)을 통해 오픈소스 LLM을 미세 조정하며, RAG 기반 합성을 통해 응답을 최적화하는 확장 가능한 파이프라인을 제시합니다. 코사인 유사도, LLM 기반 평가, 전문가 리뷰를 결합한 평가 결과, 우리의 모델은 강의 자료와 강력한 일치성을 보여주었습니다. 또한, 우리는 https://my-ai-university.com에서 확인할 수 있는 프로토타입 웹 애플리케이션을 개발하여, AI 생성 응답을 관련 강의 자료의 특정 섹션 및 오픈 액세스 강의 동영상의 타임스탬프와 연결함으로써 추적성을 강화했습니다. 우리의 전문가 모델은 테스트 케이스의 86%에서 참조 자료와 더 높은 코사인 유사도를 보였습니다. 또한, LLM 판정자는 우리의 전문가 모델이 기본 Llama 3.2 모델을 약 5번 중 4번 정도 더 우수한 성능을 보인다고 평가했습니다. AI-U는 AI 지원 교육을 위한 확장 가능한 접근 방식을 제공하며, 고등 교육에서의 광범위한 채택을 위한 길을 열어줍니다. 여기서 우리의 프레임워크는 공학 과학 분야의 박사 및 석사 과정 학생들을 훈련하는 데 핵심적인 주제인 FEM 강좌의 맥락에서 제시되었습니다. 그러나 이 설정은 과학 연구 콘텐츠에 대한 LLM 미세 조정이라는 더 넓은 맥락의 특정 사례에 불과합니다.

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.