AI-University: Платформа на основе языковых моделей для согласования обучения с научными классами

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

Авторы: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

Аннотация

Мы представляем AI University (AI-U) — гибкую платформу для доставки учебного контента с использованием искусственного интеллекта, которая адаптируется к стилям преподавания инструкторов. В основе AI-U лежит тонкая настройка крупной языковой модели (LLM) с использованием генерации, усиленной поиском (RAG), для создания ответов, согласованных с материалами преподавателя, такими как видеолекции, заметки и учебники. На примере курса по методу конечных элементов (МКЭ) для аспирантов мы демонстрируем масштабируемый процесс систематического построения обучающих данных, тонкой настройки открытой LLM с использованием Low-Rank Adaptation (LoRA) и оптимизации её ответов через синтез на основе RAG. Наша оценка, сочетающая косинусное сходство, оценку на основе LLM и экспертный анализ, показывает высокую степень согласованности с учебными материалами. Мы также разработали прототип веб-приложения, доступного по адресу https://my-ai-university.com, которое повышает отслеживаемость, связывая ответы, сгенерированные ИИ, с конкретными разделами учебных материалов и временными метками видеолекций с открытым доступом. Наша экспертная модель демонстрирует большее косинусное сходство с эталоном в 86% тестовых случаев. Оценка LLM также показала, что наша экспертная модель превосходит базовую модель Llama 3.2 примерно в четырех случаях из пяти. AI-U предлагает масштабируемый подход к образованию с использованием ИИ, прокладывая путь для более широкого внедрения в высшем образовании. Здесь наша платформа представлена в контексте курса по МКЭ — предмета, который является ключевым в подготовке аспирантов и магистров в области инженерных наук. Однако этот контекст является частным случаем более широкой задачи: тонкой настройки LLM для работы с научным контентом.

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.