AI-University: Eine LLM-basierte Plattform zur didaktischen Ausrichtung auf wissenschaftliche Lehrveranstaltungen

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

Autoren: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

Zusammenfassung

Wir stellen AI University (AI-U) vor, ein flexibles Framework für die KI-gestützte Bereitstellung von Kursinhalten, das sich an die Lehrstile der Dozenten anpasst. Im Kern von AI-U wird ein großes Sprachmodell (LLM) mit Retrieval-Augmented Generation (RAG) feinabgestimmt, um dozentenorientierte Antworten aus Vorlesungsvideos, Notizen und Lehrbüchern zu generieren. Anhand eines Fallbeispiels aus einem fortgeschrittenen Kurs zur Finite-Elemente-Methode (FEM) präsentieren wir eine skalierbare Pipeline, um systematisch Trainingsdaten zu erstellen, ein Open-Source-LLM mit Low-Rank Adaptation (LoRA) feinzutunen und dessen Antworten durch RAG-basierte Synthese zu optimieren. Unsere Evaluierung – eine Kombination aus Kosinus-Ähnlichkeit, LLM-basierter Bewertung und Expertenprüfung – zeigt eine starke Übereinstimmung mit den Kursmaterialien. Zudem haben wir eine Prototyp-Webanwendung entwickelt, die unter https://my-ai-university.com verfügbar ist und die Nachvollziehbarkeit verbessert, indem KI-generierte Antworten mit spezifischen Abschnitten des relevanten Kursmaterials und zeitgestempelten Stellen der frei zugänglichen Vorlesungsvideos verknüpft werden. Unser Expertenmodell erreichte in 86 % der Testfälle eine höhere Kosinus-Ähnlichkeit mit einem Referenztext. Ein LLM-basierter Bewerter stellte außerdem fest, dass unser Expertenmodell in etwa vier von fünf Fällen das Basismodell Llama 3.2 übertraf. AI-U bietet einen skalierbaren Ansatz für KI-gestützte Bildung und ebnet den Weg für eine breitere Einführung in der Hochschulbildung. Hier wurde unser Framework im Kontext eines FEM-Kurses vorgestellt – einem Fach, das zentral für die Ausbildung von Promotions- und Masterstudierenden in den Ingenieurwissenschaften ist. Diese Anwendung ist jedoch ein spezifisches Beispiel eines umfassenderen Kontexts: das Feinabstimmen von LLMs auf Forschungsinhalte in den Wissenschaften.

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.