AI-University: Een LLM-gebaseerd platform voor instructie-afstemming op wetenschappelijke lesomgevingen

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

Auteurs: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

Samenvatting

We introduceren AI University (AI-U), een flexibel raamwerk voor AI-gestuurde cursusinhoudslevering dat zich aanpast aan de lesstijlen van docenten. In de kern verfijnt AI-U een groot taalmodel (LLM) met retrieval-augmented generation (RAG) om docent-afgestemde antwoorden te genereren uit collegevideo's, notities en leerboeken. Met behulp van een gevorderde cursus over de eindige-elementenmethode (FEM) als casestudy presenteren we een schaalbare pijplijn om systematisch trainingsdata op te bouwen, een open-source LLM te verfijnen met Low-Rank Adaptation (LoRA), en de antwoorden te optimaliseren via RAG-gebaseerde synthese. Onze evaluatie - die cosine similarity, LLM-gebaseerde beoordeling en expertreview combineert - toont een sterke afstemming met de cursusmaterialen. We hebben ook een prototype webapplicatie ontwikkeld, beschikbaar op https://my-ai-university.com, die de traceerbaarheid verbetert door AI-gegenereerde antwoorden te koppelen aan specifieke secties van het relevante cursusmateriaal en tijdstempels van de open-access collegevideo's. Ons expertmodel blijkt in 86% van de testgevallen een grotere cosine similarity te hebben met een referentie. Een LLM-beoordelaar vond ook dat ons expertmodel ongeveer vier van de vijf keer beter presteerde dan het basis Llama 3.2-model. AI-U biedt een schaalbare aanpak voor AI-ondersteund onderwijs, wat de weg vrijmaakt voor bredere adoptie in het hoger onderwijs. Hier is ons raamwerk gepresenteerd in de context van een cursus over FEM - een onderwerp dat centraal staat in de opleiding van PhD- en Masterstudenten in de technische wetenschappen. Deze context is echter een specifiek voorbeeld van een bredere toepassing: het verfijnen van LLM's voor onderzoeksinhoud in de wetenschap.

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.