AI-University : Une plateforme basée sur des modèles de langage pour l'alignement pédagogique dans les salles de classe scientifiques

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

Auteurs: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

Résumé

Nous présentons AI University (AI-U), un cadre flexible pour la diffusion de contenu de cours pilotée par l'IA qui s'adapte aux styles d'enseignement des instructeurs. Au cœur d'AI-U, un modèle de langage de grande taille (LLM) est affiné avec une génération augmentée par récupération (RAG) pour produire des réponses alignées sur l'instructeur à partir de vidéos de cours, de notes et de manuels. En utilisant un cours de niveau master sur la méthode des éléments finis (FEM) comme étude de cas, nous présentons un pipeline évolutif pour construire systématiquement des données d'entraînement, affiner un LLM open-source avec l'adaptation de bas rang (LoRA), et optimiser ses réponses grâce à une synthèse basée sur RAG. Notre évaluation - combinant la similarité cosinus, l'évaluation par LLM et l'examen par des experts - démontre un fort alignement avec les supports de cours. Nous avons également développé une application web prototype, disponible à l'adresse https://my-ai-university.com, qui améliore la traçabilité en liant les réponses générées par l'IA à des sections spécifiques du matériel de cours pertinent et à des instances horodatées des vidéos de cours en accès libre. Notre modèle expert présente une similarité cosinus plus élevée avec une référence dans 86 % des cas de test. Un juge LLM a également constaté que notre modèle expert surpasse le modèle de base Llama 3.2 environ quatre fois sur cinq. AI-U propose une approche évolutive pour l'éducation assistée par l'IA, ouvrant la voie à une adoption plus large dans l'enseignement supérieur. Ici, notre cadre a été présenté dans le contexte d'un cours sur la FEM - un sujet central dans la formation des doctorants et des étudiants de master en sciences de l'ingénieur. Cependant, ce contexte est une instance particulière d'un cadre plus large : l'affinement de LLMs pour le contenu de recherche en sciences.

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.