AI-University: Una plataforma basada en LLM para la alineación instruccional en aulas científicas

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

Autores: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

Resumen

Presentamos AI University (AI-U), un marco flexible para la entrega de contenido de cursos impulsado por IA que se adapta a los estilos de enseñanza de los instructores. En su núcleo, AI-U ajusta un modelo de lenguaje grande (LLM) con generación aumentada por recuperación (RAG) para generar respuestas alineadas con el instructor a partir de videos de clases, notas y libros de texto. Utilizando un curso de posgrado sobre el método de elementos finitos (FEM) como estudio de caso, presentamos una canalización escalable para construir sistemáticamente datos de entrenamiento, ajustar un LLM de código abierto con Adaptación de Bajo Rango (LoRA) y optimizar sus respuestas mediante síntesis basada en RAG. Nuestra evaluación, que combina similitud de coseno, evaluación basada en LLM y revisión de expertos, demuestra una fuerte alineación con los materiales del curso. También hemos desarrollado una aplicación web prototipo, disponible en https://my-ai-university.com, que mejora la trazabilidad al vincular las respuestas generadas por IA con secciones específicas del material del curso y momentos específicos de las clases en video de acceso abierto. Nuestro modelo experto mostró una mayor similitud de coseno con una referencia en el 86% de los casos de prueba. Un juez basado en LLM también encontró que nuestro modelo experto superó al modelo base Llama 3.2 aproximadamente cuatro de cada cinco veces. AI-U ofrece un enfoque escalable para la educación asistida por IA, allanando el camino para una adopción más amplia en la educación superior. Aquí, nuestro marco se ha presentado en el contexto de una clase sobre FEM, un tema central en la formación de estudiantes de doctorado y maestría en ciencias de la ingeniería. Sin embargo, este contexto es una instancia particular de un escenario más amplio: el ajuste fino de LLMs para contenido de investigación en ciencias.

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.