AI-University: Uma plataforma baseada em LLM para alinhamento instrucional em salas de aula científicas

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

Autores: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

Resumo

Apresentamos a Universidade de IA (AI-U), uma estrutura flexível para a entrega de conteúdo de cursos orientada por IA que se adapta aos estilos de ensino dos instrutores. No cerne da AI-U, um modelo de linguagem de grande escala (LLM) é ajustado com geração aumentada por recuperação (RAG) para gerar respostas alinhadas ao instrutor a partir de vídeos de aulas, anotações e livros didáticos. Utilizando um curso de pós-graduação em método dos elementos finitos (MEF) como estudo de caso, apresentamos um pipeline escalável para construir sistematicamente dados de treinamento, ajustar um LLM de código aberto com Adaptação de Baixa Ordem (LoRA) e otimizar suas respostas por meio de síntese baseada em RAG. Nossa avaliação - combinando similaridade de cosseno, avaliação baseada em LLM e revisão de especialistas - demonstra um forte alinhamento com os materiais do curso. Também desenvolvemos um protótipo de aplicação web, disponível em https://my-ai-university.com, que melhora a rastreabilidade ao vincular respostas geradas por IA a seções específicas do material do curso e instâncias com carimbo de tempo das videoaulas de acesso aberto. Nosso modelo especialista apresentou maior similaridade de cosseno com uma referência em 86% dos casos de teste. Um juiz LLM também considerou que nosso modelo especialista superou o modelo base Llama 3.2 aproximadamente quatro vezes em cinco. A AI-U oferece uma abordagem escalável para a educação assistida por IA, abrindo caminho para uma adoção mais ampla no ensino superior. Aqui, nossa estrutura foi apresentada no contexto de uma aula sobre MEF - um assunto central na formação de doutorandos e mestrandos em ciências da engenharia. No entanto, esse contexto é uma instância particular de um cenário mais amplo: o ajuste fino de LLMs para conteúdo de pesquisa em ciências.

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.