Da Caixa Preta à Transparência: Aprimorando a Avaliação Automatizada de Interpretação com IA Explicável em Salas de Aula Universitárias

From Black Box to Transparency: Enhancing Automated Interpreting Assessment with Explainable AI in College Classrooms

August 14, 2025

Autores: Zhaokun Jiang, Ziyin Zhang

cs.AI

Resumo

Os recentes avanços no aprendizado de máquina têm despertado um interesse crescente na avaliação automatizada da qualidade de interpretação. No entanto, as pesquisas existentes sofrem com uma análise insuficiente da qualidade do uso da linguagem, eficácia insatisfatória de modelagem devido à escassez e desequilíbrio de dados, e uma falta de esforços para explicar as previsões dos modelos. Para abordar essas lacunas, propomos uma estrutura de modelagem multidimensional que integra engenharia de características, aumento de dados e aprendizado de máquina explicável. Essa abordagem prioriza a explicabilidade em vez de previsões de "caixa preta", utilizando apenas características transparentes e relevantes para o constructo e conduzindo análises de Valor Shapley (SHAP). Nossos resultados demonstram um forte desempenho preditivo em um novo conjunto de dados de interpretação consecutiva inglês-chinês, identificando que as pontuações BLEURT e CometKiwi são as características preditivas mais fortes para fidelidade, características relacionadas a pausas para fluência, e métricas de diversidade fraseológica específicas para o chinês para o uso da linguagem. No geral, ao enfatizar particularmente a explicabilidade, apresentamos uma alternativa escalável, confiável e transparente à avaliação humana tradicional, facilitando o fornecimento de feedback diagnóstico detalhado para aprendizes e apoiando vantagens de aprendizagem autorregulada não proporcionadas por pontuações automatizadas isoladamente.

English

Recent advancements in machine learning have spurred growing interests in automated interpreting quality assessment. Nevertheless, existing research suffers from insufficient examination of language use quality, unsatisfactory modeling effectiveness due to data scarcity and imbalance, and a lack of efforts to explain model predictions. To address these gaps, we propose a multi-dimensional modeling framework that integrates feature engineering, data augmentation, and explainable machine learning. This approach prioritizes explainability over ``black box'' predictions by utilizing only construct-relevant, transparent features and conducting Shapley Value (SHAP) analysis. Our results demonstrate strong predictive performance on a novel English-Chinese consecutive interpreting dataset, identifying BLEURT and CometKiwi scores to be the strongest predictive features for fidelity, pause-related features for fluency, and Chinese-specific phraseological diversity metrics for language use. Overall, by placing particular emphasis on explainability, we present a scalable, reliable, and transparent alternative to traditional human evaluation, facilitating the provision of detailed diagnostic feedback for learners and supporting self-regulated learning advantages not afforded by automated scores in isolation.