Управление данными и ИИ: Содействие равенству, этике и справедливости в крупных языковых моделях

Data and AI governance: Promoting equity, ethics, and fairness in large language models

August 5, 2025

Авторы: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay

cs.AI

Аннотация

В данной статье рассматриваются подходы к систематическому управлению, оценке и количественному измерению смещений на протяжении всего жизненного цикла моделей машинного обучения — от начальной разработки и валидации до постоянного мониторинга в производственной среде и внедрения защитных механизмов. Основываясь на нашей фундаментальной работе по тестовому набору для оценки и анализа смещений (BEATS) для крупных языковых моделей (LLM), авторы выделяют распространенные пробелы, связанные с вопросами смещений и справедливости в LLM, и обсуждают структуру управления данными и ИИ для решения проблем смещений, этики, справедливости и достоверности в LLM. Предлагаемый подход к управлению данными и ИИ подходит для практического применения в реальных условиях, обеспечивая строгое тестирование LLM перед их внедрением в производство, способствуя непрерывной оценке в реальном времени и активному управлению генерируемыми LLM ответами. Внедряя управление данными и ИИ на всех этапах разработки ИИ, организации могут значительно повысить безопасность и ответственность своих систем генеративного ИИ, эффективно снижая риски дискриминации и защищаясь от потенциального ущерба репутации или бренду. В конечном итоге, через эту статью мы стремимся внести вклад в развитие создания и внедрения социально ответственных и этически ориентированных приложений, основанных на генеративном искусственном интеллекте.

English

In this paper, we cover approaches to systematically govern, assess and quantify bias across the complete life cycle of machine learning models, from initial development and validation to ongoing production monitoring and guardrail implementation. Building upon our foundational work on the Bias Evaluation and Assessment Test Suite (BEATS) for Large Language Models, the authors share prevalent bias and fairness related gaps in Large Language Models (LLMs) and discuss data and AI governance framework to address Bias, Ethics, Fairness, and Factuality within LLMs. The data and AI governance approach discussed in this paper is suitable for practical, real-world applications, enabling rigorous benchmarking of LLMs prior to production deployment, facilitating continuous real-time evaluation, and proactively governing LLM generated responses. By implementing the data and AI governance across the life cycle of AI development, organizations can significantly enhance the safety and responsibility of their GenAI systems, effectively mitigating risks of discrimination and protecting against potential reputational or brand-related harm. Ultimately, through this article, we aim to contribute to advancement of the creation and deployment of socially responsible and ethically aligned generative artificial intelligence powered applications.