데이터 및 AI 거버넌스: 대규모 언어 모델에서 형평성, 윤리 및 공정성 증진
Data and AI governance: Promoting equity, ethics, and fairness in large language models
August 5, 2025
저자: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay
cs.AI
초록
본 논문에서는 머신러닝 모델의 전체 라이프사이클에 걸쳐 체계적으로 편향을 관리, 평가, 정량화하는 접근 방식을 다룹니다. 이는 초기 개발 및 검증부터 지속적인 생산 모니터링 및 안전장치 구현에 이르기까지 모든 단계를 포함합니다. 대규모 언어 모델(LLMs)을 위한 편향 평가 및 평가 테스트 스위트(BEATS)에 대한 기초 작업을 바탕으로, 저자들은 LLMs에서 흔히 발견되는 편향 및 공정성 관련 격차를 공유하고, LLMs 내에서 편향, 윤리, 공정성 및 사실성을 해결하기 위한 데이터 및 AI 거버넌스 프레임워크를 논의합니다. 본 논문에서 논의된 데이터 및 AI 거버넌스 접근 방식은 실용적이고 실세계 애플리케이션에 적합하며, 생산 배포 전 LLMs의 엄격한 벤치마킹을 가능하게 하고, 지속적인 실시간 평가를 용이하게 하며, LLM 생성 응답을 사전에 관리할 수 있도록 합니다. AI 개발 라이프사이클 전반에 걸쳐 데이터 및 AI 거버넌스를 구현함으로써, 조직은 생성형 AI 시스템의 안전성과 책임성을 크게 향상시킬 수 있으며, 차별의 위험을 효과적으로 완화하고 잠재적인 평판 또는 브랜드 관련 피해로부터 보호할 수 있습니다. 궁극적으로, 본 논문을 통해 사회적으로 책임감 있고 윤리적으로 정렬된 생성형 인공지능 기반 애플리케이션의 생성 및 배포의 발전에 기여하고자 합니다.
English
In this paper, we cover approaches to systematically govern, assess and
quantify bias across the complete life cycle of machine learning models, from
initial development and validation to ongoing production monitoring and
guardrail implementation. Building upon our foundational work on the Bias
Evaluation and Assessment Test Suite (BEATS) for Large Language Models, the
authors share prevalent bias and fairness related gaps in Large Language Models
(LLMs) and discuss data and AI governance framework to address Bias, Ethics,
Fairness, and Factuality within LLMs. The data and AI governance approach
discussed in this paper is suitable for practical, real-world applications,
enabling rigorous benchmarking of LLMs prior to production deployment,
facilitating continuous real-time evaluation, and proactively governing LLM
generated responses. By implementing the data and AI governance across the life
cycle of AI development, organizations can significantly enhance the safety and
responsibility of their GenAI systems, effectively mitigating risks of
discrimination and protecting against potential reputational or brand-related
harm. Ultimately, through this article, we aim to contribute to advancement of
the creation and deployment of socially responsible and ethically aligned
generative artificial intelligence powered applications.