LiveSecBench: 중국어 환경에서의 LLM을 위한 동적 및 문화적 맥락을 고려한 AI 안전성 벤치마크
LiveSecBench: A Dynamic and Culturally-Relevant AI Safety Benchmark for LLMs in Chinese Context
November 4, 2025
저자: Yudong Li, Zhongliang Yang, Kejiang Chen, Wenxuan Wang, Tianxin Zhang, Sifang Wan, Kecheng Wang, Haitian Li, Xu Wang, Lefan Cheng, Youdan Yang, Baocheng Chen, Ziyu Liu, Yufei Sun, Liyan Wu, Wenya Wen, Xingchi Gu, Peiru Yang
cs.AI
초록
본 연구에서는 중국어 LLM 적용 시나리오를 위해 특화된 동적이며 지속적으로 업데이트되는 안전성 벤치마크인 LiveSecBench을 제안한다. LiveSecBench은 중국의 법률 및 사회적 프레임워크에 기반한 여섯 가지 핵심 차원(합법성, 윤리성, 사실성, 프라이버시, 적대적 강건성, 추론 안전성)에서 모델을 평가한다. 이 벤치마크는 새로운 위협 벡터를 지속적으로 반영하는 동적 업데이트 체계를 통해 관련성을 유지하며, 다음 업데이트에서는 텍스트-이미지 생성 안전성과 에이전트 안전성 등의 평가 차원을 추가할 계획이다. 현재 LiveSecBench(v251030)은 18개의 LLM을 평가하여 중국어 컨텍스트에서의 AI 안전성 현황을 제공한다. 리더보드는 https://livesecbench.intokentech.cn/에서 공개적으로 확인할 수 있다.
English
In this work, we propose LiveSecBench, a dynamic and continuously updated
safety benchmark specifically for Chinese-language LLM application scenarios.
LiveSecBench evaluates models across six critical dimensions (Legality, Ethics,
Factuality, Privacy, Adversarial Robustness, and Reasoning Safety) rooted in
the Chinese legal and social frameworks. This benchmark maintains relevance
through a dynamic update schedule that incorporates new threat vectors, such as
the planned inclusion of Text-to-Image Generation Safety and Agentic Safety in
the next update. For now, LiveSecBench (v251030) has evaluated 18 LLMs,
providing a landscape of AI safety in the context of Chinese language. The
leaderboard is publicly accessible at https://livesecbench.intokentech.cn/.