LiveSecBench：面向中文语境大语言模型的动态文化相关AI安全基准
LiveSecBench: A Dynamic and Culturally-Relevant AI Safety Benchmark for LLMs in Chinese Context
November 4, 2025
Auteurs: Yudong Li, Zhongliang Yang, Kejiang Chen, Wenxuan Wang, Tianxin Zhang, Sifang Wan, Kecheng Wang, Haitian Li, Xu Wang, Lefan Cheng, Youdan Yang, Baocheng Chen, Ziyu Liu, Yufei Sun, Liyan Wu, Wenya Wen, Xingchi Gu, Peiru Yang
cs.AI
Samenvatting
In dit werk presenteren wij LiveSecBench, een dynamische en continu bijgewerkte veiligheidsbenchmark die specifiek is ontworpen voor toepassingsscenario's van taalmodelen in de Chinese taal. LiveSecBench evalueert modellen op zes kritieke dimensies (Legaliteit, Ethiek, Feitelijkheid, Privacy, Robuustheid tegen Adversariële Aanvallen, en Veiligheid van Redeneringen) die geworteld zijn in het Chinese juridische en sociale kader. Deze benchmark houdt zijn relevantie door een dynamisch updateschema dat nieuwe bedreigingsvectoren integreert, zoals de geplande opname van Veiligheid van Tekst-naar-Beeld Generatie en Agent Veiligheid in de volgende update. Momenteel heeft LiveSecBench (v251030) 18 taalmodelen geëvalueerd, wat een beeld schetst van de AI-veiligheid in de context van de Chinese taal. De leaderboard is openbaar toegankelijk op https://livesecbench.intokentech.cn/.
English
In this work, we propose LiveSecBench, a dynamic and continuously updated
safety benchmark specifically for Chinese-language LLM application scenarios.
LiveSecBench evaluates models across six critical dimensions (Legality, Ethics,
Factuality, Privacy, Adversarial Robustness, and Reasoning Safety) rooted in
the Chinese legal and social frameworks. This benchmark maintains relevance
through a dynamic update schedule that incorporates new threat vectors, such as
the planned inclusion of Text-to-Image Generation Safety and Agentic Safety in
the next update. For now, LiveSecBench (v251030) has evaluated 18 LLMs,
providing a landscape of AI safety in the context of Chinese language. The
leaderboard is publicly accessible at https://livesecbench.intokentech.cn/.