Taxonomie-adaptive Moderationsmodelle mit robusten Schutzmechanismen für große Sprachmodelle
Taxonomy-Adaptive Moderation Model with Robust Guardrails for Large Language Models
December 5, 2025
papers.authors: Mahesh Kumar Nandwana, Youngwan Lim, Joseph Liu, Alex Yang, Varun Notibala, Nishchaie Khanna
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) werden typischerweise in der Post-Training-Phase auf Sicherheit ausgerichtet; dennoch können sie weiterhin unangemessene Ausgaben generieren, die potenzielle Risiken für Nutzer darstellen könnten. Diese Herausforderung unterstreicht die Notwendigkeit robuster Sicherheitsvorkehrungen, die sowohl auf Modell-Eingaben als auch -Ausgaben angewandt werden. In dieser Arbeit stellen wir Roblox Guard 1.0 vor, ein modernes, instruktionsfeinabgestimmtes LLM, das entwickelt wurde, um die Sicherheit von LLM-Systemen durch umfassende Input-Output-Moderation zu verbessern, wobei eine Pipeline von LLMs zur Steigerung der Moderationsfähigkeit genutzt wird. Aufbauend auf dem Llama-3.1-8B-Instruct-Grundgerüst ist unser Modell instruktionsfeinabgestimmt, um sich über bisher unbekannte Sicherheitstaxonomien zu verallgemeinern, und zeigt eine starke Leistung in out-of-domain Sicherheitsbenchmarks. Der Feinabstimmungsprozess nutzt eine Mischung aus synthetischen und Open-Source-Sicherheitsdatensätzen, angereichert mit Chain-of-Thought (CoT)-Begründungen und Input-Inversion, um das kontextuelle Verständnis und die Entscheidungsfindung zu verbessern. Um eine systematische Evaluation zu unterstützen, veröffentlichen wir zudem RobloxGuard-Eval, einen neuen Benchmark mit einer erweiterbaren Sicherheitstaxonomie zur Bewertung der Wirksamkeit von LLM-Sicherheitsbarrieren und Moderationsframeworks.
English
Large Language Models (LLMs) are typically aligned for safety during the post-training phase; however, they may still generate inappropriate outputs that could potentially pose risks to users. This challenge underscores the need for robust safeguards that operate across both model inputs and outputs. In this work, we introduce Roblox Guard 1.0, a state-of-the-art instruction fine-tuned LLM designed to enhance the safety of LLM systems through comprehensive input-output moderation, using a pipeline of LLMs to enhance moderation capability. Built on the Llama-3.1-8B-Instruct backbone, our model is instruction fine-tuned to generalize across previously unseen safety taxonomies and demonstrates strong performance on out-of-domain safety benchmarks. The instruction fine-tuning process uses a mix of synthetic and open-source safety datasets, augmented with chain-of-thought (CoT) rationales and input inversion to enhance contextual understanding and decision making. To support systematic evaluation, we also release RobloxGuard-Eval, a new benchmark featuring an extensible safety taxonomy to assess the effectiveness of LLM guardrails and moderation frameworks.