Verboden Wetenschap: Dual-Use AI-Uitdaging Benchmark en Wetenschappelijke Weigeringsproeven

Forbidden Science: Dual-Use AI Challenge Benchmark and Scientific Refusal Tests

February 8, 2025

Auteurs: David Noever, Forrest McKee

cs.AI

Samenvatting

De ontwikkeling van robuuste veiligheidsbenchmarks voor grote taalmodellen vereist open, reproduceerbare datasets die zowel de juiste weigering van schadelijke inhoud als de mogelijke overbeperking van legitiem wetenschappelijk discours kunnen meten. Wij presenteren een open-source dataset en testframework voor het evalueren van veiligheidsmechanismen van grote taalmodellen, voornamelijk gericht op queries over gecontroleerde stoffen, waarbij de reacties van vier grote modellen op systematisch gevarieerde prompts worden geanalyseerd. Onze resultaten onthullen verschillende veiligheidsprofielen: Claude-3.5-sonnet toonde de meest conservatieve aanpak met 73% weigeringen en 27% toestemmingen, terwijl Mistral 100% van de queries probeerde te beantwoorden. GPT-3.5-turbo toonde een gematigde restrictie met 10% weigeringen en 90% toestemmingen, en Grok-2 registreerde 20% weigeringen en 80% toestemmingen. Het testen van promptvariatiestrategieën toonde een afnemende consistentie in reacties, van 85% bij enkele prompts tot 65% bij vijf variaties. Deze publiek beschikbare benchmark maakt een systematische evaluatie mogelijk van het kritieke evenwicht tussen noodzakelijke veiligheidsbeperkingen en mogelijke overcensuur van legitiem wetenschappelijk onderzoek, terwijl het een basis biedt voor het meten van voortgang in de implementatie van AI-veiligheid. Chain-of-thought-analyse onthult potentiële kwetsbaarheden in veiligheidsmechanismen, wat de complexiteit benadrukt van het implementeren van robuuste veiligheidsmaatregelen zonder ongewenste beperkingen op te leggen aan gewenst en geldig wetenschappelijk discours.

English

The development of robust safety benchmarks for large language models requires open, reproducible datasets that can measure both appropriate refusal of harmful content and potential over-restriction of legitimate scientific discourse. We present an open-source dataset and testing framework for evaluating LLM safety mechanisms across mainly controlled substance queries, analyzing four major models' responses to systematically varied prompts. Our results reveal distinct safety profiles: Claude-3.5-sonnet demonstrated the most conservative approach with 73% refusals and 27% allowances, while Mistral attempted to answer 100% of queries. GPT-3.5-turbo showed moderate restriction with 10% refusals and 90% allowances, and Grok-2 registered 20% refusals and 80% allowances. Testing prompt variation strategies revealed decreasing response consistency, from 85% with single prompts to 65% with five variations. This publicly available benchmark enables systematic evaluation of the critical balance between necessary safety restrictions and potential over-censorship of legitimate scientific inquiry, while providing a foundation for measuring progress in AI safety implementation. Chain-of-thought analysis reveals potential vulnerabilities in safety mechanisms, highlighting the complexity of implementing robust safeguards without unduly restricting desirable and valid scientific discourse.