De Cold-Start-veiligheidskloof in LLM-agenten

Samenvatting

Zijn LLM-agenten die tools aanroepen even veilig gedurende een gesprek? We ontdekken dat ze dat niet zijn: agenten zijn het meest kwetsbaar aan het begin van een sessie en worden aanzienlijk veiliger na een paar reguliere agenttaken – een fenomeen dat we de cold-startveiligheidskloof noemen. Om dit systematisch te bestuderen, introduceren we Safety Over Depth for Agents (SODA), een benchmark die controleert hoeveel reguliere agenttaken de agent voltooit voordat hij een veiligheidsdreiging tegenkomt, met ondersteuning voor maximaal 20 voorgaande taken. Bij het evalueren van 7 modellen uit 4 families verbetert de veiligheid met 9–52% naarmate het aantal voorgaande reguliere agenttaken toeneemt van nul naar twintig. Representatieanalyse bevestigt dat de verborgen toestanden van het model geleidelijk verschuiven naar een veiligheidsgeoriënteerd gebied naarmate er meer voorgaande taken aanwezig zijn. Door systematisch te bestuderen welk deel van het voorgaande gesprek het meest belangrijk is, ontdekken we dat de reguliere agenttaken zelf de primaire drijfveer voor veiligheid zijn, terwijl de eigen eerdere antwoorden van de agent minder effect hebben op veiligheid maar essentieel zijn voor het behoud van latere bruikbaarheid. Deze conclusie wordt verder ondersteund door evaluatie op open-source veiligheidsbenchmarks (AgentHarm, Agent Safety Bench) en nuttigheidsbenchmarks (BFCL, API-Bank), wat bevestigt dat het opwarmen van de agent met reguliere agenttaken vóór inzet de agent veiliger maakt en de volledige capaciteit behoudt. Op basis van deze bevindingen bevelen we een eenvoudige implementatiestrategie aan: de agent een paar reguliere agenttaken laten voltooien voordat hij mogelijk wordt blootgesteld aan veiligheidskritieke verzoeken vermindert de cold-startveiligheidskloof. Onze code is beschikbaar op https://github.com/Trustworthy-ML-Lab/Agent-Cold-Start-Safety-Gap.

English

Are tool-calling LLM agents equally safe throughout a conversation? We discover they are not: agents are most vulnerable at the very start of a session and become substantially safer after a few regular agentic tasks -- a phenomenon we term the cold-start safety gap. To study this systematically, we introduce Safety Over Depth for Agents (SODA), a benchmark that controls how many regular agentic tasks the agent completes before encountering a safety threat, supporting up to 20 preceding tasks. Evaluating 7 models from 4 families, safety improves by 9--52% as the number of preceding regular agentic tasks increases from zero to twenty. Representation analysis confirms that model hidden states gradually shift toward a safety-aligned region as more preceding tasks are present. By systematically studying which part of the preceding conversation matters most, we find that the regular agentic tasks themselves are the primary driver of safety, while the agent's own prior responses have less effect on safety but are essential for preserving later utility. This conclusion is further supported by evaluation on open-source safety benchmarks (AgentHarm, Agent Safety Bench) and utility benchmarks (BFCL, API-Bank), confirming that warming up the agent with regular agentic tasks before deployment makes it safer and preserves full capability. Based on these findings, we recommend a simple deployment strategy: having the agent complete a few regular agentic tasks before possible exposure to safety-critical requests mitigates the cold-start safety gap. Our code is available at https://github.com/Trustworthy-ML-Lab/Agent-Cold-Start-Safety-Gap