Le fossé de sécurité en démarrage à froid des agents LLM

Résumé

Les agents LLM capables d'appeler des outils sont-ils aussi sûrs tout au long d'une conversation ? Nous découvrons que non : les agents sont les plus vulnérables au tout début d'une session et deviennent considérablement plus sûrs après quelques tâches agentiques régulières — un phénomène que nous appelons le fossé de sécurité lié au démarrage à froid. Pour étudier cela systématiquement, nous introduisons Safety Over Depth for Agents (SODA), un banc d'essai qui contrôle le nombre de tâches agentiques régulières que l'agent accomplit avant de rencontrer une menace de sécurité, supportant jusqu'à 20 tâches préalables. En évaluant 7 modèles issus de 4 familles, la sécurité s'améliore de 9 à 52 % lorsque le nombre de tâches agentiques régulières préalables passe de zéro à vingt. L'analyse des représentations confirme que les états cachés du modèle se déplacent progressivement vers une région alignée sur la sécurité à mesure que le nombre de tâches préalables augmente. En étudiant systématiquement quelle partie de la conversation préalable importe le plus, nous constatons que les tâches agentiques régulières elles-mêmes sont le principal moteur de la sécurité, tandis que les réponses antérieures de l'agent ont moins d'effet sur la sécurité mais sont essentielles pour préserver l'utilité ultérieure. Cette conclusion est également étayée par une évaluation sur des bancs d'essai de sécurité open source (AgentHarm, Agent Safety Bench) et des bancs d'essai d'utilité (BFCL, API-Bank), confirmant que le fait d'échauffer l'agent avec des tâches agentiques régulières avant le déploiement le rend plus sûr et préserve toutes ses capacités. Sur la base de ces résultats, nous recommandons une stratégie de déploiement simple : faire accomplir à l'agent quelques tâches agentiques régulières avant une éventuelle exposition à des requêtes critiques pour la sécurité atténue le fossé de sécurité lié au démarrage à froid. Notre code est disponible à l'adresse https://github.com/Trustworthy-ML-Lab/Agent-Cold-Start-Safety-Gap

English

Are tool-calling LLM agents equally safe throughout a conversation? We discover they are not: agents are most vulnerable at the very start of a session and become substantially safer after a few regular agentic tasks -- a phenomenon we term the cold-start safety gap. To study this systematically, we introduce Safety Over Depth for Agents (SODA), a benchmark that controls how many regular agentic tasks the agent completes before encountering a safety threat, supporting up to 20 preceding tasks. Evaluating 7 models from 4 families, safety improves by 9--52% as the number of preceding regular agentic tasks increases from zero to twenty. Representation analysis confirms that model hidden states gradually shift toward a safety-aligned region as more preceding tasks are present. By systematically studying which part of the preceding conversation matters most, we find that the regular agentic tasks themselves are the primary driver of safety, while the agent's own prior responses have less effect on safety but are essential for preserving later utility. This conclusion is further supported by evaluation on open-source safety benchmarks (AgentHarm, Agent Safety Bench) and utility benchmarks (BFCL, API-Bank), confirming that warming up the agent with regular agentic tasks before deployment makes it safer and preserves full capability. Based on these findings, we recommend a simple deployment strategy: having the agent complete a few regular agentic tasks before possible exposure to safety-critical requests mitigates the cold-start safety gap. Our code is available at https://github.com/Trustworthy-ML-Lab/Agent-Cold-Start-Safety-Gap