L'agent arbitre : surveillance continue des conversations multi-agents pour détecter le désalignement émergent

Résumé

À mesure que les systèmes d'IA composés de multiples agents basés sur des modèles de langage se généralisent, ils sont de plus en plus utilisés pour prendre des décisions collectivement : discuter, négocier et agir sur des tâches partagées. Bien que des agents individuels puissent sembler bien alignés lorsqu'ils sont testés isolément, des problèmes peuvent surgir de leurs interactions mutuelles. Nous présentons l’Arbiter, un agent conçu pour surveiller en temps réel les conversations multi-agents et identifier quels participants pourraient adopter un comportement non aligné. L’Arbiter fonctionne sous un « budget d'inspection » limité, ce qui l'oblige à utiliser ses ressources avec discernement. En observant une conversation pas à pas, il peut choisir d'attendre, d'interroger un participant, d'examiner des informations internes telles que les invites système ou les traces de raisonnement, ou de consigner un comportement suspect. À l'issue de l'observation, il produit un rapport identifiant la source probable du désalignement. Nous évaluons l’Arbiter dans cinq conditions conversationnelles, allant de conseils financiers risqués (organismes modèles) à des agents conscients de l'évaluation et en collusion. Nous testons cinq configurations d'outils de capacités croissantes ainsi que deux modèles de base. Nous constatons que l’Arbiter détecte de manière fiable les agents non alignés bien avant la fin de la conversation, les outils d'inspection active améliorant à la fois la précision et la rapidité de détection. Le désalignement induit par les poids s'avère le plus difficile à détecter, tandis que le désalignement induit par les instructions est identifié de manière fiable même sous observation passive. L'outil de consignation présente un effet double : il améliore le rappel au détriment de la précision. Ces résultats suggèrent qu'une surveillance continue et tenant compte du budget peut efficacement détecter le désalignement, et que superviser des systèmes multi-agents pourrait exiger de considérer l'auditeur comme un participant actif au processus. Le code est disponible à l'adresse https://github.com/aisilab/arbiter.

English

As AI systems built from multiple language-model agents become more common, they are increasingly used to make decisions together: discussing, negotiating, and acting on shared tasks. While individual agents may appear well-aligned when tested on their own, problems can arise from how they interact with one another. We introduce the Arbiter, an agent designed to monitor multi-agent conversations in real time and identify which participants may be behaving in misaligned ways. The Arbiter operates under a limited "inspection budget", meaning it must decide carefully how to use its resources. As it observes a conversation step by step, it can choose to wait, question a participant, examine internal information such as system prompts or reasoning traces, or log concerning behavior. At the end, it produces a report identifying the likely source of misalignment. We evaluate the Arbiter across five conversation conditions, ranging from risky financial advice model organisms to evaluation-aware and colluding agents, we test five tool configurations of increasing capability and two backbone models. We find that the Arbiter reliably detects misaligned agents well before the end of the conversation, with active inspection tools improving both detection accuracy and speed. Weight-induced misalignment proves hardest to detect, while instruction-induced misalignment is identified reliably even under passive observation. The logging tool exhibits a dual effect, improving recall at the cost of precision. These results suggest that continual, budget-aware monitoring can effectively catch misalignment, and that overseeing multi-agent systems may require treating the auditor as an active participant in the process. The code is available at https://github.com/aisilab/arbiter.