De Arbiter-agent: continu monitoren van multi-agent conversaties om emergente misalignatie te detecteren

Samenvatting

Naarmate AI-systemen die bestaan uit meerdere taalmodellen als agenten gebruikelijker worden, worden ze steeds vaker ingezet om gezamenlijk beslissingen te nemen: overleggen, onderhandelen en handelen aan gedeelde taken. Hoewel individuele agenten bij aparte tests goed afgestemd kunnen lijken, kunnen er problemen ontstaan door de manier waarop ze met elkaar interacteren. We introduceren de Arbiter, een agent die ontworpen is om multi-agent-gesprekken in realtime te monitoren en te identificeren welke deelnemers zich mogelijk op niet-afgestemde wijze gedragen. De Arbiter werkt onder een beperkt 'inspectiebudget', wat betekent dat hij zorgvuldig moet beslissen hoe hij zijn middelen inzet. Terwijl hij een gesprek stap voor stap observeert, kan hij kiezen om te wachten, een deelnemer te bevragen, interne informatie zoals systeemprompts of redeneersporen te onderzoeken, of zorgwekkend gedrag te loggen. Aan het einde stelt hij een rapport op dat de waarschijnlijke bron van niet-afstemming identificeert. We evalueren de Arbiter over vijf gesprekscondities, variërend van risicovolle financiële adviesmodelorganismen tot evaluatiebewuste en samenspannende agenten, en testen vijf toolconfiguraties met toenemende capaciteit en twee backbone-modellen. We vinden dat de Arbiter betrouwbaar niet-afgestemde agenten detecteert ruim voor het einde van het gesprek, waarbij actieve inspectietools zowel de detectienauwkeurigheid als -snelheid verbeteren. Gewichtsgeïnduceerde niet-afstemming blijkt het moeilijkst te detecteren, terwijl instructiegeïnduceerde niet-afstemming zelfs onder passieve observatie betrouwbaar wordt geïdentificeerd. De loggingtool vertoont een dubbel effect: het verbetert de recall ten koste van de precisie. Deze resultaten suggereren dat voortdurend, budgetbewust toezicht effectief niet-afstemming kan opvangen, en dat het toezicht op multi-agentsystemen vereist dat de auditor als een actieve deelnemer in het proces wordt behandeld. De code is beschikbaar op https://github.com/aisilab/arbiter.

English

As AI systems built from multiple language-model agents become more common, they are increasingly used to make decisions together: discussing, negotiating, and acting on shared tasks. While individual agents may appear well-aligned when tested on their own, problems can arise from how they interact with one another. We introduce the Arbiter, an agent designed to monitor multi-agent conversations in real time and identify which participants may be behaving in misaligned ways. The Arbiter operates under a limited "inspection budget", meaning it must decide carefully how to use its resources. As it observes a conversation step by step, it can choose to wait, question a participant, examine internal information such as system prompts or reasoning traces, or log concerning behavior. At the end, it produces a report identifying the likely source of misalignment. We evaluate the Arbiter across five conversation conditions, ranging from risky financial advice model organisms to evaluation-aware and colluding agents, we test five tool configurations of increasing capability and two backbone models. We find that the Arbiter reliably detects misaligned agents well before the end of the conversation, with active inspection tools improving both detection accuracy and speed. Weight-induced misalignment proves hardest to detect, while instruction-induced misalignment is identified reliably even under passive observation. The logging tool exhibits a dual effect, improving recall at the cost of precision. These results suggest that continual, budget-aware monitoring can effectively catch misalignment, and that overseeing multi-agent systems may require treating the auditor as an active participant in the process. The code is available at https://github.com/aisilab/arbiter.