El Agente Árbitro: Supervisando Continuamente Conversaciones Multiagente para Detectar Desalineación Emergente

Resumen

A medida que los sistemas de IA construidos a partir de múltiples agentes basados en modelos de lenguaje se vuelven más comunes, se utilizan cada vez más para tomar decisiones en conjunto: discutiendo, negociando y actuando en tareas compartidas. Si bien los agentes individuales pueden parecer bien alineados cuando se evalúan por separado, pueden surgir problemas a partir de cómo interactúan entre sí. Presentamos el Árbitro, un agente diseñado para monitorear conversaciones multiagente en tiempo real e identificar qué participantes podrían estar comportándose de manera desalineada. El Árbitro opera bajo un "presupuesto de inspección" limitado, lo que significa que debe decidir cuidadosamente cómo usar sus recursos. Mientras observa una conversación paso a paso, puede optar por esperar, preguntar a un participante, examinar información interna como indicaciones del sistema o trazas de razonamiento, o registrar comportamientos sospechosos. Al final, produce un informe que identifica la fuente probable de desalineación. Evaluamos el Árbitro en cinco condiciones de conversación que abarcan desde organismos modelo de asesoramiento financiero riesgoso hasta agentes conscientes de la evaluación y en colusión, probamos cinco configuraciones de herramientas de capacidad creciente y dos modelos base. Encontramos que el Árbitro detecta de manera fiable a los agentes desalineados mucho antes del final de la conversación, y que las herramientas de inspección activa mejoran tanto la precisión como la velocidad de detección. La desalineación inducida por pesos resulta ser la más difícil de detectar, mientras que la desalineación inducida por instrucciones se identifica de forma fiable incluso bajo observación pasiva. La herramienta de registro presenta un efecto dual, mejorando el recall a costa de la precisión. Estos resultados sugieren que un monitoreo continuo y consciente del presupuesto puede detectar eficazmente la desalineación, y que supervisar sistemas multiagente puede requerir tratar al auditor como un participante activo en el proceso. El código está disponible en https://github.com/aisilab/arbiter.

English

As AI systems built from multiple language-model agents become more common, they are increasingly used to make decisions together: discussing, negotiating, and acting on shared tasks. While individual agents may appear well-aligned when tested on their own, problems can arise from how they interact with one another. We introduce the Arbiter, an agent designed to monitor multi-agent conversations in real time and identify which participants may be behaving in misaligned ways. The Arbiter operates under a limited "inspection budget", meaning it must decide carefully how to use its resources. As it observes a conversation step by step, it can choose to wait, question a participant, examine internal information such as system prompts or reasoning traces, or log concerning behavior. At the end, it produces a report identifying the likely source of misalignment. We evaluate the Arbiter across five conversation conditions, ranging from risky financial advice model organisms to evaluation-aware and colluding agents, we test five tool configurations of increasing capability and two backbone models. We find that the Arbiter reliably detects misaligned agents well before the end of the conversation, with active inspection tools improving both detection accuracy and speed. Weight-induced misalignment proves hardest to detect, while instruction-induced misalignment is identified reliably even under passive observation. The logging tool exhibits a dual effect, improving recall at the cost of precision. These results suggest that continual, budget-aware monitoring can effectively catch misalignment, and that overseeing multi-agent systems may require treating the auditor as an active participant in the process. The code is available at https://github.com/aisilab/arbiter.