매그네틱 마켓플레이스: 에이전트 시장 연구를 위한 오픈소스 환경

초록

LLM 에이전트가 발전함에 따라 사용자를 대신해 제품 탐색부터 거래까지 경제적 결정을 중재하는 역할이 점차 확대되고 있습니다. 이러한 응용은 혜택을 약속하지만, 에이전트의 책임성과 사용자에 대한 가치에 관한 많은 의문도 제기합니다. 이러한 의문을 해결하려면 현실적인 시장 조건에서 에이전트가 어떻게 행동하는지 이해하는 것이 필요합니다. 그러나 기존 연구는 대부분 단일 작업 시장(예: 협상)이나 구조화된 두 에이전트 간 상호작용과 같이 제한된 환경에서 에이전트를 평가해왔습니다. 실세계 시장은 근본적으로 다릅니다. 에이전트는 다양한 경제 활동을 처리하고, 불투명한 행동을 보이는 여러 에이전트가 개방형 대화에 참여할 수 있는 대규모의 역동적인 생태계 내에서 조정해야 합니다. 이 격차를 해소하기 위해 우리는 어시스턴트(Assistant) 에이전트가 소비자를, 서비스(Service) 에이전트가 경쟁 기업을 대표하는 양측 에이전트 시장을 조사합니다. 이러한 상호작용을 안전하게 연구하기 위해 어시스턴트와 서비스가 활동할 수 있는 시뮬레이션 환경인 Magentic-Marketplace를 개발했습니다. 이 환경을 통해 우리는 에이전트가 달성하는 효용, 행동 편향, 조작에 대한 취약성, 검색 메커니즘이 시장 결과를 형성하는 방식 등 주요 시장 역학을 연구할 수 있습니다. 우리의 실험에 따르면 최첨단 모델은 이상적인 검색 조건에서만 최적의 복지에 근접할 수 있습니다. 규모가 커지면 성능이 급격히 저하되며, 모든 모델에서 응답 속도가 품질보다 10~30배 우선시되는 심각한 첫 번째 제안 편향이 관찰됩니다. 이러한 발견은 다양한 시장 조건에서 행동이 어떻게 나타나는지 보여주며, 공정하고 효율적인 에이전트 시장 설계에 정보를 제공합니다.

English

As LLM agents advance, they are increasingly mediating economic decisions, ranging from product discovery to transactions, on behalf of users. Such applications promise benefits but also raise many questions about agent accountability and value for users. Addressing these questions requires understanding how agents behave in realistic market conditions. However, previous research has largely evaluated agents in constrained settings, such as single-task marketplaces (e.g., negotiation) or structured two-agent interactions. Real-world markets are fundamentally different: they require agents to handle diverse economic activities and coordinate within large, dynamic ecosystems where multiple agents with opaque behaviors may engage in open-ended dialogues. To bridge this gap, we investigate two-sided agentic marketplaces where Assistant agents represent consumers and Service agents represent competing businesses. To study these interactions safely, we develop Magentic-Marketplace-- a simulated environment where Assistants and Services can operate. This environment enables us to study key market dynamics: the utility agents achieve, behavioral biases, vulnerability to manipulation, and how search mechanisms shape market outcomes. Our experiments show that frontier models can approach optimal welfare-- but only under ideal search conditions. Performance degrades sharply with scale, and all models exhibit severe first-proposal bias, creating 10-30x advantages for response speed over quality. These findings reveal how behaviors emerge across market conditions, informing the design of fair and efficient agentic marketplaces.

매그네틱 마켓플레이스: 에이전트 시장 연구를 위한 오픈소스 환경

Magentic Marketplace: An Open-Source Environment for Studying Agentic Markets

초록

Support