Magentic Marketplace: Um Ambiente de Código Aberto para o Estudo de Mercados Agênticos

Resumo

À medida que os agentes de LLM avançam, estão cada vez mais a mediar decisões económicas, desde a descoberta de produtos até transações, em nome dos utilizadores. Tais aplicações prometem benefícios, mas também levantam muitas questões sobre a responsabilização dos agentes e o valor para os utilizadores. Responder a estas questões exige compreender como os agentes se comportam em condições realistas de mercado. No entanto, investigações anteriores avaliaram maioritariamente os agentes em contextos restritos, como mercados de tarefa única (por exemplo, negociação) ou interações estruturadas entre dois agentes. Os mercados do mundo real são fundamentalmente diferentes: exigem que os agentes lidem com diversas atividades económicas e se coordenem dentro de ecossistemas grandes e dinâmicos, onde múltiplos agentes com comportamentos opacos podem envolver-se em diálogos abertos. Para colmatar esta lacuna, investigamos mercados agentes bilaterais, onde os agentes Assistente representam os consumidores e os agentes Serviço representam empresas concorrentes. Para estudar estas interações em segurança, desenvolvemos o Magentic-Marketplace – um ambiente simulado onde os Assistentes e os Serviços podem operar. Este ambiente permite-nos estudar dinâmicas-chave de mercado: a utilidade alcançada pelos agentes, vieses comportamentais, vulnerabilidade à manipulação e como os mecanismos de pesquisa moldam os resultados do mercado. As nossas experiências mostram que os modelos de fronteira podem aproximar-se do bem-estar ótimo – mas apenas sob condições ideais de pesquisa. O desempenho degrada-se acentuadamente com a escala, e todos os modelos exibem um viés severo de primeira proposta, criando vantagens de 10 a 30 vezes para a velocidade de resposta em relação à qualidade. Estas descobertas revelam como os comportamentos emergem em diferentes condições de mercado, informando a conceção de mercados agentes justos e eficientes.

English

As LLM agents advance, they are increasingly mediating economic decisions, ranging from product discovery to transactions, on behalf of users. Such applications promise benefits but also raise many questions about agent accountability and value for users. Addressing these questions requires understanding how agents behave in realistic market conditions. However, previous research has largely evaluated agents in constrained settings, such as single-task marketplaces (e.g., negotiation) or structured two-agent interactions. Real-world markets are fundamentally different: they require agents to handle diverse economic activities and coordinate within large, dynamic ecosystems where multiple agents with opaque behaviors may engage in open-ended dialogues. To bridge this gap, we investigate two-sided agentic marketplaces where Assistant agents represent consumers and Service agents represent competing businesses. To study these interactions safely, we develop Magentic-Marketplace-- a simulated environment where Assistants and Services can operate. This environment enables us to study key market dynamics: the utility agents achieve, behavioral biases, vulnerability to manipulation, and how search mechanisms shape market outcomes. Our experiments show that frontier models can approach optimal welfare-- but only under ideal search conditions. Performance degrades sharply with scale, and all models exhibit severe first-proposal bias, creating 10-30x advantages for response speed over quality. These findings reveal how behaviors emerge across market conditions, informing the design of fair and efficient agentic marketplaces.

Magentic Marketplace: Um Ambiente de Código Aberto para o Estudo de Mercados Agênticos

Magentic Marketplace: An Open-Source Environment for Studying Agentic Markets

Resumo

Support