Magentic Marketplace: Een Open-Source Omgeving voor het Bestuderen van Agent-gebaseerde Markten

Samenvatting

Naarmate LLM-agents zich verder ontwikkelen, bemiddelen zij in toenemende mate in economische beslissingen – van productontdekking tot transacties – namens gebruikers. Dergelijke toepassingen beloven voordelen, maar roepen ook veel vragen op over de aansprakelijkheid van agents en de waarde voor gebruikers. Het beantwoorden van deze vragen vereist inzicht in hoe agents zich gedragen onder realistische marktomstandigheden. Eerder onderzoek evalueerde agents echter grotendeels in beperkte settings, zoals marktplaatsen voor één taak (bijvoorbeeld onderhandeling) of gestructureerde interacties tussen twee agents. Wereldwijde markten zijn fundamenteel anders: zij vereisen dat agents diverse economische activiteiten afhandelen en coördineren binnen grote, dynamische ecosystemen waarin meerdere agents met ondoorzichtige gedragingen kunnen deelnemen aan open-ended dialogen. Om deze kloof te overbruggen, onderzoeken wij tweezijdige agent-marktplaatsen waar Assistant-agents consumenten vertegenwoordigen en Service-agents concurrerende bedrijven. Om deze interacties veilig te bestuderen, ontwikkelen wij Magentic-Marketplace – een gesimuleerde omgeving waar Assistants en Services kunnen opereren. Deze omgeving stelt ons in staat cruciale marktdynamieken te bestuderen: de utility die agents bereiken, gedragsmatige biases, kwetsbaarheid voor manipulatie, en hoe zoekmechanismen marktresultaten vormgeven. Onze experimenten tonen aan dat frontier-modellen optimale welvaart kunnen benaderen – maar alleen onder ideale zoekcondities. De prestaties verslechteren sterk met schaalvergroting, en alle modellen vertonen een ernstige first-proposal bias, wat een 10-30x voordeel creëert voor reactiesnelheid boven kwaliteit. Deze bevindingen onthullen hoe gedrag ontstaat onder verschillende marktomstandigheden, en informeren het ontwerp van eerlijke en efficiënte agent-marktplaatsen.

English

As LLM agents advance, they are increasingly mediating economic decisions, ranging from product discovery to transactions, on behalf of users. Such applications promise benefits but also raise many questions about agent accountability and value for users. Addressing these questions requires understanding how agents behave in realistic market conditions. However, previous research has largely evaluated agents in constrained settings, such as single-task marketplaces (e.g., negotiation) or structured two-agent interactions. Real-world markets are fundamentally different: they require agents to handle diverse economic activities and coordinate within large, dynamic ecosystems where multiple agents with opaque behaviors may engage in open-ended dialogues. To bridge this gap, we investigate two-sided agentic marketplaces where Assistant agents represent consumers and Service agents represent competing businesses. To study these interactions safely, we develop Magentic-Marketplace-- a simulated environment where Assistants and Services can operate. This environment enables us to study key market dynamics: the utility agents achieve, behavioral biases, vulnerability to manipulation, and how search mechanisms shape market outcomes. Our experiments show that frontier models can approach optimal welfare-- but only under ideal search conditions. Performance degrades sharply with scale, and all models exhibit severe first-proposal bias, creating 10-30x advantages for response speed over quality. These findings reveal how behaviors emerge across market conditions, informing the design of fair and efficient agentic marketplaces.

Magentic Marketplace: Een Open-Source Omgeving voor het Bestuderen van Agent-gebaseerde Markten

Magentic Marketplace: An Open-Source Environment for Studying Agentic Markets

Samenvatting

Support