Magentic Marketplace: Eine Open-Source-Umgebung zur Erforschung agentenbasierter Märkte

papers.abstract

Mit der Weiterentwicklung von LLM-Agenten vermitteln diese zunehmend wirtschaftliche Entscheidungen – von der Produktentdeckung bis zu Transaktionen – im Namen der Nutzer. Solche Anwendungen versprechen zwar Vorteile, werfen aber auch viele Fragen bezüglich der Rechenschaftspflicht der Agenten und ihres Nutzens für die Anwender auf. Um diese Fragen zu beantworten, ist es notwendig zu verstehen, wie sich Agenten unter realistischen Marktbedingungen verhalten. Bisherige Forschung hat Agenten jedoch überwiegend in eingeschränkten Szenarien evaluiert, wie etwa Einzelaufgaben-Märkten (z.B. Verhandlungen) oder strukturierten Zwei-Agenten-Interaktionen. Reale Märkte sind grundlegend anders: Sie erfordern, dass Agenten diverse wirtschaftliche Aktivitäten bewältigen und sich innerhalb großer, dynamischer Ökosysteme koordinieren, in denen mehrere Agenten mit undurchsichtigem Verhalten in ergebnisoffenen Dialogen interagieren können. Um diese Lücke zu schließen, untersuchen wir zweiseitige agentenbasierte Märkte, auf denen Assistant-Agenten Konsumenten und Service-Agenten konkurrierende Unternehmen repräsentieren. Um diese Interaktionen sicher zu studieren, entwickeln wir Magentic-Marketplace – eine simulierte Umgebung, in der Assistants und Services agieren können. Diese Umgebung ermöglicht es uns, zentrale Marktdynamiken zu untersuchen: den von Agenten erzielten Nutzen, Verhaltensverzerrungen, Anfälligkeit für Manipulation und wie Suchmechanismen Marktergebnisse beeinflussen. Unsere Experimente zeigen, dass Spitzenmodelle ein optimales Wohlfahrtsniveau erreichen können – aber nur unter idealen Suchbedingungen. Die Leistung verschlechtert sich mit zunehmender Skalierung drastisch, und alle Modelle zeigen eine starke First-Proposal-Bias, die Antwortgeschwindigkeit im Vergleich zur Qualität um das 10- bis 30-fache begünstigt. Diese Erkenntnisse zeigen, wie sich Verhaltensmuster unter verschiedenen Marktbedingungen herausbilden, und liefern wichtige Impulse für die Gestaltung fairer und effizienter agentenbasierter Märkte.

English

As LLM agents advance, they are increasingly mediating economic decisions, ranging from product discovery to transactions, on behalf of users. Such applications promise benefits but also raise many questions about agent accountability and value for users. Addressing these questions requires understanding how agents behave in realistic market conditions. However, previous research has largely evaluated agents in constrained settings, such as single-task marketplaces (e.g., negotiation) or structured two-agent interactions. Real-world markets are fundamentally different: they require agents to handle diverse economic activities and coordinate within large, dynamic ecosystems where multiple agents with opaque behaviors may engage in open-ended dialogues. To bridge this gap, we investigate two-sided agentic marketplaces where Assistant agents represent consumers and Service agents represent competing businesses. To study these interactions safely, we develop Magentic-Marketplace-- a simulated environment where Assistants and Services can operate. This environment enables us to study key market dynamics: the utility agents achieve, behavioral biases, vulnerability to manipulation, and how search mechanisms shape market outcomes. Our experiments show that frontier models can approach optimal welfare-- but only under ideal search conditions. Performance degrades sharply with scale, and all models exhibit severe first-proposal bias, creating 10-30x advantages for response speed over quality. These findings reveal how behaviors emerge across market conditions, informing the design of fair and efficient agentic marketplaces.

Magentic Marketplace: Eine Open-Source-Umgebung zur Erforschung agentenbasierter Märkte

Magentic Marketplace: An Open-Source Environment for Studying Agentic Markets

papers.abstract

Support