Hebben enterprisesystemen geleerde wereldmodellen nodig? Het belang van context om dynamiek af te leiden.

Samenvatting

Wereldmodellen stellen agenten in staat om de effecten van hun acties te anticiperen door de omgevingsdynamieken te internaliseren. In bedrijfssystemen worden deze dynamieken echter vaak bepaald door tenantspecifieke bedrijfslogica die varieert per implementatie en in de loop van de tijd evolueert, waardoor modellen die getraind zijn op historische overgangen breekbaar worden bij implementatieverschuivingen. Wij stellen een vraag die de literatuur over wereldmodellen nog niet heeft beantwoord: wanneer de regels tijdens inferentie kunnen worden uitgelezen, moet een agent ze dan nog steeds leren? Wij beargumenteren, en tonen empirisch aan, dat in omgevingen waar overgangsdynamieken configureerbaar en uitleesbaar zijn, runtime-ontdekking offline training aanvult door voorspellingen te baseren op de actieve systeeminstantie. Wij stellen bedrijfsontdekkingsagenten voor, die relevante overgangsdynamieken tijdens runtime herstellen door de configuratie van het systeem uit te lezen, in plaats van uitsluitend te vertrouwen op geïnternaliseerde representaties. Wij introduceren CascadeBench, een op redeneren gerichte benchmark voor voorspelling van bedrijfscascades, die de evaluatiemethodologie van World of Workflows toepast op diverse synthetische omgevingen, en gebruiken deze samen met evaluatie van implementatieverschuivingen om aan te tonen dat offline getrainde wereldmodellen goed kunnen presteren binnen de verdeling, maar verslechteren naarmate dynamieken veranderen, terwijl op ontdekking gebaseerde agenten robuuster zijn bij verschuivingen doordat zij hun voorspellingen baseren op de huidige instantie. Onze bevindingen suggereren dat agenten in configureerbare bedrijfsomgevingen niet uitsluitend moeten vertrouwen op vaste geïnternaliseerde dynamieken, maar mechanismen moeten incorporeren voor het ontdekken van relevante overgangslogica tijdens runtime.

English

World models enable agents to anticipate the effects of their actions by internalizing environment dynamics. In enterprise systems, however, these dynamics are often defined by tenant-specific business logic that varies across deployments and evolves over time, making models trained on historical transitions brittle under deployment shift. We ask a question the world-models literature has not addressed: when the rules can be read at inference time, does an agent still need to learn them? We argue, and demonstrate empirically, that in settings where transition dynamics are configurable and readable, runtime discovery complements offline training by grounding predictions in the active system instance. We propose enterprise discovery agents, which recover relevant transition dynamics at runtime by reading the system's configuration rather than relying solely on internalized representations. We introduce CascadeBench, a reasoning-focused benchmark for enterprise cascade prediction that adopts the evaluation methodology of World of Workflows on diverse synthetic environments, and use it together with deployment-shift evaluation to show that offline-trained world models can perform well in-distribution but degrade as dynamics change, whereas discovery-based agents are more robust under shift by grounding their predictions in the current instance. Our findings suggest that, in configurable enterprise environments, agents should not rely solely on fixed internalized dynamics, but should incorporate mechanisms for discovering relevant transition logic at runtime.