DEI: Diversität in der evolutionären Inferenz für die Qualitäts-Diversitäts-Suche

Zusammenfassung

Wir stellen DEI vor: Diversity in Evolutionary Inference, ein verteiltes Quality-Diversity (QD)-Suchframework, das heterogene große Sprachmodelle (LLMs) als Mutationsoperatoren auf Peerknoten einsetzt, die mit nicht-blockierenden kollektiven Operationen kommunizieren. Im Gegensatz zur homogenen parallelen Suche, die die induktiven Verzerrungen eines einzelnen Modells auf alle Worker repliziert, behandelt DEI die jeweils unterschiedlichen kreativen Prioritäten jedes LLMs als komplementäre Quelle verhaltensbezogener Neuartigkeit. Durch die Erweiterung des Digital-Red-Queen-Frameworks mit DEI teilen Knoten am Ende jeder Runde lokale optimale Lösungen, um die Population der nächsten Runde zu speisen. Dies erzeugt modellübergreifenden adversarialen Druck, der die Robustheit über das reine Intra-Modell-Self-Play hinaus steigert. Evaluiert auf der Core-War-Domäne, einem kompetitiven Programmier-Benchmark, bei dem Redcode-Kriegerprogramme in einer simulierten Maschine gegeneinander antreten, erreicht ein heterogenes Ensemble aus vier Knoten (GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2 und Claude Haiku 4.5) einen um 124 Prozent höheren QD-Score im zusammengeführten Archiv (45,90 vs. 20,46) und eine um 28 Prozent höhere Abdeckung (80,6 Prozent vs. 63,0 Prozent der Zellen) im Vergleich zu einer Einzelknoten-Baseline bei gleichem Gesamtbudget an LLM-Aufrufen. Das heterogene Ensemble übertrifft auch ein gleich budgetiertes homogenes Ensemble hinsichtlich QD-Score, Abdeckung und der Allgemeingültigkeit der zurückgehaltenen Lösungen über alle vier Modellfamilien hinweg. Diese Ergebnisse liefern den ersten empirischen Beleg dafür, dass Modellvielfalt, nicht bloße Parallelität, der entscheidende Treiber für Gewinne bei verteilter LLM-basierter QD-Suche ist.

English

We present DEI: Diversity in Evolutionary Inference, a distributed Quality-Diversity (QD) search framework that assigns heterogeneous large language models (LLMs) as mutation operators across peer nodes communicating with non-blocking collective operations. Unlike homogeneous parallel search, which replicates a single model's inductive biases across all workers, DEI treats each LLM's distinct creative prior as a complementary source of behavioral novelty. Extending the Digital Red Queen framework with DEI, nodes share local optimal solutions at the end of each round to seed the next round's population. This creates cross-model adversarial pressure that drives robustness beyond intra-model self-play. Evaluated on the Core War domain, a competitive programming benchmark in which Redcode warrior programs battle inside a simulated machine, a four-node heterogeneous ensemble (GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2, and Claude Haiku 4.5) achieves 124 percent higher merged-archive QD-Score (45.90 vs. 20.46) and 28 percent higher coverage (80.6 percent vs. 63.0 percent of cells) than a single-node baseline at equal total LLM-call budget. The heterogeneous ensemble also outperforms an equally-budgeted homogeneous ensemble on QD-Score, coverage, and held-out solution generality across all four model families. These results provide the first empirical evidence that model diversity, not merely parallelism, is the key driver of gain in distributed LLM-based QD search.