DEI : Diversité dans l'inférence évolutionnaire pour la recherche Qualité-Diversité

Résumé

Nous présentons DEI (Diversity in Evolutionary Inference, soit Diversité dans l'Inférence Évolutionnaire), un cadre de recherche distribué de Qualité-Diversité (QD) qui attribue des modèles de langage de grande taille (LLMs) hétérogènes comme opérateurs de mutation entre nœuds pairs communiquant par opérations collectives non bloquantes. Contrairement à la recherche parallèle homogène, qui reproduit les biais inductifs d'un seul modèle sur tous les travailleurs, DEI traite chaque prior créatif distinct d'un LLM comme une source complémentaire de nouveauté comportementale. En étendant le cadre Digital Red Queen avec DEI, les nœuds partagent les solutions optimales locales à la fin de chaque cycle pour ensemencer la population du cycle suivant. Cela crée une pression antagoniste inter-modèles qui renforce la robustesse au-delà de l'auto-jeu intra-modèle. Évalué sur le domaine Core War, un banc d'essai de programmation compétitive où des programmes guerriers Redcode s'affrontent dans une machine simulée, un ensemble hétérogène de quatre nœuds (GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2 et Claude Haiku 4.5) atteint un score QD d'archive fusionnée supérieur de 124 % (45,90 contre 20,46) et une couverture supérieure de 28 % (80,6 % contre 63,0 % des cellules) par rapport à une référence à nœud unique à budget total d'appels LLM égal. L'ensemble hétérogène surpasse également un ensemble homogène de même budget en termes de score QD, de couverture et de généralité des solutions retenues pour l'ensemble des quatre familles de modèles. Ces résultats fournissent la première preuve empirique que la diversité des modèles, et non le simple parallélisme, est le moteur clé du gain dans la recherche QD distribuée basée sur les LLMs.

English

We present DEI: Diversity in Evolutionary Inference, a distributed Quality-Diversity (QD) search framework that assigns heterogeneous large language models (LLMs) as mutation operators across peer nodes communicating with non-blocking collective operations. Unlike homogeneous parallel search, which replicates a single model's inductive biases across all workers, DEI treats each LLM's distinct creative prior as a complementary source of behavioral novelty. Extending the Digital Red Queen framework with DEI, nodes share local optimal solutions at the end of each round to seed the next round's population. This creates cross-model adversarial pressure that drives robustness beyond intra-model self-play. Evaluated on the Core War domain, a competitive programming benchmark in which Redcode warrior programs battle inside a simulated machine, a four-node heterogeneous ensemble (GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2, and Claude Haiku 4.5) achieves 124 percent higher merged-archive QD-Score (45.90 vs. 20.46) and 28 percent higher coverage (80.6 percent vs. 63.0 percent of cells) than a single-node baseline at equal total LLM-call budget. The heterogeneous ensemble also outperforms an equally-budgeted homogeneous ensemble on QD-Score, coverage, and held-out solution generality across all four model families. These results provide the first empirical evidence that model diversity, not merely parallelism, is the key driver of gain in distributed LLM-based QD search.