ArcANE : Les agents linguistiques de jeu de rôle restent-ils dans leur personnage au bon moment ?

Résumé

Les agents linguistiques de jeu de rôle (ALJR) devraient incarner des personnages dont les valeurs et le comportement évoluent au fil de l’histoire, et non maintenir une personnalité figée. Les benchmarks existants mesurent le rappel factuel à un chapitre donné, mais pas si les réponses s’alignent sur la trajectoire psychologique du personnage, en particulier dans des scénarios que le texte source n’explore jamais. Nous présentons ArcANE (Arc-Aware Narrative Evaluation, évaluation narrative sensible à l’arc), un benchmark construit automatiquement couvrant 17 romans et 80 personnages principaux. Un arc de personnage segmente le récit en phases le long d’un axe psychologique, et chaque sonde pose le même scénario à travers les phases, couvrant à la fois des situations issues du texte source et des situations au-delà de celui-ci. À travers six modèles et six modes de contexte, le conditionnement sur l’arc de personnage surpasse toutes les autres stratégies de contexte sur chaque modèle, et l’écart est le plus grand sur les scénarios hors du texte source où la recherche n’a rien à trouver. Nous affinons en outre des modèles à poids ouverts sur les mêmes données pour obtenir ArcANE-8B/32B, ce qui élargit encore davantage l’avantage de l’arc sur les scénarios hors du texte source.

English

Role-playing language agents (RPLAs) should play characters whose values and behavior evolve as the story progresses, not maintain a fixed persona. Existing benchmarks measure factual recall at a given chapter, not whether responses align with the character's psychological trajectory, especially in scenarios the source text never explores. We introduce ArcANE (Arc-Aware Narrative Evaluation), an automatically constructed benchmark spanning 17 novels and 80 principal characters. A Character Arc segments the narrative into phases along a psychological axis, and each probe poses the same scenario across phases, spanning both situations within the source text and situations beyond it. Across six models and six context modes, conditioning on the Character Arc tops every other context strategy on every model, and the gap is largest on scenarios outside the source text where retrieval has nothing to find. We further fine-tune open-weight models on the same data to obtain ArcANE-8B/32B, which widen the Arc advantage even more on scenarios outside the source text.