Pilotage des LLM par une supervision interactive évolutive

Steering LLMs via Scalable Interactive Oversight

February 4, 2026

papers.authors: Enyu Zhou, Zhiheng Xi, Long Ma, Zhihao Zhang, Shihan Dou, Zhikai Lei, Guoteng Wang, Rui Zheng, Hang Yan, Tao Gui, Qi Zhang, Xuanjing Huang

cs.AI

papers.abstract

Alors que les modèles de langage de grande taille automatisent de plus en plus des tâches complexes et de long terme comme le codage de vibe, un déficit de supervision a émergé. Si les modèles excellent dans l'exécution, les utilisateurs peinent souvent à les guider efficacement en raison d'une expertise métier insuffisante, de la difficulté à formuler une intention précise et de l'incapacité à valider de manière fiable des résultats complexes. Cela représente un défi crucial en matière de supervision scalable : permettre aux humains de piloter de manière responsable les systèmes d'IA sur des tâches qui dépassent leur propre capacité à spécifier ou vérifier. Pour y remédier, nous proposons la Supervision Interactive Scalable, un cadre qui décompose l'intention complexe en un arbre récursif de décisions gérables pour amplifier la supervision humaine. Plutôt que de s'appuyer sur des invites ouvertes, notre système sollicite un retour à faible charge cognitive à chaque nœud et agrège récursivement ces signaux en un guidage global précis. Validé sur une tâche de développement web, notre cadre permet à des non-experts de produire des Cahiers des Charges Produit de niveau expert, obtenant une amélioration de 54% de l'alignement. Surtout, nous démontrons que ce cadre peut être optimisé par Apprentissage par Renforcement en utilisant uniquement le feedback utilisateur en ligne, offrant une voie pratique pour maintenir le contrôle humain avec la montée en échelle de l'IA.

English

As Large Language Models increasingly automate complex, long-horizon tasks such as vibe coding, a supervision gap has emerged. While models excel at execution, users often struggle to guide them effectively due to insufficient domain expertise, the difficulty of articulating precise intent, and the inability to reliably validate complex outputs. It presents a critical challenge in scalable oversight: enabling humans to responsibly steer AI systems on tasks that surpass their own ability to specify or verify. To tackle this, we propose Scalable Interactive Oversight, a framework that decomposes complex intent into a recursive tree of manageable decisions to amplify human supervision. Rather than relying on open-ended prompting, our system elicits low-burden feedback at each node and recursively aggregates these signals into precise global guidance. Validated in web development task, our framework enables non-experts to produce expert-level Product Requirement Documents, achieving a 54\% improvement in alignment. Crucially, we demonstrate that this framework can be optimized via Reinforcement Learning using only online user feedback, offering a practical pathway for maintaining human control as AI scales.