Guidare i LLM tramite Supervisione Interattiva Scalabile
Steering LLMs via Scalable Interactive Oversight
February 4, 2026
Autori: Enyu Zhou, Zhiheng Xi, Long Ma, Zhihao Zhang, Shihan Dou, Zhikai Lei, Guoteng Wang, Rui Zheng, Hang Yan, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Abstract
Man mano che i Large Language Model automatizzano sempre più compiti complessi e a lungo termine come il vibe coding, è emerso un divario nella supervisione. Sebbene i modelli eccellano nell'esecuzione, gli utenti spesso faticano a guidarli efficacemente a causa di un'insufficiente competenza nel dominio, della difficoltà di esprimere un'intenzione precisa e dell'incapacità di convalidare in modo affidabile output complessi. Ciò presenta una sfida cruciale nella supervisione scalabile: consentire agli esseri umani di indirizzare responsabilmente i sistemi di IA su compiti che superano la loro stessa capacità di specificare o verificare. Per affrontare questo problema, proponiamo la Supervisione Interattiva Scalabile, un framework che scompone l'intento complesso in un albero ricorsivo di decisioni gestibili per amplificare la supervisione umana. Piuttosto che affidarsi a prompt aperti, il nostro sistema sollecita un feedback a basso carico in ogni nodo e aggrega ricorsivamente questi segnali in una guida globale precisa. Validato in un'attività di sviluppo web, il nostro framework consente a non esperti di produrre Documenti dei Requisiti di Prodotto di livello esperto, ottenendo un miglioramento del 54% nell'allineamento. Fondamentalmente, dimostriamo che questo framework può essere ottimizzato tramite Apprendimento per Rinforzo utilizzando solo il feedback online degli utenti, offrendo un percorso pratico per mantenere il controllo umano man mano che l'IA si espande.
English
As Large Language Models increasingly automate complex, long-horizon tasks such as vibe coding, a supervision gap has emerged. While models excel at execution, users often struggle to guide them effectively due to insufficient domain expertise, the difficulty of articulating precise intent, and the inability to reliably validate complex outputs. It presents a critical challenge in scalable oversight: enabling humans to responsibly steer AI systems on tasks that surpass their own ability to specify or verify. To tackle this, we propose Scalable Interactive Oversight, a framework that decomposes complex intent into a recursive tree of manageable decisions to amplify human supervision. Rather than relying on open-ended prompting, our system elicits low-burden feedback at each node and recursively aggregates these signals into precise global guidance. Validated in web development task, our framework enables non-experts to produce expert-level Product Requirement Documents, achieving a 54\% improvement in alignment. Crucially, we demonstrate that this framework can be optimized via Reinforcement Learning using only online user feedback, offering a practical pathway for maintaining human control as AI scales.