Direcionando LLMs por meio de Supervisão Interativa Escalável
Steering LLMs via Scalable Interactive Oversight
February 4, 2026
Autores: Enyu Zhou, Zhiheng Xi, Long Ma, Zhihao Zhang, Shihan Dou, Zhikai Lei, Guoteng Wang, Rui Zheng, Hang Yan, Tao Gui, Qi Zhang, Xuanjing Huang
cs.AI
Resumo
À medida que os Modelos de Linguagem de Grande Escala automatizam progressivamente tarefas complexas de longo horizonte, como a programação por intuição, emergiu uma lacuna de supervisão. Embora os modelos se destaquem na execução, os usuários frequentemente lutam para orientá-los eficazmente devido a conhecimentos insuficientes do domínio, à dificuldade de articular intenções precisas e à incapacidade de validar com confiança resultados complexos. Isto apresenta um desafio crítico na supervisão escalável: capacitar os humanos a orientar responsavelmente sistemas de IA em tarefas que ultrapassam a sua própria capacidade de especificar ou verificar. Para enfrentar este problema, propomos a Supervisão Interativa Escalável, uma estrutura que decompõe a intenção complexa numa árvore recursiva de decisões geríveis para amplificar a supervisão humana. Em vez de depender de instruções abertas, o nosso sistema solicita *feedback* de baixa carga em cada nó e agrega recursivamente esses sinais numa orientação global precisa. Validado numa tarefa de desenvolvimento web, o nosso framework permite que não especialistas produzam Documentos de Requisitos de Produto de nível especializado, alcançando uma melhoria de 54% no alinhamento. Crucialmente, demonstramos que esta estrutura pode ser otimizada via Aprendizagem por Reforço usando apenas *feedback* do utilizador online, oferecendo um caminho prático para manter o controle humano à medida que a IA escala.
English
As Large Language Models increasingly automate complex, long-horizon tasks such as vibe coding, a supervision gap has emerged. While models excel at execution, users often struggle to guide them effectively due to insufficient domain expertise, the difficulty of articulating precise intent, and the inability to reliably validate complex outputs. It presents a critical challenge in scalable oversight: enabling humans to responsibly steer AI systems on tasks that surpass their own ability to specify or verify. To tackle this, we propose Scalable Interactive Oversight, a framework that decomposes complex intent into a recursive tree of manageable decisions to amplify human supervision. Rather than relying on open-ended prompting, our system elicits low-burden feedback at each node and recursively aggregates these signals into precise global guidance. Validated in web development task, our framework enables non-experts to produce expert-level Product Requirement Documents, achieving a 54\% improvement in alignment. Crucially, we demonstrate that this framework can be optimized via Reinforcement Learning using only online user feedback, offering a practical pathway for maintaining human control as AI scales.