Steuerung von LLMs durch skalierbare interaktive Überwachung

Steering LLMs via Scalable Interactive Oversight

February 4, 2026

papers.authors: Enyu Zhou, Zhiheng Xi, Long Ma, Zhihao Zhang, Shihan Dou, Zhikai Lei, Guoteng Wang, Rui Zheng, Hang Yan, Tao Gui, Qi Zhang, Xuanjing Huang

cs.AI

papers.abstract

Da große Sprachmodelle zunehmend komplexe, langfristige Aufgaben wie Vibe Coding automatisieren, ist eine Überwachungslücke entstanden. Während die Modelle in der Ausführung brillieren, haben Nutzer oft Schwierigkeiten, sie effektiv zu steuern. Dies liegt an unzureichender Domänenexpertise, der Schwierigkeit, präzise Absichten zu artikulieren, und der Unfähigkeit, komplexe Outputs zuverlässig zu validieren. Dies stellt eine kritische Herausforderung für skalierbare Aufsicht dar: die Fähigkeit von Menschen, KI-Systeme bei Aufgaben verantwortungsvoll zu lenken, die ihre eigene Fähigkeit zur Spezifikation oder Verifikation übersteigen. Um dies zu bewältigen, schlagen wir Skalierbare Interaktive Aufsicht vor, einen Rahmen, der komplexe Absichten in einen rekursiven Baum handhabbarer Entscheidungen zerlegt, um die menschliche Aufsicht zu verstärken. Anstatt auf offene Prompting zu setzen, elicitiert unser System Feedback mit geringem Aufwand an jedem Knotenpunkt und aggregiert diese Signale rekursiv zu präziser globaler Steuerung. Validiert in einer Webentwicklungsaufgabe, ermöglicht unser Framework Nicht-Experten, Produktanforderungsdokumente auf Expertenniveau zu erstellen, mit einer 54 %igen Verbesserung der Übereinstimmung. Entscheidend ist, dass wir zeigen, dass dieser Rahmen via Reinforcement Learning optimiert werden kann, wobei nur Online-Nutzerfeedback verwendet wird. Dies bietet einen praktischen Weg, um die menschliche Kontrolle bei der Skalierung von KI zu erhalten.

English

As Large Language Models increasingly automate complex, long-horizon tasks such as vibe coding, a supervision gap has emerged. While models excel at execution, users often struggle to guide them effectively due to insufficient domain expertise, the difficulty of articulating precise intent, and the inability to reliably validate complex outputs. It presents a critical challenge in scalable oversight: enabling humans to responsibly steer AI systems on tasks that surpass their own ability to specify or verify. To tackle this, we propose Scalable Interactive Oversight, a framework that decomposes complex intent into a recursive tree of manageable decisions to amplify human supervision. Rather than relying on open-ended prompting, our system elicits low-burden feedback at each node and recursively aggregates these signals into precise global guidance. Validated in web development task, our framework enables non-experts to produce expert-level Product Requirement Documents, achieving a 54\% improvement in alignment. Crucially, we demonstrate that this framework can be optimized via Reinforcement Learning using only online user feedback, offering a practical pathway for maintaining human control as AI scales.