HiL-Bench (Benchmark en boucle humaine) : Les agents savent-ils quand demander de l'aide ?

HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help?

April 29, 2026

Auteurs: Mohamed Elfeki, Tu Trinh, Kelvin Luu, Guangze Luo, Nathan Hunt, Ernesto Montoya, Nandan Marwaha, Yannis He, Charles Wang, Fernando Crabedo, Alessa Castilo, Bing Liu

cs.AI

Résumé

Les agents de codage de pointe résolvent des tâches complexes lorsqu'ils disposent d'un contexte complet, mais échouent face à des spécifications incomplètes ou ambiguës. Le goulot d'étranglement n'est pas la capacité brute, mais le jugement : savoir quand agir de manière autonome et quand demander de l'aide. Les benchmarks actuels ignorent ce mode d'échec. Ils fournissent des instructions détaillées et non ambiguës et ne récompensent que la justesse de l'exécution, de sorte qu'un agent qui devine correctement une exigence manquante obtiendra un score identique à celui qui aurait demandé confirmation. Nous présentons HiL-Bench (Benchmark en boucle humaine) pour mesurer cette compétence d'escalade sélective. Chaque tâche contient des blocages validés par des humains (informations manquantes, demandes ambiguës, informations contradictoires) qui n'apparaissent qu'à travers une exploration progressive, et non par une inspection initiale. Notre métrique principale, l'Ask-F1, moyenne harmonique de la précision des questions et du rappel des blocages, capture la tension entre la sur-sollicitation et la conjecture silencieuse ; sa structure empêche architecturalement la triche par le spam de questions. L'évaluation dans les domaines du génie logiciel (SWE) et du text-to-SQL révèle un large déficit universel de jugement : aucun modèle de pointe ne retrouve plus qu'une fraction de ses performances en information complète lorsqu'il doit décider de demander de l'aide. L'analyse des échecs identifie trois schémas clés de recherche d'aide : des croyances erronées et surconfiantes sans détection de lacune ; une détection de l'incertitude élevée mais des erreurs persistantes ; une escalade large et imprécise sans auto-correction. Ces schémas cohérents confirment que la mauvaise recherche d'aide est une faille au niveau du modèle, et non spécifique à une tâche. L'entraînement par apprentissage par renforcement (RL) sur une récompense basée sur l'Ask-F1 montre que le jugement est perfectible : un modèle de 32B améliore à la fois la qualité de la recherche d'aide et le taux de réussite des tâches, avec des gains qui se transfèrent entre domaines. Le modèle n'apprend pas d'heuristiques spécifiques à un domaine pour savoir quand demander ; il apprend à détecter une incertitude insoluble et à agir en conséquence.

English

Frontier coding agents solve complex tasks when given complete context but collapse when specifications are incomplete or ambiguous. The bottleneck is not raw capability, but judgment: knowing when to act autonomously and when to ask for help. Current benchmarks are blind to this failure mode. They supply unambiguous detailed instructions and solely reward execution correctness, so an agent that makes a lucky guess for a missing requirement will score identically to one that would have asked to be certain. We present HiL-Bench (Human-in-the-Loop Benchmark) to measure this selective escalation skill. Each task contains human-validated blockers (missing information, ambiguous requests, contradictory information) that surface only through progressive exploration, not upfront inspection. Our core metric, Ask-F1, the harmonic mean of question precision and blocker recall, captures the tension between over-asking and silent guessing; its structure architecturally prevents gaming through question spam. Evaluation across SWE and text-to-SQL domains reveals a large universal judgment gap: no frontier model recovers more than a fraction of its full-information performance when deciding whether to ask. Failure analysis identifies three key help-seeking patterns: overconfident wrong beliefs with no gap detection; high uncertainty detection yet persistent errors; broad, imprecise escalation without self-correction. These consistent patterns confirm poor help-seeking is a model-level flaw, not task-specific. RL training on shaped Ask-F1 reward shows judgment is trainable: a 32B model improves both help-seeking quality and task pass rate, with gains that transfer across domains. The model does not learn domain-specific heuristics for when to ask; it learns to detect unresolvable uncertainty and act on it.