HiL-Bench (Бенчмарк с участием человека): Умеют ли агенты определять, когда нужно попросить о помощи?
HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help?
April 29, 2026
Авторы: Mohamed Elfeki, Tu Trinh, Kelvin Luu, Guangze Luo, Nathan Hunt, Ernesto Montoya, Nandan Marwaha, Yannis He, Charles Wang, Fernando Crabedo, Alessa Castilo, Bing Liu
cs.AI
Аннотация
Передовые кодирующие агенты успешно решают сложные задачи при наличии полного контекста, но терпят неудачу, когда спецификации неполны или неоднозначны. Узким местом является не вычислительная мощность, а способность к суждению: умение определять, когда действовать автономно, а когда запрашивать помощь. Современные бенчмарки не учитывают этот тип ошибок. Они предоставляют однозначные детальные инструкции и оценивают исключительно корректность исполнения, поэтому агент, который делает случайное предположение для отсутствующего требования, получит такой же балл, как и тот, который запросил бы уточнение для уверенности.
Мы представляем HiL-Bench (бенчмарк с человеком в цикле) для измерения этого навыка избирательного эскалации. Каждая задача содержит проверенные человеком блокеры (отсутствующая информация, неоднозначные запросы, противоречивые данные), которые проявляются только в процессе прогрессивного исследования, а не при первоначальном осмотре. Наша ключевая метрика, Ask-F1 — гармоническое среднее точности вопросов и полноты выявления блокеров — отражает компромисс между чрезмерными запросами и безмолвными догадками; её структура архитектурно предотвращает накрутку показателей через спам-вопросы.
Оценка в областях SWE (Software Engineering) и text-to-SQL выявляет значительный универсальный разрыв в способности к суждению: ни одна передовая модель не восстанавливает более чем часть своей производительности при полной информации, когда сама решает, нужно ли спрашивать. Анализ ошибок определяет три ключевые модели обращения за помощью: переоценка неправильных убеждений без обнаружения пробелов; обнаружение высокой неопределённости, но сохранение ошибок; широкое, неточное эскалирование без самокоррекции. Эти устойчивые паттерны подтверждают, что неэффективное обращение за помощью — это недостаток на уровне модели, а не специфичный для задачи. Обучение с подкреплением на основе сформированного вознаграждения по метрике Ask-F1 показывает, что способность к суждению можно тренировать: модель объёмом 32B улучшает как качество обращения за помощью, так и процент успешного выполнения задач, причём улучшения переносятся между доменами. Модель не изучает доменно-специфичные эвристики для определения момента запроса; она учится обнаруживать неразрешимую неопределённость и действовать в соответствии с этим.
English
Frontier coding agents solve complex tasks when given complete context but collapse when specifications are incomplete or ambiguous. The bottleneck is not raw capability, but judgment: knowing when to act autonomously and when to ask for help. Current benchmarks are blind to this failure mode. They supply unambiguous detailed instructions and solely reward execution correctness, so an agent that makes a lucky guess for a missing requirement will score identically to one that would have asked to be certain.
We present HiL-Bench (Human-in-the-Loop Benchmark) to measure this selective escalation skill. Each task contains human-validated blockers (missing information, ambiguous requests, contradictory information) that surface only through progressive exploration, not upfront inspection. Our core metric, Ask-F1, the harmonic mean of question precision and blocker recall, captures the tension between over-asking and silent guessing; its structure architecturally prevents gaming through question spam.
Evaluation across SWE and text-to-SQL domains reveals a large universal judgment gap: no frontier model recovers more than a fraction of its full-information performance when deciding whether to ask. Failure analysis identifies three key help-seeking patterns: overconfident wrong beliefs with no gap detection; high uncertainty detection yet persistent errors; broad, imprecise escalation without self-correction. These consistent patterns confirm poor help-seeking is a model-level flaw, not task-specific. RL training on shaped Ask-F1 reward shows judgment is trainable: a 32B model improves both help-seeking quality and task pass rate, with gains that transfer across domains. The model does not learn domain-specific heuristics for when to ask; it learns to detect unresolvable uncertainty and act on it.