HiL-Bench (Benchmark de Humano no Loop): Os Agentes Sabem Quando Pedir Ajuda?

Resumo

Os agentes de codificação de última geração resolvem tarefas complexas quando recebem contexto completo, mas falham quando as especificações são incompletas ou ambíguas. O gargalo não é a capacidade bruta, mas o julgamento: saber quando agir de forma autónoma e quando pedir ajuda. Os *benchmarks* atuais são cegos a este modo de falha. Eles fornecem instruções detalhadas e inequívocas e recompensam apenas a correção da execução, portanto, um agente que faz um palpite feliz para um requisito em falta terá uma pontuação idêntica à de um que teria perguntado para ter certeza. Apresentamos o HiL-Bench (*Human-in-the-Loop Benchmark*) para medir esta habilidade de escalonamento seletivo. Cada tarefa contém bloqueadores validados por humanos (informações em falta, pedidos ambíguos, informações contraditórias) que surgem apenas através de uma exploração progressiva, e não de uma inspeção inicial. A nossa métrica principal, o Ask-F1, a média harmónica da precisão das perguntas e da recuperação de bloqueadores, capta a tensão entre perguntar em excesso e adivinhar silenciosamente; a sua estrutura impede arquitetonicamente a exploração através do envio em massa de perguntas. A avaliação nos domínios de Engenharia de Software (*SWE*) e texto-para-SQL revela uma grande lacuna universal de julgamento: nenhum modelo de fronteira recupera mais do que uma fração do seu desempenho com informação completa ao decidir se deve perguntar. A análise de falhas identifica três padrões-chave de procura de ajuda: crenças erradas e excesso de confiança sem deteção de lacunas; alta deteção de incerteza, mas erros persistentes; escalonamento amplo e impreciso sem autocorreção. Estes padrões consistentes confirmam que a má procura de ajuda é uma falha ao nível do modelo, e não específica da tarefa. O treino por Reforço (*RL*) com recompensa moldada pelo Ask-F1 mostra que o julgamento é treinável: um modelo de 32B melhora tanto a qualidade da procura de ajuda como a taxa de sucesso da tarefa, com ganhos que transferem entre domínios. O modelo não aprende heurísticas específicas do domínio sobre quando perguntar; ele aprende a detetar incerteza insolúvel e a agir sobre ela.

English

Frontier coding agents solve complex tasks when given complete context but collapse when specifications are incomplete or ambiguous. The bottleneck is not raw capability, but judgment: knowing when to act autonomously and when to ask for help. Current benchmarks are blind to this failure mode. They supply unambiguous detailed instructions and solely reward execution correctness, so an agent that makes a lucky guess for a missing requirement will score identically to one that would have asked to be certain. We present HiL-Bench (Human-in-the-Loop Benchmark) to measure this selective escalation skill. Each task contains human-validated blockers (missing information, ambiguous requests, contradictory information) that surface only through progressive exploration, not upfront inspection. Our core metric, Ask-F1, the harmonic mean of question precision and blocker recall, captures the tension between over-asking and silent guessing; its structure architecturally prevents gaming through question spam. Evaluation across SWE and text-to-SQL domains reveals a large universal judgment gap: no frontier model recovers more than a fraction of its full-information performance when deciding whether to ask. Failure analysis identifies three key help-seeking patterns: overconfident wrong beliefs with no gap detection; high uncertainty detection yet persistent errors; broad, imprecise escalation without self-correction. These consistent patterns confirm poor help-seeking is a model-level flaw, not task-specific. RL training on shaped Ask-F1 reward shows judgment is trainable: a 32B model improves both help-seeking quality and task pass rate, with gains that transfer across domains. The model does not learn domain-specific heuristics for when to ask; it learns to detect unresolvable uncertainty and act on it.