Vibe Checker: Alinhando a Avaliação de Código com as Preferências Humanas

Vibe Checker: Aligning Code Evaluation with Human Preference

October 8, 2025

Autores: Ming Zhong, Xiang Zhou, Ting-Yun Chang, Qingze Wang, Nan Xu, Xiance Si, Dan Garrette, Shyam Upadhyay, Jeremiah Liu, Jiawei Han, Benoit Schillings, Jiao Sun

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) catalisaram o "vibe coding", onde os usuários utilizam LLMs para gerar e refinar iterativamente o código por meio de interações em linguagem natural até que ele passe no seu "vibe check". O "vibe check" está ligado às preferências humanas do mundo real e vai além da funcionalidade: a solução deve parecer certa, ser legível, preservar a intenção e permanecer correta. No entanto, a avaliação atual de código ainda está ancorada no pass@k e captura apenas a correção funcional, ignorando as instruções não funcionais que os usuários aplicam rotineiramente. Neste artigo, hipotetizamos que o seguimento de instruções é a peça que falta subjacente ao "vibe check" e que representa a preferência humana na codificação além da correção funcional. Para quantificar as capacidades dos modelos de seguir instruções de código com sinais mensuráveis, apresentamos o VeriCode, uma taxonomia de 30 instruções de código verificáveis juntamente com verificadores determinísticos correspondentes. Usamos essa taxonomia para ampliar conjuntos de avaliação estabelecidos, resultando no Vibe Checker, um ambiente de teste para avaliar tanto o seguimento de instruções de código quanto a correção funcional. Ao avaliar 31 LLMs líderes, mostramos que mesmo os modelos mais fortes lutam para cumprir múltiplas instruções e exibem clara regressão funcional. Mais importante, uma pontuação composta de correção funcional e seguimento de instruções correlaciona-se melhor com a preferência humana, com o último emergindo como o principal diferenciador em tarefas de programação do mundo real. Nosso trabalho identifica os fatores centrais do "vibe check", fornecendo um caminho concreto para benchmarking e desenvolvimento de modelos que se alinhem melhor com as preferências dos usuários na codificação.

English

Large Language Models (LLMs) have catalyzed vibe coding, where users leverage LLMs to generate and iteratively refine code through natural language interactions until it passes their vibe check. Vibe check is tied to real-world human preference and goes beyond functionality: the solution should feel right, read cleanly, preserve intent, and remain correct. However, current code evaluation remains anchored to pass@k and captures only functional correctness, overlooking the non-functional instructions that users routinely apply. In this paper, we hypothesize that instruction following is the missing piece underlying vibe check that represents human preference in coding besides functional correctness. To quantify models' code instruction following capabilities with measurable signals, we present VeriCode, a taxonomy of 30 verifiable code instructions together with corresponding deterministic verifiers. We use the taxonomy to augment established evaluation suites, resulting in Vibe Checker, a testbed to assess both code instruction following and functional correctness. Upon evaluating 31 leading LLMs, we show that even the strongest models struggle to comply with multiple instructions and exhibit clear functional regression. Most importantly, a composite score of functional correctness and instruction following correlates the best with human preference, with the latter emerging as the primary differentiator on real-world programming tasks. Our work identifies core factors of the vibe check, providing a concrete path for benchmarking and developing models that better align with user preferences in coding.