Vérificateur d'Ambiance : Aligner l'Évaluation du Code avec les Préférences Humaines

papers.abstract

Les modèles de langage de grande taille (LLMs) ont catalysé le codage intuitif, où les utilisateurs exploitent les LLMs pour générer et affiner itérativement du code à travers des interactions en langage naturel jusqu'à ce qu'il passe leur test intuitif. Ce test intuitif est lié aux préférences humaines réelles et va au-delà de la fonctionnalité : la solution doit sembler juste, être lisible, préserver l'intention et rester correcte. Cependant, l'évaluation actuelle du code reste ancrée à la métrique pass@k et ne capture que la correction fonctionnelle, négligeant les instructions non fonctionnelles que les utilisateurs appliquent couramment. Dans cet article, nous émettons l'hypothèse que le suivi des instructions est l'élément manquant sous-jacent au test intuitif, représentant les préférences humaines en codage en plus de la correction fonctionnelle. Pour quantifier les capacités des modèles à suivre les instructions de code avec des signaux mesurables, nous présentons VeriCode, une taxonomie de 30 instructions de code vérifiables accompagnées de vérificateurs déterministes correspondants. Nous utilisons cette taxonomie pour enrichir les suites d'évaluation établies, aboutissant à Vibe Checker, un banc d'essai pour évaluer à la fois le suivi des instructions de code et la correction fonctionnelle. En évaluant 31 LLMs leaders, nous montrons que même les modèles les plus performants peinent à se conformer à plusieurs instructions et présentent une régression fonctionnelle claire. Plus important encore, un score composite de correction fonctionnelle et de suivi des instructions corrèle le mieux avec les préférences humaines, ce dernier émergeant comme le principal facteur différenciateur dans les tâches de programmation réelles. Notre travail identifie les facteurs clés du test intuitif, offrant une voie concrète pour le benchmarking et le développement de modèles mieux alignés avec les préférences des utilisateurs en codage.

English

Large Language Models (LLMs) have catalyzed vibe coding, where users leverage LLMs to generate and iteratively refine code through natural language interactions until it passes their vibe check. Vibe check is tied to real-world human preference and goes beyond functionality: the solution should feel right, read cleanly, preserve intent, and remain correct. However, current code evaluation remains anchored to pass@k and captures only functional correctness, overlooking the non-functional instructions that users routinely apply. In this paper, we hypothesize that instruction following is the missing piece underlying vibe check that represents human preference in coding besides functional correctness. To quantify models' code instruction following capabilities with measurable signals, we present VeriCode, a taxonomy of 30 verifiable code instructions together with corresponding deterministic verifiers. We use the taxonomy to augment established evaluation suites, resulting in Vibe Checker, a testbed to assess both code instruction following and functional correctness. Upon evaluating 31 leading LLMs, we show that even the strongest models struggle to comply with multiple instructions and exhibit clear functional regression. Most importantly, a composite score of functional correctness and instruction following correlates the best with human preference, with the latter emerging as the primary differentiator on real-world programming tasks. Our work identifies core factors of the vibe check, providing a concrete path for benchmarking and developing models that better align with user preferences in coding.

Vérificateur d'Ambiance : Aligner l'Évaluation du Code avec les Préférences Humaines

Vibe Checker: Aligning Code Evaluation with Human Preference

papers.abstract

Support