Vibe Checker: Afstemming van Code-evaluatie met Menselijke Voorkeur

Samenvatting

Grote Taalmodellen (LLMs) hebben vibe coding geïntroduceerd, waarbij gebruikers LLMs inzetten om code te genereren en iteratief te verfijnen via natuurlijke taalinteracties totdat deze hun vibe check doorstaat. Vibe check is verbonden met menselijke voorkeuren in de praktijk en gaat verder dan functionaliteit: de oplossing moet goed aanvoelen, leesbaar zijn, de intentie behouden en correct blijven. Huidige code-evaluatie blijft echter verankerd in pass@k en meet alleen functionele correctheid, waarbij de niet-functionele instructies die gebruikers routinematig toepassen over het hoofd worden gezien. In dit artikel stellen we de hypothese dat het volgen van instructies het ontbrekende stuk is dat ten grondslag ligt aan de vibe check en dat menselijke voorkeuren in codering vertegenwoordigt naast functionele correctheid. Om de code-instructievolgbare capaciteiten van modellen te kwantificeren met meetbare signalen, presenteren we VeriCode, een taxonomie van 30 verifieerbare code-instructies samen met bijbehorende deterministische verifiers. We gebruiken deze taxonomie om gevestigde evaluatiesuites uit te breiden, wat resulteert in Vibe Checker, een testomgeving om zowel het volgen van code-instructies als functionele correctheid te beoordelen. Na evaluatie van 31 toonaangevende LLMs tonen we aan dat zelfs de sterkste modellen moeite hebben om meerdere instructies na te leven en duidelijke functionele regressie vertonen. Het belangrijkste is dat een samengestelde score van functionele correctheid en het volgen van instructies het beste correleert met menselijke voorkeuren, waarbij het laatste naar voren komt als de belangrijkste onderscheidende factor bij real-world programmeertaken. Ons werk identificeert kernfactoren van de vibe check en biedt een concreet pad voor het benchmarken en ontwikkelen van modellen die beter aansluiten bij gebruikersvoorkeuren in codering.

English

Large Language Models (LLMs) have catalyzed vibe coding, where users leverage LLMs to generate and iteratively refine code through natural language interactions until it passes their vibe check. Vibe check is tied to real-world human preference and goes beyond functionality: the solution should feel right, read cleanly, preserve intent, and remain correct. However, current code evaluation remains anchored to pass@k and captures only functional correctness, overlooking the non-functional instructions that users routinely apply. In this paper, we hypothesize that instruction following is the missing piece underlying vibe check that represents human preference in coding besides functional correctness. To quantify models' code instruction following capabilities with measurable signals, we present VeriCode, a taxonomy of 30 verifiable code instructions together with corresponding deterministic verifiers. We use the taxonomy to augment established evaluation suites, resulting in Vibe Checker, a testbed to assess both code instruction following and functional correctness. Upon evaluating 31 leading LLMs, we show that even the strongest models struggle to comply with multiple instructions and exhibit clear functional regression. Most importantly, a composite score of functional correctness and instruction following correlates the best with human preference, with the latter emerging as the primary differentiator on real-world programming tasks. Our work identifies core factors of the vibe check, providing a concrete path for benchmarking and developing models that better align with user preferences in coding.

Vibe Checker: Afstemming van Code-evaluatie met Menselijke Voorkeur

Vibe Checker: Aligning Code Evaluation with Human Preference

Samenvatting

Support