ProfBench: Multi-domeinrubrieken die professionele kennis vereisen om te beantwoorden en te beoordelen

ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge

October 21, 2025

Auteurs: Zhilin Wang, Jaehun Jung, Ximing Lu, Shizhe Diao, Ellie Evans, Jiaqi Zeng, Pavlo Molchanov, Yejin Choi, Jan Kautz, Yi Dong

cs.AI

Samenvatting

Het evalueren van vooruitgang in grote taalmodellen (LLMs) wordt vaak beperkt door de uitdaging om antwoorden te verifiëren, waardoor beoordelingen beperkt blijven tot taken zoals wiskunde, programmeren en kort-antwoordvragen. Echter, veel real-world toepassingen vereisen het evalueren van LLMs in het verwerken van professionele documenten, het synthetiseren van informatie en het genereren van uitgebreide rapporten in reactie op gebruikersvragen. Wij introduceren ProfBench: een set van meer dan 7000 respons-criteriumparen zoals beoordeeld door menselijke experts met professionele kennis op het gebied van Physics PhD, Chemistry PhD, Finance MBA en Consulting MBA. We ontwikkelen robuuste en betaalbare LLM-Judges om de ProfBench-rubrics te evalueren, door zelfversterkingsbias te verminderen en de evaluatiekosten met 2-3 grootteordes te verlagen, om het eerlijk en toegankelijk te maken voor een bredere gemeenschap. Onze bevindingen tonen aan dat ProfBench aanzienlijke uitdagingen biedt, zelfs voor state-of-the-art LLMs, waarbij topmodellen zoals GPT-5-high slechts 65,9\% algehele prestaties behalen. Bovendien identificeren we opmerkelijke prestatieverschillen tussen propriëtaire en open-weight modellen en bieden we inzichten in de rol die uitgebreid denken speelt bij het aanpakken van complexe, professionele-domeintaken. Data: https://huggingface.co/datasets/nvidia/ProfBench en Code: https://github.com/NVlabs/ProfBench

English

Evaluating progress in large language models (LLMs) is often constrained by the challenge of verifying responses, limiting assessments to tasks like mathematics, programming, and short-form question-answering. However, many real-world applications require evaluating LLMs in processing professional documents, synthesizing information, and generating comprehensive reports in response to user queries. We introduce ProfBench: a set of over 7000 response-criterion pairs as evaluated by human-experts with professional knowledge across Physics PhD, Chemistry PhD, Finance MBA and Consulting MBA. We build robust and affordable LLM-Judges to evaluate ProfBench rubrics, by mitigating self-enhancement bias and reducing the cost of evaluation by 2-3 orders of magnitude, to make it fair and accessible to the broader community. Our findings reveal that ProfBench poses significant challenges even for state-of-the-art LLMs, with top-performing models like GPT-5-high achieving only 65.9\% overall performance. Furthermore, we identify notable performance disparities between proprietary and open-weight models and provide insights into the role that extended thinking plays in addressing complex, professional-domain tasks. Data: https://huggingface.co/datasets/nvidia/ProfBench and Code: https://github.com/NVlabs/ProfBench