JudgeLM: Feinabgestimmte Large Language Models sind skalierbare Bewertungssysteme

JudgeLM: Fine-tuned Large Language Models are Scalable Judges

October 26, 2023

Autoren: Lianghui Zhu, Xinggang Wang, Xinlong Wang

cs.AI

Zusammenfassung

Die Bewertung von Large Language Models (LLMs) in offenen Szenarien ist eine Herausforderung, da bestehende Benchmarks und Metriken sie nicht umfassend messen können. Um dieses Problem zu lösen, schlagen wir vor, LLMs als skalierbare Bewerter (JudgeLM) zu fine-tunen, um LLMs in offenen Benchmarks effizient und effektiv zu bewerten. Zunächst stellen wir einen umfassenden, groß angelegten, hochwertigen Datensatz vor, der Aufgabenkerne, von LLMs generierte Antworten und von GPT-4 generierte Bewertungen enthält, um leistungsstarke Bewerter zu fine-tunen, sowie einen neuen Benchmark zur Bewertung der Bewerter. Wir trainieren JudgeLM in verschiedenen Größenordnungen von 7B, 13B bis zu 33B Parametern und führen eine systematische Analyse seiner Fähigkeiten und Verhaltensweisen durch. Anschließend analysieren wir die wichtigsten Verzerrungen beim Fine-Tuning von LLMs als Bewerter und betrachten sie als Positionsverzerrung, Wissensverzerrung und Formatverzerrung. Um diese Probleme zu adressieren, führt JudgeLM eine Reihe von Techniken ein, darunter Swap-Augmentierung, Referenzunterstützung und Referenzauslassung, die die Leistung des Bewerters deutlich verbessern. JudgeLM erzielt die beste Bewerterleistung sowohl auf dem bestehenden PandaLM-Benchmark als auch auf unserem vorgeschlagenen neuen Benchmark. Unser JudgeLM ist effizient und JudgeLM-7B benötigt nur 3 Minuten, um 5.000 Proben mit 8 A100-GPUs zu bewerten. JudgeLM erreicht eine hohe Übereinstimmung mit dem Lehrerbewerter, wobei die Übereinstimmung 90 % übersteigt und sogar die menschliche Übereinstimmung übertrifft. JudgeLM zeigt auch erweiterte Fähigkeiten als Bewerter für einzelne Antworten, multimodale Modelle, mehrere Antworten und mehrfache Chat-Runden.

English

Evaluating Large Language Models (LLMs) in open-ended scenarios is challenging because existing benchmarks and metrics can not measure them comprehensively. To address this problem, we propose to fine-tune LLMs as scalable judges (JudgeLM) to evaluate LLMs efficiently and effectively in open-ended benchmarks. We first propose a comprehensive, large-scale, high-quality dataset containing task seeds, LLMs-generated answers, and GPT-4-generated judgments for fine-tuning high-performance judges, as well as a new benchmark for evaluating the judges. We train JudgeLM at different scales from 7B, 13B, to 33B parameters, and conduct a systematic analysis of its capabilities and behaviors. We then analyze the key biases in fine-tuning LLM as a judge and consider them as position bias, knowledge bias, and format bias. To address these issues, JudgeLM introduces a bag of techniques including swap augmentation, reference support, and reference drop, which clearly enhance the judge's performance. JudgeLM obtains the state-of-the-art judge performance on both the existing PandaLM benchmark and our proposed new benchmark. Our JudgeLM is efficient and the JudgeLM-7B only needs 3 minutes to judge 5K samples with 8 A100 GPUs. JudgeLM obtains high agreement with the teacher judge, achieving an agreement exceeding 90% that even surpasses human-to-human agreement. JudgeLM also demonstrates extended capabilities in being judges of the single answer, multimodal models, multiple answers, and multi-turn chat.