Kann ein 1B LLM einen 405B LLM übertreffen? Neubewertung der rechenoptimalen Skalierung zur Testzeit.Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time
Scaling
Test-Time Scaling (TTS) ist eine wichtige Methode zur Verbesserung der Leistung von Large Language Models (LLMs) durch zusätzliche Berechnungen während der Inferenzphase. Allerdings analysieren aktuelle Studien nicht systematisch, wie Policy-Modelle, Process Reward Models (PRMs) und die Schwierigkeit des Problems TTS beeinflussen. Dieser Mangel an Analyse begrenzt das Verständnis und die praktische Anwendung von TTS-Methoden. In diesem Artikel konzentrieren wir uns auf zwei Kernfragen: (1) Was ist der optimale Ansatz, um die Testzeitberechnung über verschiedene Policy-Modelle, PRMs und Schwierigkeitsgrade von Problemen zu skalieren? (2) Inwieweit kann erweiterte Berechnung die Leistung von LLMs bei komplexen Aufgaben verbessern, und können kleinere Sprachmodelle größere durch diesen Ansatz übertreffen? Durch umfassende Experimente an MATH-500 und anspruchsvollen AIME24-Aufgaben haben wir folgende Beobachtungen gemacht: (1) Die rechenoptimale TTS-Strategie hängt stark von der Wahl des Policy-Modells, PRM und der Problemschwierigkeit ab. (2) Mit unserer rechenoptimalen TTS-Strategie können extrem kleine Policy-Modelle größere Modelle übertreffen. Zum Beispiel kann ein 1B LLM einen 405B LLM bei MATH-500 übertreffen. Darüber hinaus übertrifft auf sowohl MATH-500 als auch AIME24 ein 0.5B LLM GPT-4o, ein 3B LLM übertrifft einen 405B LLM, und ein 7B LLM schlägt o1 und DeepSeek-R1, und das mit höherer Inferenzeffizienz. Diese Ergebnisse zeigen die Bedeutung der Anpassung von TTS-Strategien an die spezifischen Merkmale jeder Aufgabe und jedes Modells und deuten darauf hin, dass TTS ein vielversprechender Ansatz zur Verbesserung der Denkfähigkeiten von LLMs ist.