Erneute Betrachtung der Testzeit-Skalierung von o1-ähnlichen Modellen: Verfügen sie wirklich über Testzeit-Skalierungsfähigkeiten?

Revisiting the Test-Time Scaling of o1-like Models: Do they Truly Possess Test-Time Scaling Capabilities?

February 17, 2025

Autoren: Zhiyuan Zeng, Qinyuan Cheng, Zhangyue Yin, Yunhua Zhou, Xipeng Qiu

cs.AI

Zusammenfassung

Das Aufkommen von Test-Time-Scaling in großen Sprachmodellen (LLMs), veranschaulicht durch die o1-Serie von OpenAI, hat die Fähigkeiten zur logischen Schlussfolgerung durch die Skalierung der Ressourcenzuteilung während der Inferenz verbessert. Während Nachfolger wie QwQ, Deepseek-R1 (R1) und LIMO diese Fortschritte replizieren, bleibt die Frage, ob diese Modelle tatsächlich über Test-Time-Scaling-Fähigkeiten verfügen, weitgehend unerforscht. Diese Studie ergab, dass längere Chain-of-Thoughts (CoTs) dieser o1-ähnlichen Modelle nicht konsequent die Genauigkeit steigern; tatsächlich sind korrekte Lösungen oft kürzer als falsche für dieselben Fragen. Weitere Untersuchungen zeigen, dass dieses Phänomen eng mit den Selbstrevisionsfähigkeiten der Modelle zusammenhängt – längere CoTs enthalten mehr Selbstrevisionen, die häufig zu Leistungsverschlechterungen führen. Anschließend vergleichen wir sequenzielle und parallele Skalierungsstrategien bei QwQ, R1 und LIMO und stellen fest, dass paralleles Skalieren eine bessere Abdeckung und Skalierbarkeit erreicht. Basierend auf diesen Erkenntnissen schlagen wir Shortest Majority Vote vor, eine Methode, die parallele Skalierungsstrategien mit den Merkmalen der CoT-Länge kombiniert und die Test-Time-Skalierbarkeit der Modelle im Vergleich zu herkömmlichen Mehrheitsabstimmungsansätzen deutlich verbessert.

English

The advent of test-time scaling in large language models (LLMs), exemplified by OpenAI's o1 series, has advanced reasoning capabilities by scaling computational resource allocation during inference. While successors like QwQ, Deepseek-R1 (R1) and LIMO replicate these advancements, whether these models truly possess test-time scaling capabilities remains underexplored. This study found that longer CoTs of these o1-like models do not consistently enhance accuracy; in fact, correct solutions are often shorter than incorrect ones for the same questions. Further investigation shows this phenomenon is closely related to models' self-revision capabilities - longer CoTs contain more self-revisions, which often lead to performance degradation. We then compare sequential and parallel scaling strategies on QwQ, R1 and LIMO, finding that parallel scaling achieves better coverage and scalability. Based on these insights, we propose Shortest Majority Vote, a method that combines parallel scaling strategies with CoT length characteristics, significantly improving models' test-time scalability compared to conventional majority voting approaches.