O1 Replicatie Reis -- Deel 2: O1-preview Overtreffen via Simpele Destillatie, Grote Vooruitgang of Bittere Les?

O1 Replication Journey -- Part 2: Surpassing O1-preview through Simple Distillation, Big Progress or Bitter Lesson?

November 25, 2024

Auteurs: Zhen Huang, Haoyang Zou, Xuefeng Li, Yixiu Liu, Yuxiang Zheng, Ethan Chern, Shijie Xia, Yiwei Qin, Weizhe Yuan, Pengfei Liu

cs.AI

Samenvatting

Dit artikel presenteert een kritische beoordeling van de huidige benaderingen voor het repliceren van de mogelijkheden van het O1-model van OpenAI, met speciale aandacht voor het veelvoorkomende maar vaak onbekend gebleven gebruik van kennisdestillatietechnieken. Terwijl ons eerdere werk de fundamentele technische weg naar O1-replicatie onderzocht, onthult deze studie hoe eenvoudige destillatie van O1's API, gecombineerd met begeleid finetunen, superieure prestaties kan behalen op complexe wiskundige redeneertaken. Door uitgebreide experimenten tonen we aan dat een basismodel dat eenvoudig is gefinetuned op tienduizenden O1-gedestilleerde voorbeelden, O1-preview overtreft op de American Invitational Mathematics Examination (AIME) met minimale technische complexiteit. Bovendien strekt ons onderzoek zich uit voorbij wiskundige redenering om de generalisatiecapaciteiten van O1-gedestilleerde modellen over diverse taken te verkennen: hallucinatie, veiligheid en open-domein QA. Opmerkelijk is dat, ondanks training alleen op wiskundige probleemoplossingsgegevens, onze modellen sterke generalisatie naar open vragen met een open einde toonden en aanzienlijk minder vatbaar werden voor vleierij na finetuning. We maken deze bevinding opzettelijk openbaar om transparantie in AI-onderzoek te bevorderen en de huidige trend van verhulde technische claims in het veld uit te dagen. Ons werk omvat: (1) Een gedetailleerde technische uiteenzetting van het destillatieproces en de effectiviteit ervan, (2) Een uitgebreid benchmarkkader voor het evalueren en categoriseren van O1-replicatiepogingen op basis van hun technische transparantie en reproduceerbaarheid, (3) Een kritische bespreking van de beperkingen en potentiële risico's van het te veel vertrouwen op destillatiebenaderingen. Onze analyse komt tot een cruciale bittere les: terwijl het streven naar meer capabele AI-systemen belangrijk is, is de ontwikkeling van onderzoekers die geworteld zijn in eerstegraads denken van het grootste belang.

English

This paper presents a critical examination of current approaches to replicating OpenAI's O1 model capabilities, with particular focus on the widespread but often undisclosed use of knowledge distillation techniques. While our previous work explored the fundamental technical path to O1 replication, this study reveals how simple distillation from O1's API, combined with supervised fine-tuning, can achieve superior performance on complex mathematical reasoning tasks. Through extensive experiments, we show that a base model fine-tuned on simply tens of thousands of samples O1-distilled long-thought chains outperforms O1-preview on the American Invitational Mathematics Examination (AIME) with minimal technical complexity. Moreover, our investigation extends beyond mathematical reasoning to explore the generalization capabilities of O1-distilled models across diverse tasks: hallucination, safety and open-domain QA. Notably, despite training only on mathematical problem-solving data, our models demonstrated strong generalization to open-ended QA tasks and became significantly less susceptible to sycophancy after fine-tuning. We deliberately make this finding public to promote transparency in AI research and to challenge the current trend of obscured technical claims in the field. Our work includes: (1) A detailed technical exposition of the distillation process and its effectiveness, (2) A comprehensive benchmark framework for evaluating and categorizing O1 replication attempts based on their technical transparency and reproducibility, (3) A critical discussion of the limitations and potential risks of over-relying on distillation approaches, our analysis culminates in a crucial bitter lesson: while the pursuit of more capable AI systems is important, the development of researchers grounded in first-principles thinking is paramount.