O1複製の旅 -- パート2: O1プレビューを超えるためのシンプル蒸留、大進歩または厳しい教訓？

O1 Replication Journey -- Part 2: Surpassing O1-preview through Simple Distillation, Big Progress or Bitter Lesson?

November 25, 2024

著者: Zhen Huang, Haoyang Zou, Xuefeng Li, Yixiu Liu, Yuxiang Zheng, Ethan Chern, Shijie Xia, Yiwei Qin, Weizhe Yuan, Pengfei Liu

cs.AI

要旨

本論文は、OpenAIのO1モデルの機能を複製する現在のアプローチを批判的に検討し、その中でも知識蒸留技術の広範でありながらしばしば非公開であることに焦点を当てています。以前の研究ではO1複製への基本的な技術的経路を探求していましたが、この研究では、O1のAPIからの単純な蒸留と監督された微調整を組み合わせることで、複雑な数学的推論タスクで優れたパフォーマンスを実現できることを明らかにしています。多くの実験を通じて、数万のサンプルをO1から蒸留した基本モデルを単純に微調整することで、O1-previewよりもアメリカン・インビテーショナル・マスマティクス・エグザミネーション（AIME）で優れたパフォーマンスを達成することを示しています。さらに、数学的推論にとどまらず、O1から蒸留されたモデルの一般化能力を探求し、幻覚、安全性、オープンドメインのQAなど多様なタスクにおいて、我々のモデルが強力な一般化能力を示し、微調整後には諂いに対して著しく影響を受けにくくなりました。この発見を公開することで、AI研究の透明性を促進し、分野内での不透明な技術的主張の現在の傾向に挑戦するために、我々は故意にこれを公表しています。本研究には以下が含まれます：（1）蒸留プロセスとその効果の詳細な技術的説明、（2）O1複製の試みを技術的透明性と再現性に基づいて評価し分類する包括的なベンチマークフレームワーク、（3）蒸留アプローチへの過度な依存の制限と潜在的リスクについての批判的な議論。我々の分析は、より能力の高いAIシステムの追求は重要であるが、第一原理思考に基づく研究者の育成が最も重要であるという重要な苦い教訓で結実しています。

English

This paper presents a critical examination of current approaches to replicating OpenAI's O1 model capabilities, with particular focus on the widespread but often undisclosed use of knowledge distillation techniques. While our previous work explored the fundamental technical path to O1 replication, this study reveals how simple distillation from O1's API, combined with supervised fine-tuning, can achieve superior performance on complex mathematical reasoning tasks. Through extensive experiments, we show that a base model fine-tuned on simply tens of thousands of samples O1-distilled long-thought chains outperforms O1-preview on the American Invitational Mathematics Examination (AIME) with minimal technical complexity. Moreover, our investigation extends beyond mathematical reasoning to explore the generalization capabilities of O1-distilled models across diverse tasks: hallucination, safety and open-domain QA. Notably, despite training only on mathematical problem-solving data, our models demonstrated strong generalization to open-ended QA tasks and became significantly less susceptible to sycophancy after fine-tuning. We deliberately make this finding public to promote transparency in AI research and to challenge the current trend of obscured technical claims in the field. Our work includes: (1) A detailed technical exposition of the distillation process and its effectiveness, (2) A comprehensive benchmark framework for evaluating and categorizing O1 replication attempts based on their technical transparency and reproducibility, (3) A critical discussion of the limitations and potential risks of over-relying on distillation approaches, our analysis culminates in a crucial bitter lesson: while the pursuit of more capable AI systems is important, the development of researchers grounded in first-principles thinking is paramount.