自己整合性好適化

要旨

自己整合は、モデルが人間の注釈なしで自己改善を学ぶことができるようになる、急速に成長している研究分野です。しかし、既存の技術は、正しい報酬を割り当てる難しさから、複雑な推論タスクの改善にしばしば失敗します。正確性を向上させるとされる直交アプローチは、推論時に適用される自己整合性であり、複数のサンプリングに基づいて最も整合性のある回答を見つけるために使用されます。本研究では、自己整合性の概念をモデルのトレーニングに活用するために拡張します。その結果、自己整合性選好最適化（ScPO）を導入し、非監督学習の新しい問題で一貫した回答を不一致な回答よりも好ましいものとして反復的にトレーニングします。ScPOは、GSM8KやMATHなどの推論タスクにおいて、従来の報酬モデルトレーニングに比べて大幅な改善をもたらし、ゴールの回答や選好を持つ教師付きトレーニングとの差を縮めることを示します。また、ScPOを標準の教師付き学習と組み合わせることでさらなる結果の改善が見られます。ZebraLogicでは、ScPOがLlama-3 8BをLlama-3 70B、Gemma-2 27B、Claude-3 Haikuよりも優れたものに仕上げるためにLlama-3 8Bを微調整します。

English

Self-alignment, whereby models learn to improve themselves without human annotation, is a rapidly growing research area. However, existing techniques often fail to improve complex reasoning tasks due to the difficulty of assigning correct rewards. An orthogonal approach that is known to improve correctness is self-consistency, a method applied at inference time based on multiple sampling in order to find the most consistent answer. In this work, we extend the self-consistency concept to help train models. We thus introduce self-consistency preference optimization (ScPO), which iteratively trains consistent answers to be preferred over inconsistent ones on unsupervised new problems. We show ScPO leads to large improvements over conventional reward model training on reasoning tasks such as GSM8K and MATH, closing the gap with supervised training with gold answers or preferences, and that combining ScPO with standard supervised learning improves results even further. On ZebraLogic, ScPO finetunes Llama-3 8B to be superior to Llama-3 70B, Gemma-2 27B, and Claude-3 Haiku.

自己整合性好適化

Self-Consistency Preference Optimization

要旨

Summary

Support