Grote Taalmodellen Uitlijnen via Synthetische Feedback

Samenvatting

Het afstemmen van grote taalmodellen (LLMs) op menselijke waarden is steeds belangrijker geworden, omdat het geavanceerde sturing van LLMs mogelijk maakt, zoals het laten volgen van gegeven instructies terwijl ze minder giftig blijven. Dit vereist echter een aanzienlijke hoeveelheid menselijke demonstraties en feedback. Recentelijk hebben open-source modellen geprobeerd het afstemmingsleerproces na te bootsen door data te destilleren uit reeds afgestemde LLMs zoals InstructGPT of ChatGPT. Hoewel dit proces menselijke inspanningen vermindert, is de constructie van deze datasets sterk afhankelijk van de leraarmodellen. In dit werk stellen we een nieuw raamwerk voor voor afstemmingsleren met vrijwel geen menselijke arbeid en geen afhankelijkheid van vooraf afgestemde LLMs. Eerst voeren we beloningsmodellering (RM) uit met synthetische feedback door reacties van standaard LLMs van verschillende grootten en prompts te vergelijken. Vervolgens gebruiken we de RM om hoogwaardige demonstraties te simuleren voor het trainen van een begeleid beleid en voor het verder optimaliseren van het model met reinforcement learning. Ons resulterende model, Aligned Language Model with Synthetic Training dataset (ALMoST), presteert beter dan open-source modellen, waaronder Alpaca, Dolly en OpenAssistant, die getraind zijn op de uitvoer van InstructGPT of door mensen geannoteerde instructies. Ons 7B-model presteert beter dan de 12-13B modellen in de A/B-tests waarbij GPT-4 als beoordelaar wordt gebruikt, met een gemiddelde winstpercentage van ongeveer 75%.

English

Aligning large language models (LLMs) to human values has become increasingly important as it enables sophisticated steering of LLMs, e.g., making them follow given instructions while keeping them less toxic. However, it requires a significant amount of human demonstrations and feedback. Recently, open-sourced models have attempted to replicate the alignment learning process by distilling data from already aligned LLMs like InstructGPT or ChatGPT. While this process reduces human efforts, constructing these datasets has a heavy dependency on the teacher models. In this work, we propose a novel framework for alignment learning with almost no human labor and no dependency on pre-aligned LLMs. First, we perform reward modeling (RM) with synthetic feedback by contrasting responses from vanilla LLMs with various sizes and prompts. Then, we use the RM for simulating high-quality demonstrations to train a supervised policy and for further optimizing the model with reinforcement learning. Our resulting model, Aligned Language Model with Synthetic Training dataset (ALMoST), outperforms open-sourced models, including Alpaca, Dolly, and OpenAssistant, which are trained on the outputs of InstructGPT or human-annotated instructions. Our 7B-sized model outperforms the 12-13B models in the A/B tests using GPT-4 as the judge with about 75% winning rate on average.

Grote Taalmodellen Uitlijnen via Synthetische Feedback

Aligning Large Language Models through Synthetic Feedback

Samenvatting

Support