DeAL: Uitlijning tijdens decodering voor grote taalmodellen

Samenvatting

Grote Taalmodellen (LLMs) worden tegenwoordig verwacht inhoud te genereren die aansluit bij menselijke voorkeuren. Huidig onderzoek richt zich op afstemming tijdens de modeltraining, via technieken zoals Reinforcement Learning met Menselijke Feedback (RLHF). Het is echter onduidelijk of dergelijke methoden een effectieve keuze zijn om afstemmingsdoelen aan het model aan te leren. Ten eerste zijn het onvermogen om meerdere, aangepaste beloningen te integreren en de afhankelijkheid van de ontwikkelaar van het model voor universele en statische principes belangrijke beperkingen. Ten tweede zijn de resterende hiaten in de modeltraining en de betrouwbaarheid van dergelijke benaderingen ook twijfelachtig (bijvoorbeeld gevoeligheid voor jailbreaking zelfs na veiligheidstraining). Om dit aan te pakken, stellen we DeAL voor, een raamwerk dat de gebruiker in staat stelt beloningsfuncties aan te passen en Decoding-time Alignment van LLMs (DeAL) mogelijk maakt. In de kern beschouwen we decodering als een heuristisch geleid zoekproces en faciliteren we het gebruik van een breed scala aan afstemmingsdoelen. Onze experimenten met programmatische beperkingen zoals trefwoord- en lengtebeperkingen (uitgebreid bestudeerd in het pre-LLM-tijdperk) en abstracte doelen zoals onschadelijkheid en behulpzaamheid (voorgesteld in het post-LLM-tijdperk) laten zien dat we met DeAL fijnmazige afwegingen kunnen maken, de naleving van afstemmingsdoelen kunnen verbeteren en resterende hiaten in LLMs kunnen aanpakken. Tot slot, hoewel DeAL effectief kan worden gecombineerd met RLHF en promptingtechnieken, maakt de algemeenheid ervan het decoderen trager, een optimalisatie die we overlaten aan toekomstig werk.

English

Large Language Models (LLMs) are nowadays expected to generate content aligned with human preferences. Current work focuses on alignment at model training time, through techniques such as Reinforcement Learning with Human Feedback (RLHF). However, it is unclear if such methods are an effective choice to teach alignment objectives to the model. First, the inability to incorporate multiple, custom rewards and reliance on a model developer's view of universal and static principles are key limitations. Second, the residual gaps in model training and the reliability of such approaches are also questionable (e.g. susceptibility to jail-breaking even after safety training). To address these, we propose DeAL, a framework that allows the user to customize reward functions and enables Decoding-time Alignment of LLMs (DeAL). At its core, we view decoding as a heuristic-guided search process and facilitate the use of a wide variety of alignment objectives. Our experiments with programmatic constraints such as keyword and length constraints (studied widely in the pre-LLM era) and abstract objectives such as harmlessness and helpfulness (proposed in the post-LLM era) show that we can DeAL with fine-grained trade-offs, improve adherence to alignment objectives, and address residual gaps in LLMs. Lastly, while DeAL can be effectively paired with RLHF and prompting techniques, its generality makes decoding slower, an optimization we leave for future work.

DeAL: Uitlijning tijdens decodering voor grote taalmodellen

DeAL: Decoding-time Alignment for Large Language Models

Samenvatting

Support