De rol van feedback-uitlijning in zelfdistillatie

Samenvatting

Het conditioneren van een taalmodel op extra context, zoals feedback op een eerdere poging, verbetert doorgaans de respons. Zelfdistillatie traint het model om deze verbetering te behouden wanneer de context niet aanwezig is. De methode werkt door de outputdistributie van het model onder twee instellingen te matchen: een student die alleen de vraag ziet, en een zelfleraar die ook de context ziet. Wat het model leert, hangt dus af van welke context de zelfleraar ontvangt, maar het ontwerp van deze context blijft grotendeels onverkend. We bestuderen contextontwerp voor zelfdistillatie door een oplosser te trainen op feedback van een bevroren criticus. We vergelijken drie condities: (i) een binaire beloning (GRPO), (ii) de referentieoplossing, en (iii) een stapsgewijze kritiek die is afgestemd op het redeneerspoor van de oplosser. Stap-afgestemde kritiek levert de grootste winst op, met een prestatie die 16,11 punten hoger ligt dan GRPO en 5,27 punten hoger dan zelfdistillatie geconditioneerd op de referentieoplossing (Avg@12). Per-token-voordeelanalyse toont aan waarom: stap-afgestemde feedback richt zich alleen op de tokens waar het redeneren faalt, terwijl correct gedrag intact blijft. Conditionering op de referentieoplossing daarentegen dwingt het model om zijn gedrag bij elk token te veranderen (zelfs bij correcte stappen), omdat een alternatieve afleiding onvermijdelijk verschilt in formulering en aanpak. Dit suggereert dat structurele afstemming tussen feedback en het redeneren van de oplosser een belangrijke drijvende kracht is voor de effectiviteit van zelfdistillatie.

English

Conditioning a language model on additional context, such as feedback on a previous attempt, typically improves its response. Self-distillation trains the model to retain this improvement when the context is not present. The method works by matching the model's output distribution under two settings: a student that sees only the question, and a self-teacher that also sees the context. What the model learns therefore depends on what context the self-teacher receives, yet the design of this context remains largely unexplored. We study context design for self-distillation by training a solver on feedback from a frozen critic. We compare three conditions: (i) a binary reward (GRPO), (ii) the reference solution, and (iii) a step-by-step critique aligned to the solver's reasoning trace. Step-aligned critique yields the largest gains, outperforming GRPO by 16.11 points and reference-solution-conditioned self-distillation by 5.27 points (Avg@12). Per-token advantage analysis reveals why: step-aligned feedback targets only the tokens where reasoning fails, leaving correct behavior intact. Conditioning on the reference solution, by contrast, pressures the model to change its behavior at every token (even correct steps) because an alternative derivation inevitably differs in phrasing and approach. This suggests that structural alignment between feedback and the solver's reasoning is a key driver of self-distillation effectiveness.