Feedback destilleren tot geheugen-als-instrument

Distilling Feedback into Memory-as-a-Tool

January 9, 2026

Auteurs: Víctor Gallego

cs.AI

Samenvatting

Wij stellen een raamwerk voor dat de kosten van redeneren tijdens de inferentie amortiseert door vluchtige kritieken om te zetten in opvraagbare richtlijnen, via een op bestanden gebaseerd geheugensysteem en door een agent aangestuurde tool-aanroepen. Wij evalueren deze methode op de Rubric Feedback Bench, een nieuwe dataset voor rubric-gestuurd leren. Experimenten tonen aan dat onze uitgebreide LLM's snel de prestaties evenaren van pipelines voor verfijning tijdens de testfase, terwijl de inferentiekosten aanzienlijk worden verlaagd.

English

We propose a framework that amortizes the cost of inference-time reasoning by converting transient critiques into retrievable guidelines, through a file-based memory system and agent-controlled tool calls. We evaluate this method on the Rubric Feedback Bench, a novel dataset for rubric-based learning. Experiments demonstrate that our augmented LLMs rapidly match the performance of test-time refinement pipelines while drastically reducing inference cost.