Feedback in Gedächtnis-als-Werkzeug destillieren

Distilling Feedback into Memory-as-a-Tool

January 9, 2026

papers.authors: Víctor Gallego

cs.AI

papers.abstract

Wir schlagen ein Framework vor, das die Kosten von Inferenzzeit-Ressourcen amortisiert, indem es flüchtige Kritiken in abrufbare Richtlinien umwandelt – durch ein dateibasiertes Speichersystem und agentengesteuerte Tool-Aufrufe. Wir evaluieren diese Methode auf der Rubric Feedback Bench, einem neuartigen Datensatz für rubrikbasiertes Lernen. Experimente zeigen, dass unsere erweiterten LLMs schnell die Leistung von Testzeit-Verfeinerungspipelines erreichen, während sie die Inferenzkosten drastisch reduzieren.

English

We propose a framework that amortizes the cost of inference-time reasoning by converting transient critiques into retrievable guidelines, through a file-based memory system and agent-controlled tool calls. We evaluate this method on the Rubric Feedback Bench, a novel dataset for rubric-based learning. Experiments demonstrate that our augmented LLMs rapidly match the performance of test-time refinement pipelines while drastically reducing inference cost.