PANDO: Effiziente multimodale KI-Agenten durch Online-Fähigkeitsdestillation

Zusammenfassung

Jüngste Fortschritte bei multimodalen Web-Agenten stützen sich oft auf eine erhöhte Inferenzzeit-Berechnung, einschließlich Rollout-Suche, Verifikationsdurchläufen, Offline-Fähigkeitsentdeckung und spezialisierten Modellstapeln. Dies wirft eine zentrale Frage auf: Kann ein Web-Agent mit zunehmender Erfahrung effizienter werden, anstatt teurer? Wir analysieren zunächst Trajektorien aus VisualWebArena und identifizieren drei wiederkehrende Ineffizienzquellen: Wiederholungsaktionsschleifen, versteckte Entdeckungskosten und geringe Prompt-Cache-Wiederverwendung. Anschließend führen wir PANDO ein, ein Single-Rollout-Online-Fähigkeitsdestillations-Framework, das eine strukturierte Fähigkeitsbibliothek unterhält und Fortschrittsreflexion, konfidenzbasierte Fähigkeitsherabsetzung, hierarchisches Routing, visuelle Kompression sowie cache-bewusstes Prompting kombiniert. Auf dem vollständigen Satz von 910 VisualWebArena-Aufgaben erreicht PANDO eine Erfolgsrate von 58,3 % und übertrifft damit SGV (54,0 %) sowie unsere WALT-Reproduktion (45,2 %), wobei es 58 % weniger Tokens als SGV und 61 % weniger Tokens als WALT verwendet – ohne jegliches Vorauswertungsentdeckungsbudget. Eine Ablation mit 300 Aufgaben zeigt zudem, dass Regeln und Routinen die meisten Erfolgssteigerungen liefern, während Routing, Kompression und cache-bewusstes Prompting die größere Fähigkeitsbibliothek in niedrigere marginale Tokenskosten umwandeln. Schließlich führen wir drei Effizienzmetriken auf Trajektorienebene ein – Aktionswiederholungsrate, Schritt-Overhead-Verhältnis und Prompt-Cache-Auslastung – um Effizienz über den finalen Erfolg hinaus sichtbar zu machen.

English

Recent advances in multimodal web agents often rely on increased inference-time computation, including rollout search, verifier passes, offline skill discovery, and specialist model stacks. This raises a central question: can a web agent become more efficient as it accumulates experience, rather than more expensive? We first analyze trajectories from VisualWebArena and identify three recurring sources of inefficiency: repeat-action loops, hidden discovery costs, and low prompt-cache reuse. We then introduce PANDO, a single-rollout online skill-distillation framework that maintains a structured Skill Library and combines progress reflection, confidence-based skill demotion, hierarchical routing, visual compression, and cache-aware prompting. On the full set of 910 VisualWebArena tasks, PANDO achieves a 58.3% success rate, outperforming SGV (54.0%) and our WALT reproduction (45.2%), while using 58% fewer tokens than SGV and 61% fewer tokens than WALT, without any pre-evaluation discovery budget. A 300-task ablation further shows that rules and routines provide most of the success gains, while routing, compression, and cache-aware prompting convert the larger skill library into lower marginal token cost. Finally, we introduce three trajectory-level efficiency metrics -- Action Repetition Rate, Step Overhead Ratio, and Prompt Cache Utilization -- to make efficiency visible beyond terminal success.