Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Die moderne Bildgenerierung erfordert ein einheitliches Modell, das verschiedene Fähigkeiten vereint, darunter Text-zu-Bild (T2I), lokale Bearbeitung und globale Bearbeitung. Allerdings sind diese Fähigkeiten selten von Natur aus aufeinander abgestimmt und stehen oft im Konflikt. Zum Beispiel neigt die Bearbeitung dazu, die T2I-Leistung zu verschlechtern, während sich globale und lokale Bearbeitung gegenseitig beeinträchtigen. Folglich ist die effektive Kombination dieser Fähigkeiten zu einer zentralen Herausforderung für das Training von Bildgenerierungsmodellen geworden. Um dies zu bewältigen, führen wir DanceOPD ein, ein On-Policy-Generative-Field-Distillation-Framework für Flow-Matching-Modelle, das jede Stichprobe an ein Fähigkeitsfeld weiterleitet, einen rauscharmen schülerinduzierten Zustand abfragt und mit einem einfachen Geschwindigkeits-MSE-Ziel trainiert. Wobei jede Fähigkeitsquelle als Geschwindigkeitsfeld über den gemeinsamen Flow-Zustandsraum definiert ist, lernt der Schüler aus Feldern, die auf seinen eigenen Rollout-Zuständen abgefragt werden, um Expertenfähigkeiten zu komponieren. Diese Formulierung absorbiert auch operator-definierte Felder wie die classifier-free guidance. Umfassende Experimente zu T2I, Bearbeitung, Realismusfeld-Absorption und CFG-Absorption zeigen, dass unser Ansatz die Mehrfachfähigkeitskomposition verbessert, Zielkapazitäten stärkt und gleichzeitig die Qualität der Ankergenerierung bewahrt. Wir glauben, dass diese Arbeit einen praktischen Weg für die Generative-Field-Destillation in Flow-Matching-Modellen aufzeigt.
Moderne Vision-Language-Action-Modelle (VLA-Modelle) scheitern oft daran, auf neuartige Gegebenheiten wie veränderte Kameraperspektiven oder Roboter-Morphologien zu verallgemeinern, da sie typischerweise nur auf aktuelle Beobachtungen und Sprachbefehle konditioniert sind. Indem sie die zugrunde liegende Systemkonfiguration als Variable ignorieren, nehmen diese Modelle implizit einen festen, während des Trainings angetroffenen Ausführungskontext an, was für jede neue Umgebung datenintensives Feintuning erforderlich macht. In dieser Arbeit stellen wir In-Context World Modeling (ICWM) vor, ein Rahmenwerk, das Systemidentifikation als ein Problem der In-Context-Anpassung behandelt. ICWM befähigt Roboterstrategien, wesentliche Systemvariablen eigenständig aus einer kurzen Historie selbst erzeugter, aufgabenunabhängiger Interaktionen abzuleiten. Im Gegensatz zum traditionellen In-Context Learning, das Demonstrationen verwendet, um festzulegen, welche Aufgabe auszuführen ist, nutzt ICWM das Kontextfenster, um zu verstehen, wie das System funktioniert. Durch die Verarbeitung dieser Interaktionen vor der Aufgabenausführung erfasst das Modell implizit die Weltdynamik des aktuellen Systems, was eine Anpassung an neuartige Konfigurationen ohne Parameteraktualisierungen ermöglicht. Umfangreiche Experimente in Simulation und auf realen Roboterplattformen zeigen, dass ICWM Standard-VLA-Baselines bei neuartigen Kameraperspektiven deutlich übertrifft.
Ergebnisbasiertes Reinforcement Learning bietet ein stabiles Optimierungsfundament für Sprachagenten, aber seine spärlichen Belohnungen auf Trajektorienebene geben wenig Aufschluss darüber, welche Zwischenentscheidungen verstärkt oder unterdrückt werden sollten. On-Policy-Selbstdestillation bietet eine dichte Überwachung auf Token-Ebene, doch bestehende fähigkeitskonditionierte Varianten sind oft auf externe Fähigkeitsspeicher oder abgerufenen privilegierten Kontext angewiesen, die aufwendig zu pflegen sind und nicht mit der Zustandsverteilung übereinstimmen können, die durch die aktuelle Richtlinie in mehrschrittigen Interaktionen induziert wird. Wir schlagen OPID (On-Policy Skill Distillation) vor, ein Framework, das Fähigkeitsüberwachung direkt aus abgeschlossenen On-Policy-Trajektorien extrahiert. OPID repräsentiert Trajektorien-Rückschau als hierarchische Fähigkeiten: Fähigkeiten auf Episodenebene erfassen globale Arbeitsabläufe oder Fehlervermeidungsregeln, während Fähigkeiten auf Schrittebene lokales Entscheidungswissen zu kritischen Zeitschritten erfassen. Ein Kritisch-zuerst-Routingmechanismus verwendet Fähigkeiten auf Schrittebene, wenn kritische Entscheidungen identifiziert werden, und fällt andernfalls als Standardvorgabe auf Fähigkeiten auf Episodenebene zurück. Die ausgewählte Fähigkeit wird in den Interaktionsverlauf eingefügt, sodass die alte Richtlinie dieselbe abgetastete Antwort sowohl unter dem ursprünglichen als auch unter dem fähigkeitserweiterten Kontext neu bewerten kann. Die resultierende Log-Wahrscheinlichkeitsverschiebung ergibt einen Vorteil der Selbstdestillation auf Token-Ebene, der mit dem Ergebnisvorteil zur Richtlinienoptimierung kombiniert wird. OPID bewahrt somit RL als primäres Trainingsziel, während es dichte, verteilungsangepasste Rückschauüberwachung einführt. Experimente auf ALFWorld, WebShop und suchbasierter QA zeigen, dass OPID allgemein die Agentenleistung, Stichprobeneffizienz und Robustheit gegenüber rein ergebnisbasiertem RL und bestehenden Fähigkeitsdestillations-Baselines verbessert. Unser Code ist verfügbar unter https://github.com/jinyangwu/OPID/tree/main.
Während Text-zu-Bild-Modelle (T2I) bemerkenswerte Fortschritte erzielt haben, tun sie sich schwer mit realen Anwendungen, die oft unterbestimmt, implizit oder von aktuellem Wissen abhängig sind. Wir identifizieren diese Herausforderung als die Kontextlücke: die Diskrepanz zwischen dem Nutzerkontext und dem für die Erzeugung ausreichenden Kontext für T2I-Modelle. Um diese Lücke zu schließen, schlagen wir Qwen-Image-Agent vor, ein einheitliches agentisches Framework, das Planung, Logik, Suche, Gedächtnis und Rückmeldung kontextzentriert integriert. Qwen-Image-Agent behandelt Nutzereingaben als partiellen Kontext und konstruiert den Generationskontext schrittweise durch kontextbewusste Planung und Kontextverankerung. Insbesondere identifiziert die kontextbewusste Planung fehlenden Kontext und plant, wie dieser erlangt und genutzt werden soll, während die Kontextverankerung diesen Kontext aus Logik, Suche, Gedächtnis und Rückmeldung zusammenträgt. Zur Bewertung der agentischen Bildgenerierung führen wir ferner den Image Agent Bench (IA-Bench) ein, einen Benchmark, der vier Kernfähigkeiten von Bildagenten abdeckt: Planen, Logik, Suche und Gedächtnis. Experimente auf IA-Bench, Mindbench und WISE-Verified zeigen, dass Qwen-Image-Agent starke Baselines übertrifft und den neuesten Stand der Technik erreicht.
Ein klassisches intuitives Verständnis besagt, dass das Verifizieren einer Lösung einfacher ist als das Erzeugen einer solchen. Für heutige Coding-Agenten kehrt sich diese Intuition um: Da Foundation-Modelle immer leistungsfähigere Reasoning-Fähigkeiten entwickeln und die Ingenieurswerkzeuge immer ausgereifter werden, ist die Erzeugung komplexer Kandidatenlösungen nicht mehr schwierig – zuverlässig zu verifizieren ist zum härteren Problem geworden. Jeder Verifizierer, den wir bauen können, ist nur ein Stellvertreter für die menschliche Absicht, niemals die Absicht selbst. Dies führt zu einer zweifachen Schwierigkeit bei der Verifikation: Erstens ist die Absicht von Natur aus unterspezifiziert, was es inhärent schwer macht, zuverlässig zu prüfen, ob sie erfüllt wurde; zweitens vergrößert die Optimierung während des Modelltrainings die Kluft zwischen Stellvertreter und Absicht – was sich als Reward Hacking oder Signalsättigung äußert. Um dem zu begegnen, charakterisieren wir die Qualität von Verifikationssignalen entlang dreier Dimensionen – Skalierbarkeit, Treue und Robustheit – und argumentieren, dass das gleichzeitige Erreichen aller drei die zentrale Herausforderung darstellt. Wir untersuchen ferner vier Belohnungskonstruktionen: einen Test-Verifizierer für allgemeine Programmieraufgaben, einen Bewertungsraster-Verifizierer für Frontend-Aufgaben, den Benutzer als Verifizierer für reale Agentenaufgaben und einen automatisierten Agenten-Verifizierer für langfristige Aufgaben. Über verschiedene Aufgabentypen und Fähigkeitsniveaus der Policy hinweg führen wir vertiefte Analysen und Experimente zu den Kernherausforderungen des Belohnungsdesigns durch sowie dazu, wie Belohnungssignale effektiver genutzt werden können. Experimente zeigen, dass zielgerichtetes Verifikationsdesign Reward Hacking wirksam unterdrücken, die Qualität der Aufgabenerfüllung verbessern und signifikante Verbesserungen über mehrere interne und öffentliche Benchmarks erzielen kann. Diese Erfahrungen deuten gemeinsam auf eine Kernbeobachtung hin: Keine feste Belohnungsfunktion kann wirksam bleiben, wenn die Policy-Fähigkeiten weiter wachsen; die Verifikation muss mit dem Generator ko-evolvieren.
Eine einheitliche Repräsentation für Text und Vision ist ein natürliches Bestreben, da sie einfachere multimodale Modellierung und effizienteres Training ermöglicht. Die Darstellung von Bildern als diskrete Signale in derselben Weise wie Text führt jedoch zwangsläufig zu schwerwiegendem Informationsverlust. Bisherige Arbeiten haben Schwierigkeiten, niedrigstufige Details und hochstufige Semantik in diskreten Repräsentationen auszugleichen: rekonstruktionsorientierte Repräsentationen entbehren oft semantischer Informationen, während semantisch stärkere Merkmale typischerweise unter starkem Detailverlust leiden. Wir präsentieren ViQ, ein Framework für visuelle quantisierte Repräsentationen (Visual Quantized Representations), das darauf ausgelegt ist, Semantik und Details in diskreten Repräsentationen auszugleichen und gleichzeitig Eingaben in nativen Auflösungen zu unterstützen, wodurch es als einheitliche und allgemeine diskrete Repräsentation für beliebige visuelle Eingaben dienen kann. Unser Ansatz strukturiert das Quantisierungslernen in zwei Phasen: textausgerichtetes Vortraining und Merkmalsdiskreitisierung. Durch textausgerichtetes Vortraining verbessern wir die semantisch reichhaltige Überwachung des visuellen Encoders durch das vortrainierte Sprachmodell und befähigen ihn, visuelle Eingaben in nativer Auflösung zu verarbeiten. Während der Diskreitisierung schlagen wir eine proximale Repräsentationslernstrategie vor, die den Merkmalsraum schrittweise verdichtet, zusammen mit einem positionsbewussten head-weisen Quantisierungsmechanismus, der eine flexible Verarbeitung beliebiger Auflösungen ermöglicht. Umfangreiche Experimente zu multimodalen Aufgaben zeigen, dass ViQ im Vergleich zu modernsten multimodalen Bildencodern mit kontinuierlichen und hochdimensionalen visuellen Merkmalen eine wettbewerbsfähige Leistung erzielt, während es eine hohe Präzision bei der niederstufigen Rekonstruktion beibehält. Wir zeigen außerdem, dass multimodales Training mit visuellen quantisierten Repräsentationen die Effizienz erheblich verbessert, was je nach Basis-LLM und Trainingsrezept zu einer Beschleunigung von bis zu 20 % bis 70 % führt.
Spekulative Dekodierung (SD) beschleunigt autoregressive große Sprachmodelle (LLMs), indem mehrere Token entworfen und parallel verifiziert werden, stößt jedoch auf eine Skalierungsgrenze: Eine Erhöhung des Entwurfsbudgets verbessert die Geschwindigkeit nur dann, wenn die Akzeptanz hoch und der Entwurfsaufwand gering bleibt. Diese Grenze war schwer zu durchbrechen, da frühere kopfbasierte SD-Verfahren mit einem Kausalitäts-Effizienz-Dilemma konfrontiert sind. Autoregressive Entwerfer erzeugen pfadbedingte Kandidaten, die für die baumspekulative Dekodierung mit höherer Akzeptanzlänge effektiv sind, aber ihre Entwurfskosten wachsen mit der Baumtiefe. Bidirektionale Blockdiffusions-Entwerfer generieren alle Positionen in einem Durchgang, aber ihre zweigagnostischen Randverteilungen können individuell plausible, aber gegenseitig inkonsistente Bäume bilden, was Budget verschwendet und die Akzeptanz verringert. Wir schlagen JetSpec vor, ein kopf-basiertes SD-Framework, das die Effizienz eines einmaligen Vorwärtsentwurfs mit einer zweigweisen kausalen Bedingung kombiniert. JetSpec trainiert einen kausalen parallelen Entwurfskopf über fusionierte versteckte Zustände des eingefrorenen Zielmodells, wodurch Kandidatenbäume erzeugt werden, deren Bewertungen mit der autoregressiven Faktorisierung des Zielmodells übereinstimmen. Dies ermöglicht JetSpec, größere Entwurfsbudgets in längere akzeptierte Präfixe und eine höhere End-to-End-Beschleunigung umzuwandeln. In Benchmarks zu Mathematik, Programmierung und Chat auf dichten und MoE-Qwen3-Modellen übertrifft JetSpec durchgängig bidirektionale Kopf- und baumbasierte SD-Baselines. Auf H100-GPUs erreicht JetSpec eine bis zu 9,64-fache Beschleunigung auf MATH-500 und eine 4,58-fache auf offenen Konversationsworkloads, mit weiteren Latenzgewinnen durch vLLM-Integration unter realistischen Serverlasten. Unser Code und unsere Modelle sind verfügbar unter https://github.com/hao-ai-lab/JetSpec.
Computer-Nutzungsagenten können Software-Aufgaben entweder über grafische Schnittstellen oder programmatische Befehlsschnittstellen ausführen, jedoch vermischen bestehende Evaluierungen die Interaktionsmodalität mit Unterschieden in Aufgaben, Ausgangszuständen, Verifizierern und zulässigen Aktionen. Wir führen einen abgestimmten Benchmark auf Ausführungsebene mit 440 Desktop-Aufgaben über 18 Anwendungen und 12 Workflow-Kategorien ein, bei dem rein bildschirmbasierte GUI-Agenten und fähigkeitsvermittelte CLI-Agenten identische Ziele, Zustände und Endzustandsverifizierer erhalten, während sie auf modalitätsspezifische Aktionen beschränkt sind. In dieser kontrollierten Umgebung erreicht der stärkste GUI-Agent eine volle Erfolgsquote von 59,1 % und übertrifft damit den stärksten originären Fähigkeiten-CLI-Agenten mit 48,2 %; jedoch erhöht verifizierergesteuerte Fähigkeitserweiterung den CLI-Erfolg auf 69,3 %, was zeigt, dass das CLI-Defizit größtenteils auf unvollständige Fähigkeitenabdeckung und nicht allein auf die Modellfähigkeit zurückzuführen ist. Diese Ergebnisse deuten darauf hin, dass GUI und CLI unterschiedliche Ausführungsengpässe offenlegen: GUI-Agenten werden durch zuverlässige fundierte Interaktion über langfristige Workflows begrenzt, während CLI-Agenten durch die Abdeckung und Skalierbarkeit ihrer Fähigkeitsschnittstellen eingeschränkt werden.
Joint-Embedding Predictive Architectures (JEPAs), zu denen auch das kürzlich vorgestellte LeWorldModel (LeWM) gehört, haben sich als vielversprechende Grundlage für rekonstruktionsfreie visuelle Weltmodelle etabliert. Für die visuelle Planung bewertet LeWM jedoch Kandidaten-Aktionssequenzen durch wiederholte Anwendung eines lokalen Ein-Schritt-Latentübergangsmodells. Dieser autoregressive Rollout macht die Planung rechenintensiv und setzt die vorhergesagte Trajektorie mit zunehmendem Planungshorizont akkumulierten latenten Fehlern aus. Wir schlagen Fast LeWorldModel (Fast-LeWM) vor, ein schnelles latentes Weltmodell, das wiederholten lokalen Rollout durch Aktionspräfix-Vorhersage ersetzt. Ausgehend vom aktuellen latenten Zustand und einer Kandidaten-Aktionssequenz kodiert Fast-LeWM deren Präfixe und sagt parallel die zukünftigen latenten Zustände voraus, die nach Ausführung dieser Präfixe erreicht werden. Indem es Aktionspräfixe zur grundlegenden Vorhersageeinheit macht, modelliert Fast-LeWM direkt die über mehrere Horizonte hinweg unterschiedlich stark akkumulierten Aktionswirkungen. Diese Überwachung auf Präfixebene zwingt das Modell dazu, zu lernen, wie sich Zustände unter verschiedenen Aktionspräfixen kontinuierlich entwickeln, anstatt nur Ein-Schritt-Zustandsübergänge anzupassen. Während der Planung kann der Prädiktor das letzte Präfix-Token aus der kodierten Aktionssequenz verwenden, um den entsprechenden zukünftigen latenten Zustand zu bewerten, ohne explizit durch jeden einzelnen imaginierten Zwischenzustand zu rollen. Bei mehreren Aufgaben verbessert Fast-LeWM die durchschnittliche Erfolgsrate gegenüber LeWM bei gleichzeitiger deutlicher Reduzierung der Planungszeit und erzielt einen geringeren Open-Loop-Latentverlust, dessen Anstieg mit zunehmendem Rollout-Horizont deutlich langsamer wird.
Der Einsatz von Werkzeugen ermöglicht es großen Sprachmodellen (LLMs), komplexe Aufgaben auszuführen, und neuere Methoden des agentischen Reinforcement Learning (RL) versprechen eine Verbesserung der Modellfähigkeiten. Allerdings führt RL allein bei Werkzeugnutzungsaufgaben häufig zu Instabilität oder nur begrenzten Verbesserungen. In unseren Experimenten zeigen einige Modelle einen katastrophalen Zusammenbruch, bei dem die Leistung abrupt abfällt und die Strukturen des Werkzeugaufrufs versagen. Die Analyse zeigt, dass diese Fehlschläge auf unerwartete Wahrscheinlichkeitsspitzen in bestimmten Steuertoken zurückzuführen sind, die die strukturierte Ausführung stören, während die zugrundeliegende Fähigkeit zur Werkzeugnutzung intakt bleibt – lediglich durch bestimmte Formate überdeckt wird. Um dies zu adressieren, untersuchen wir systematisch eine Reihe unterschiedlicher Überwachungssignale, darunter Off-Policy-Überwachung, hinweisbasierte Führung, Überwachung durch fehlerhafte Beispiele und weitere, die sowohl unter synchronen als auch unter verschachtelten Trainingsschemata angewendet werden. Wir stellen fest, dass die Verschachtelung von überwachtem Feintuning (SFT) mit RL die Stabilität erheblich verbessert, jedoch unter Format- und Inhalts-Out-of-Distribution (OOD)-Bewertung eine verminderte Leistung aufweist. Zudem analysieren wir die Auswirkungen von Lernraten und die Generalisierung über verschiedene Einstellungen hinweg. Diese Ergebnisse unterstreichen die Bedeutung des Verständnisses von RL-Fehlschlägen und zeigen, wie vielfältige Überwachungssignale exploratives Lernen leiten können, um ein robustes Training von LLMs für komplexe, mehrschrittige Werkzeugnutzungsaufgaben zu ermöglichen. Unser Code ist verfügbar unter https://github.com/hypasd-art/Tool-RL-Box.
Während agentische Systeme sich weiterentwickeln und zunehmend in realen Szenarien eingesetzt werden, wächst der Bedarf, ihre Fähigkeiten getreu zu evaluieren. Aktuelle Benchmarks basieren jedoch typischerweise auf populären Anwendungen mit relativ einfachen Aufgaben und konzentrieren sich auf einen engen Fähigkeitsbereich, während sie breitere Dimensionen außer Acht lassen. Dies führt zu gesättigter Leistung bei modernen Agenten und versäumt, deren Grenzen auszuloten. Zu diesem Zweck stellen wir GauntletBench vor, einen webbasierten Benchmark zur Evaluierung der Agentengeneralisierung in anspruchsvollen Szenarien. Der Benchmark konzentriert sich auf drei wenig erforschte Fähigkeiten (zeitliche Wahrnehmung, grafisches Verständnis und 3D-Schlussfolgerung) sowie auf fünf weniger abgedeckte professionelle Anwendungen (Video Editor, Workflow Builder, 3D Modeller, Flight Analyser und Circuit Designer), jede mit 20 visuell intensiven Aufgaben (insgesamt 100). Unser Benchmark bietet eine modulare Pipeline, bestehend aus einer Umgebung, die sowohl mit offenen als auch mit geschlossenen Agenten-Frameworks kompatibel ist, einer kontrollierten webbasierten Anwendung, einer gut strukturierten Aufgabensammlung und einer automatisierten Evaluierungs-Engine mit verschiedenen Metriken. Entgegen weit verbreiteter Erwartungen zeigen unsere empirischen Ergebnisse, dass führende agentische Systeme noch weit davon entfernt sind, menschliche Leistungsniveaus zu erreichen. Selbst der modernste Agent erreicht auf unserem GauntletBench nur eine Erfolgsrate von 19,1 %, was die Einschränkungen in diesen vernachlässigten Fähigkeiten und der Generalisierung hervorhebt. Im Vergleich dazu erzielen menschliche Annotatoren ohne Fachkenntnisse auf unseren anspruchsvollen, aber machbaren Aufgaben über 80 % Erfolg, was die erhebliche Kluft zwischen den aktuellen Agentenfähigkeiten und den für komplexe reale Szenarien erforderlichen Fähigkeiten offenlegt.
Das vorherrschende duale Zweig-Paradigma, bei dem ein Seitennetzwerk trainiert wird, um visuelle Bedingungen zu kodieren, und dessen Merkmale aus Zwischenschichten in ein eingefrorenes vortrainiertes Hauptnetzwerk fusioniert werden, hat bemerkenswerte Erfolge bei der visuell konditionierten generativen Steuerung erzielt. Trotz seiner weiten Verbreitung sind die Rolle des Seitenzweigs und seine Trainingseffizienz weiterhin unzureichend erforscht. In dieser Arbeit betrachten wir dieses vorherrschende Paradigma zunächst durch die Linse des score-basierten generativen Modellierens: 1) Das Hauptnetzwerk bewahrt die visuelle Wahrnehmungsqualität, indem es einen prior unbedingten Score bereitstellt. 2) Das Seitennetzwerk lenkt die konditionierte Steuerung, indem es implizit einen Likelihood-Score beisteuert. Geleitet von dieser Perspektive schlagen wir Likelihood-Score-Ausrichtung (LISA) vor, eine effektive Regularisierungsmethode, die die Zwischenmerkmale des Seitennetzwerks explizit mit einem approximierten Likelihood-Score abgleicht. Konkret extrahieren wir zunächst Merkmale aus einer bestimmten Schicht des Seitennetzwerks und projizieren sie mittels eines leichten Dekoders in den Score-Latenzraum. Anschließend konstruieren wir ein approximiertes Likelihood-Score-Ziel und berechnen den Abstand zwischen der Ausgabe des Dekoders und diesem Ziel als zusätzlichen Regularisierungsverlust. Schließlich optimieren wir das Seitennetzwerk und den Dekoder gemeinsam sowohl mit dem Standard-Diffusionsverlust als auch mit unserem Regularisierungsverlust. Experimente in verschiedenen Bild-/Videoaufgaben, Architekturen und Diffusions-/Flussmodellen zeigen, dass LISA nicht nur die Trainingskonvergenz konsistent beschleunigt und die endgültigen synthetischen Ergebnisse verbessert, sondern auch die Merkmale des Seitennetzwerks für die konditionierte Modellierung stärker entkoppelt – bei vernachlässigbaren zusätzlichen Trainingskosten und null zusätzlichen Inferenzkosten.
Die Reasoning-Fähigkeit großer Sprachmodelle (Large Language Models, LLMs) hat sich rasant verbessert, was zu einer zunehmenden Größe des Schlüssel-Wert-Caches (KV-Cache) sowohl in der Prefilling- als auch in der Dekodierungsphase führt. Bestehende Methoden zur KV-Cache-Kompression verlassen sich hauptsächlich auf Aufmerksamkeitsgewichte, um die Token-Wichtigkeit abzuschätzen. Obwohl die Aufmerksamkeit kontextuelle Relevanz effektiv erfasst, übersieht sie komplementäre informationstheoretische Signale in Bezug auf Vorhersageunsicherheit und Token-Informativität. In dieser Arbeit betrachten wir die Token-Wichtigkeit aus einer zukunftsorientierten Perspektive und führen den Forward Influence ein, eine Metrik, die misst, wie komprimierte Token zukünftige Kontexte beeinflussen. Unsere Analyse zeigt, dass durch Aufmerksamkeitswerte ausgewählte Token hauptsächlich nahegelegene Kontexte beeinflussen, während Token mit hoher Vorhersageunsicherheit einen wesentlich stärkeren Einfluss auf entfernte zukünftige Kontexte ausüben. Basierend auf dieser Beobachtung schlagen wir InfoKV vor, ein entropiebewusstes KV-Cache-Kompressionsframework, das informationstheoretische Signale integriert. Es kombiniert Token-Vorhersageunsicherheit mit schichtweiser Representationsevolution und führt die resultierenden Entropiewerte mit Aufmerksamkeitswerten während des Reasonings zusammen. Experimente auf Long-Context-Reasoning-Benchmarks mit Llama-3.1, Llama-3.2 und DeepSeek-R1 zeigen, dass InfoKV in langen Prefilling- und Dekodierungsszenarien durchweg besser abschneidet als bestehende aufmerksamkeitsbasierte KV-Kompressionsmethoden.
Video-Basierte Reasoning-Sprachmodelle nehmen implizit an, dass jedes Eingabebild gleich zuverlässig ist. Dies führt zu dem von uns als „Problem des blinden Vertrauens“ bezeichneten Phänomen: Unter realistischen Störungen wie Bewegungsunschärfe, Blendung oder Verdeckung können führende Video-Reasoning-Modelle auf realweltlichen Embodied-Benchmarks Genauigkeitseinbußen von 15–30 Prozentpunkten erleiden, während sie nicht erkennen, dass ihre visuelle Evidenz beeinträchtigt wurde. Um dieser Herausforderung zu begegnen, schlagen wir Robust-TO vor, ein agentisches Rahmenwerk für das Videoverständnis, das die Vertrauenswürdigkeit pro Einzelbild explizit in jede Phase des Reasoning integriert. Robust-TO organisiert heterogene visuelle Wahrnehmungswerkzeuge unter einer einheitlichen Evidenzschnittstelle. Jedes Werkzeug erhält eine aus der ursprünglichen Frage abgeleitete Unterabfrage sowie eine Reihe vertrauenswürdiger Bilder, die anhand des Zuverlässigkeits-Relevanz-Scores ausgewählt wurden. Es liefert Evidenz in einem gemeinsamen Format: eine konkrete Vorhersage (z. B. einen Begrenzungsrahmen, eine Bewegungsbahn, erkannten Text oder eine Handlungsbezeichnung), eine zeitliche Verankerung und einen kalibrierten Zuverlässigkeitsscore. Während des Reasoning-Prozesses steuern diese kalibrierten Scores die Evidenzgewichtung in einem dreistufigen Syntheseprozess (hoch/mittel/niedrig) und definieren einen konfidenzbasierten GRPO-Belohnungsmechanismus, der gleichzeitig Korrektheit, Evidenzzuverlässigkeit und Effizienz optimiert. Auf zwei Video-Reasoning-Benchmarks mit acht Aufgaben erreicht Robust-TO eine durchschnittliche Genauigkeit von 56,4 % auf sauberen Eingaben und übertrifft damit die stärkste Open-Source-Baseline um 10,6 Prozentpunkte sowie Gemini-2.5-Pro (46,2 %). Unter fünf realistischen Verzerrungstypen behält Robust-TO eine durchschnittliche Genauigkeit von 54,3 % bei, 5,8 Prozentpunkte über der stärksten Open-Source-Baseline, und weist unter allen verglichenen Methoden den geringsten Genauigkeitsabfall von sauberen zu verzerrten Eingaben auf.
Wir stellen PhysiFormer vor, einen Diffusions-Transformer für physikalisch plausible 3D-Objektbewegungen. Anders als Videoweltmodelle, die in ansichtsabhängigem Pixelraum operieren, repräsentiert PhysiFormer Objekte als 3D-Meshes in Weltkoordinaten. Ausgehend von den anfänglichen Vertex-Positionen und -Geschwindigkeiten sowie dem Objektmaterialtyp (starr oder elastisch) sampelt das Modell zukünftige Vertex-Trajektorien. Während verwandte neuronale Physikansätze auf ad-hoc latenten Räumen aufbauen oder Starrheit und Kausalität explizit erzwingen, zeigt PhysiFormer, dass hervorragende Ergebnisse ohne solche induktiven Biases erzielt werden können, indem die Prädiktion von Vertex-Trajektorien als einzelner Denoising-Diffusionsprozess direkt in Weltkoordinaten formuliert wird. Die probabilistische Formulierung erfasst Unsicherheit in der erlernten Dynamik und ermöglicht diverse plausible Zukünfte aus Anfangsbedingungen, was dieses Framework potenziell nützlich für Anwendungen mit unbeobachteter Unsicherheit macht. Das Modell verfügt über eine über Zeit, Raum und Objekte faktorisierte Aufmerksamkeit für Effizienz, was permutationsinvariante Multi-Objekt-Argumentation ohne explizite Objektkodierung ermöglicht. Trainiert auf über 100.000 simulierten Trajektorien generiert PhysiFormer starre und elastische Mechanik und generalisiert auf gemischte Materialszenarien, ungesehene reale Geometrien und größere Objektanzahlen. Es übertrifft autoregressive Baselines deutlich in Trajektoriengenauigkeit, Starrheitserhaltung und impulsbasierter physikalischer Konsistenz. Unsere Ergebnisse positionieren koordinatenraum-basierte Diffusion als vielversprechenden Schritt hin zu ansichtsinvariantem, geometriebewusstem Weltmodellieren für Robotik, Grafik und physikalisches Design. Visualisierungen, Code und Modelle sind unter https://yimingc9.github.io/physiformer verfügbar.
Moderne generative Weltmodelle erzeugen zunehmend realistische, aktionsgesteuerte Zukünfte, halluzinieren jedoch häufig: Rollouts bleiben visuell flüssig, weichen aber von der tatsächlichen Dynamik ab. Wir stellen die Hypothese auf, dass sich Halluzinationen in Bereichen mit geringer Abdeckung des Zustands-Aktions-Raums konzentrieren, wo leichtgewichtige datenzentrierte Signale sie sowohl erkennen als auch Maßnahmen zur Abschwächung lenken können. Um dies zu testen, führen wir MMBench2 ein, einen 427-stündigen Datensatz mit 210 Aufgaben zur visuellen Weltmodellierung, der Ground-Truth-Aktionen, Belohnungen und Live-Simulatoren umfasst, und trainieren darauf ein Weltmodell mit 350 Millionen Parametern. Wir identifizieren drei verschiedene Halluzinationsmodi: perzeptuell, aktionsmarginalisiert und szenendivergent – jeder an einer anderen Stufe der Pipeline verankert – und entwickeln drei Signale, die genau vorhersagen, wo das Modell versagen wird. Um Abdeckungslücken während des Trainings zu schließen, entwickeln wir eine abdeckungsbewusste Stichprobentechnik; um sie online zu schließen, dienen unsere Halluzinationsvorhersagen als Neugierbelohnungen für gezielte Datensammlung, was ein dateneffizientes Feintuning-Rezept ergibt, das das vortrainierte Weltmodell mit nur 50 echten Umgebungstrajektorien an völlig unbekannte Umgebungen anpasst. Insgesamt zeigen unsere Ergebnisse, dass Halluzinationen in Weltmodellen grundsätzlich ein Problem der Datenabdeckung sind und dass dieselben Signale, die zu ihrer Erkennung verwendet werden, auch zur Abschwächung eingesetzt werden können. Eine interaktive Webversion unseres Artikels ist verfügbar unter https://www.nicklashansen.com/mmbench2.
Da LLM-Agenten zunehmend in der Lage sind, langfristige Aufgaben zu bewältigen, wird die Bewertung ihrer Leistung in Wirtschaftssystemen immer wichtiger. Im Gegensatz zu bestehenden Benchmarks, die hauptsächlich einen einzelnen Agenten bewerten, der mit einer passiven Umgebung interagiert, sind Wirtschaftssysteme inhärent Multi-Agenten-Systeme, die autonome Agenten erfordern, die über längere Zeiträume hinweg kommunizieren, verhandeln und Transaktionen durchführen, während sie ihre eigenen Ziele verfolgen. Wir stellen CoffeeBench vor, einen Benchmark zur Bewertung von LLM-Agenten in einer langfristigen Multi-Agenten-Ökonomie, die aus heterogenen Unternehmen besteht. In CoffeeBench betreiben zwei Landwirte, zwei Röster und zwei Einzelhändler ihre Geschäfte autonom über einen 90-Tage-Simulationszeitraum, wobei jeder versucht, durch Kommunikation und Transaktionen das kumulierte Nettoeinkommen zu maximieren, während er Bargeld, Lagerbestände und Preise verwaltet. Das evaluierte Modell steuert einen Kaffeeröster, während die übrigen Unternehmen von festgelegten Referenzagenten gesteuert werden. Bei mehreren aktuellen Open-Weight- und proprietären LLMs übertreffen alle Modelle eine passive Basislinie, die keine Aktionen durchführt, wobei die meisten ein positives Nettoeinkommen erzielen. Die Analyse des Agentenverhaltens zeigt erhebliche Unterschiede in der langfristigen wirtschaftlichen Interaktion: Leistungsstärkere Modelle kommunizieren aktiver mit anderen Unternehmen, während Claude Haiku 4.5 einen Leerlauf-Drift-Fehlermodus aufweist, bei dem wiederholt Untätigkeit gewählt wird, obwohl kohärente Einschätzungen und Pläne erstellt werden. Wir veröffentlichen unseren Code und die Agentenverläufe, um zukünftige Forschung zu unterstützen.
Prozess-Belohnungsmodelle ermöglichen eine feinkörnige, schrittweise Bewertung von LLMs, doch ihre Erstellung für agentische Umgebungen bleibt unverhältnismäßig schwierig: langfristige Interaktionen, irreversible Aktionen und stochastisches Umgebungsfeedback machen sowohl menschliche Annotation als auch Monte-Carlo-Schätzung in großem Maßstab undurchführbar. In dieser Arbeit zeigen wir, dass Reinforcement-Learning (RL) Post-Training bereits die Bestandteile für eine effektive schrittweise Bewertung liefert und damit die Notwendigkeit eines eigens trainierten Belohnungsmodells vollständig beseitigt. Konkret leiten wir einen impliziten Advantage unter einem allgemeinen stochastischen Markov-Entscheidungsprozess ab, den wir als Progress Advantage bezeichnen – das Log-Wahrscheinlichkeitsverhältnis zwischen der mit RL trainierten Policy und ihrer Referenz-Policy stellt die optimale Advantage-Funktion exakt wieder her. Diese Formulierung macht das resultierende Signal annotationsfrei, domänenagnostisch und als Nebenprodukt der standardmäßigen RL-Post-Training-Pipeline verfügbar. Wir validieren die Wirksamkeit des Progress Advantage in drei verschiedenen Anwendungen: Testzeit-Skalierung, Unsicherheitsquantifizierung und Fehlerattribution, anhand von fünf Benchmarks und vier Modellfamilien. In allen Umgebungen übertrifft es durchweg konfidenzbasierte Baselines und übertrifft, obwohl kein aufgabenspezifisches Training erforderlich ist, speziell trainierte Belohnungsmodelle. Wir ergänzen diese Ergebnisse durch tiefere Analysen der Eigenschaften des Progress Advantage und bieten praktische Leitlinien für den Einsatz in realen agentischen Systemen.
Trotz ihrer weit verbreiteten Nutzung ist die Rolle von Belohnungsmodellen bei der Gestaltung des bestärkenden Lernens nur unzureichend verstanden. Belohnungsmodelle bieten eine verlockende Verheißung: Sie schätzen automatisch die Antwortqualität ein, wenn keine Verifizierer oder menschlichen Gutachter zur Verfügung stehen. Im Gegensatz zu „überprüfbaren Belohnungen“, die typischerweise binäre Bewertungen liefern, erzeugen Belohnungsmodelle in der Regel kontinuierliche Werte, wodurch sie empfindlich auf feine Unterschiede zwischen Antworten reagieren können. Allerdings zeigen wir, dass diese scheinbare Stärke eine ernsthafte Schwäche darstellt: Viele gängige Belohnungsmodelle sind überempfindlich und weisen gleich guten Antworten unterschiedliche Werte zu. Theoretisch belegen wir, dass scheinbar perfekte Belohnungsmodelle stark überempfindlich sein können; empirisch kann diese Überempfindlichkeit zu schlechten Strategien führen. Als Alternative zu bestehenden Konzepten der „Genauigkeit von Belohnungsmodellen“ schlagen wir vor, Belohnungsmodelle anhand getrennter Maße für „Unterscheidungsfähigkeit“ und „Spezifität“ (dem Gegenstück zur Überempfindlichkeit) zu bewerten. Als Lösung beschreiben wir einen trainingsfreien Algorithmus, der Monte-Carlo-Dropout auf jedes neuronale Belohnungsmodell anwendet, um diskrete Belohnungscluster zu erzeugen. Theoretisch beweisen wir, dass es Diskretisierungen gibt, die die Überempfindlichkeit bei minimalem Verlust an Unterscheidungsfähigkeit reduzieren; empirisch zeigen wir in sowohl kontrollierten als auch natürlichen RL-Umgebungen, dass die Diskretisierung von Belohnungen zu weniger Reward Hacking und besseren Strategien führt als das Training mit den ursprünglichen Belohnungen.
Obwohl generative KI bemerkenswerte Erfolge bei der Lösung von Problemen mit überprüfbaren Lösungen erzielt hat, bleibt die Erzeugung physischer Kunst, die sowohl strenge geometrische Randbedingungen als auch subjektive visuelle Ästhetik erfüllt, eine Herausforderung. Diese Arbeit stellt einen Ansatz vor, um diese Schwierigkeiten im Bereich des computergestützten Origami zu bewältigen – einer mathematisch strengen Umgebung, die künstlerisches Gestalten in den Gleichungen der Flachfaltbarkeit verankert. Wir präsentieren COrigami, eine durchgängige KI-gestützte Pipeline, die den Designprozess durch die Erzeugung von Faltmustern aus natürlicher Sprache unterstützt. Unsere Pipeline umfasst die Erzeugung einer semantischen Strichfigur, die Berechnung einer Base-Packing-Lösung, die Lösung für ein flachfaltbares Faltmuster, die Formgebung des flachgefalteten Musters sowie die Verfeinerung des erzeugten Modells mittels verstärkendem Lernen, gesteuert durch eine autonome ästhetische Bewertungsschleife. Unser System fungiert als hochwirksamer kollaborativer Assistent, der strukturelle Ausgangspunkte generiert, die menschliche Künstler weiter ausbauen und formen können. Durch die Integration algorithmischer Optimierung mit autonomer ästhetischer Kritik zeigt diese Arbeit, wie KI-Systeme multikriterielle physikalische Randbedingungen erfüllen können, um eine zuverlässige, mathematisch fundierte Ko-Kreativität zu ermöglichen.
ABACUS ist ein einheitliches Vision-Language-Modell, das Objektzählung, Menschenmengenzählung, referenzausdrucksbasiertes Zählen und zählgetreue Bildgenerierung bewältigt, ohne dass ein benchmarkspezifisches Training erforderlich ist. Unser Modell baut auf einem bestehenden 3B-Parameter-einheitlichen Basismodell auf und wird mithilfe dreier zentraler Innovationen für Objektlokalisierungsaufgaben angepasst: dichtebewusstes adaptives Zoomen mit Objektheitskarten zur räumlichen Verankerung; eine grenzbewusste Zählstrategie mittels GRPO zur Beseitigung von Beschnittrandfehlern; sowie eine zykluskonsistente GRPO-Strategie, bei der der Verständniszweig die generierten Ausgaben selbstkritisch hinterfragt, wodurch die Verständnis-Generierungs-Lücke ohne externe Annotationen geschlossen wird. ABACUS erzielt Spitzenleistungen über sieben Benchmarks hinweg und übertrifft sowohl aufgabenspezifische Spezialisten als auch größere Generalistenmodelle.
Ein funktionierendes Zitat sieht wie ein Beleg aus – doch die Tatsache, dass ein Link aufgelöst wird, bedeutet nicht, dass die zitierte Arbeit die Behauptung stützt. Ich stelle fest, dass aktuelle agentische Modelle nur selten Zitate erfinden (über 99% lösen sich auf), aber etwa 15,9% verweisen auf die falsche Arbeit. Bestehende Benchmarks übersehen diese Fehlerart: Wenn eine Frage einen festen Lösungsschlüssel hat, kann ein Modell die erwartete Quelle aus diesem Schlüssel reproduzieren, anstatt unabhängig zu überprüfen, ob die Quelle die Behauptung stützt. Ich stelle \openbiorq{} vor, einen retrievalgestützten agentischen Benchmark mit 12.553 ungelösten biomedizinischen Forschungsfragen aus 12 Fachbereichen, der offene Fragen als Sonde für Treue und Enthaltung behandelt. Meines Wissens ist dies der erste biomedizinische Benchmark, der eine agentische Umgebung – in der das Modell mehrere Werkzeugaufrufe tätigen muss – mit ungelösten Fragen ohne Lösungsschlüssel kombiniert. Offenheit wird anhand realer Folgebelege überprüft, nicht anhand des parametrischen Wissens eines Modells. Die Schwierigkeit ist empirisch: Ich verankere sie an Fragen, die drei Referenzmodelle mit offenen Gewichten nicht beantworten können, anstatt auf subjektiven Schwierigkeitskennzeichnungen. Auf dieser schwierigsten Teilmenge lösen zurückgehaltene Modelle derselben Abstammung wie die Schwierigkeitsanker nur etwa 17%, während drei unabhängige Grenzagenten (Gemini-3-Pro, Opus-4.7, GPT-5.5) eine breite Spanne von 29–60% abdecken. Der Benchmark ist somit schwierig, nicht sättigend (der beste Agent lässt immer noch etwa 33–40% ungelöst) und unterscheidet zwischen Leistungsstufen. Über die Schwierigkeit hinaus beobachte ich einen agentischen Zusammenbruch bei den schwierigsten Fragen, bei dem Agenten aufhören, ihre Werkzeuge zu verwenden. Für das am meisten zusammenbruchgefährdete Modell ändert die vollständige Blockierung des Werkzeugzugriffs dessen Punktzahl kaum – Werkzeuge zahlen sich also genau dort nicht mehr aus, wo sie am meisten benötigt werden. Eine eingefrorene, fragenbezogene Checkliste erhöht die Übereinstimmung zwischen Bewertern von Spearman 0,35 auf 0,82.
Multi-Modell-LLM-Systeme wie Routing, Voting, Kaskaden, Fusion und Mixture-of-Agents werden eingesetzt, um die Genauigkeit einzelner Modelle zu übertreffen. Wir zeigen, dass ihr Gewinn durch eine Größe begrenzt ist, die in diesem Bereich selten berichtet wird. Für jede Strategie, deren Ausgabe die Antwort eines Mitgliedsmodells ist, kann die Genauigkeit nicht größer als eins minus Beta sein, wobei Beta die Rate ist, mit der jedes Modell bei derselben Abfrage falsch liegt. Im Gegensatz dazu kann die übliche Diagnose, die durchschnittliche paarweise Fehlerkorrelation Rho, Beta nicht identifizieren: Fehlergesetze mit identischen Marginalverteilungen und paarweisen Korrelationen können unterschiedliche Alles-falsch-Raten aufweisen. Eine Clopper-Pearson-Schranke für Beta liefert ein Zertifikat für endliche Stichproben über den größten Gewinn, den ein Router, Vote oder eine Kaskade vor dem Training eines Routers erzielen könnte. Bei 67 Modellen von 21 Anbietern unterbewertet ein tetrachorisch kalibriertes Ein-Faktor-Modell weiterhin den Alles-falsch-Schwanz: Bei offener Mathematik liegt das beobachtete Beta bei 0,052 gegenüber 0,023 unter der vollständigen 67-Modell-Gaußschen Copula, etwa 2,5-fache Unterbewertung, mit einem 90-Prozent-Konfidenzintervall von 1,7 bis 3,4 und k gleich 17. Der Effekt wiederholt sich bei ausführungsbewertetem Code, wo Beta 0,079 beträgt. Das erneute Stellen derselben GPQA-Diamond-Fragen in Freitextform anstatt in Multiple-Choice-Form öffnet den Schwanz wieder, mit Beta 0,127 und einem Fünf-Richter-Panel mit Kappa 0,73 bis 0,92, was das gemeinsame Versagen eher im Antwortformat als im Fachgebiet verortet. Bei vergleichbarer Qualität schlagen heterogene Ensembles mit niedrigem Rho das Self-MoA mit hohem Rho, aber bei überprüfbaren Aufgaben in unserem Pool übertrifft das Kombinieren von Modellen selten das einzelne beste Modell ohne ein starkes Routing-Signal auf Abfrageebene. Gewinne entstehen dadurch, dass Modelle bei unterschiedlichen Fragen versagen, nicht durch das Hinzufügen weiterer Modelle.
Wissenschaftliche Reasoning-Modelle für die Biologie kombinieren Sprachmodelle mit Foundation-Modellen, die auf multimodalen biologischen Daten, einschließlich DNA, RNA und Proteinen, trainiert werden. Diese Modelle werden durch Post-Training aufgebaut, doch wie jede Stufe das Reasoning und die Generalisierung formt, ist noch wenig verstanden. Wir untersuchen, wann Post-Training die Leistung verbessert und wann es zu Überspezialisierung führt. Über Genomik, Transkriptomik und Proteine hinweg trainieren und evaluieren wir mehr als 100 biologische Reasoning-Modelle unter kontrollierter Variation von Backbone, fortgesetztem Pre-Training (CPT), überwachtem Fine-Tuning (SFT) und Reinforcement Learning (RL) und messen sowohl die In-Domain (ID)- als auch die Out-of-Domain (OOD)-Leistung. Wir stellen fest, dass jede Post-Training-Stufe die Generalisierung auf unterschiedliche Weise umformt, anstatt einheitliche Verbesserungen zu liefern. CPT verbessert die nachgelagerte Leistung, indem es die Modelle an die biologische Sprache anpasst. SFT erhöht konsistent die ID-Leistung, führt jedoch dazu, dass die OOD-Leistung früh einen Höhepunkt erreicht und dann abfällt, wenn die Modelle an die Trainingsverteilung angepasst werden. RL, angewendet auf starke SFT-Checkpoints mit abgestimmten Belohnungen, verbessert die OOD-Leistung und stellt die Generalisierung teilweise wieder her. Diese Ergebnisse zeigen, dass biologisches Reasoning nicht monoton mit zusätzlicher Überwachung oder Rechenleistung verbessert wird. Stattdessen hängt die Leistung davon ab, wie die Trainingsstufen zusammengesetzt sind. Bei festen Post-Training-Budgets ergibt sich der stärkste ID-OOD-Kompromiss aus kurzem SFT, größeren RL-Zuweisungen und asymmetrischer Anpassungskapazität über die Stufen hinweg.
Die Vorhersage mittels Erdbeobachtung (EO) zielt darauf ab, zukünftige Dynamiken der Erdoberfläche anhand von Satellitenbeobachtungen unter wechselnden meteorologischen Bedingungen vorherzusagen. In diesem Papier betrachten wir diese Aufgabe als ein teilweise beobachtetes, wettergetriebenes Weltmodellierungsproblem, bei dem das Wetter als konditionierendes Signal wirkt, während die Vorhersage aufgrund spärlicher Beobachtungen und unbeobachteter Landoberflächenzustände unsicher bleibt. Allerdings erfassen bestehende Methoden dieses Szenario nicht vollständig: Deterministische Modelle kollabieren die Unsicherheit in eine einzige zukünftige Vorhersage, während diffusionsbasierte Methoden Wettervariablen typischerweise als undifferenzierte konditionierende Signale behandeln. Zudem konzentrieren sich bestehende Benchmarks hauptsächlich auf die Rekonstruktionsgenauigkeit und nicht darauf, ob Vorhersagen korrekt auf veränderte Wettereinflüsse reagieren. Wir stellen EO-WM vor, einen Video-Diffusionstransformer für multispektrale EO-Vorhersagen. EO-WM beinhaltet ein physikalisch informiertes Konditionierungsframework, das meteorologische Einflüsse durch eine klimatologische Basislinie, Wetteranomalien und kumulative physikalische Stresssignale repräsentiert. Insbesondere trennt es Basislinie und Anomalie durch unterschiedliche Konditionierungspfade und akkumuliert anomale Einflüsse über die Zeit, um anhaltenden Hitze- und Trockenstress zu erfassen. Um das Wetterantwortverhalten über Standardmetriken hinaus zu bewerten, führen wir zwei diagnostische Benchmarks ein: einen Extrem-Sommer-Benchmark für schwerebewusste Vorhersage von Vegetationsdegradation unter Extremwetter und einen saisonalen Matched-Pair-Benchmark zur Prüfung der Antworttreue unter veränderten Wettereinflüssen. Experimente zeigen, dass EO-WM den Fehler in der vorhergesagten Amplitude des Rückgangs des Normalisierten Differentiellen Vegetationsindex (NDVI) um relativ 5,63 % reduziert und die Richtungstrefferquote um relativ 7,80 % verbessert, während es bei standardmäßigen Pixelebenen-Metriken wettbewerbsfähig bleibt. Die Benchmarks und das Modell werden unter https://github.com/Luo-Z13/EO-WM als Open Source verfügbar gemacht.