Tägliche Publikationen

LLM-Agenten sollen über mehrere Interaktionen hinweg handeln, dabei Such-, Browser-Schnittstellen und Terminal-Werkzeuge nutzen, um Benutzerziele zu erreichen. Allerdings ist nicht jedes Ziel gut spezifiziert oder in der verfügbaren Umgebung erreichbar. In solchen Fällen sollte ein zuverlässiger Agent erkennen, dass weitere Interaktionen wahrscheinlich nicht weiterhelfen, und von zusätzlichen Werkzeugaufrufen absehen. Wir definieren **agentische Enthaltung** – das Problem, zu entscheiden, wann ein Agent unter Unsicherheit aufhören sollte zu handeln. Im Gegensatz zur standardmäßigen LLM-Enthaltung, die üblicherweise als einmalige Entscheidung zwischen Antwort und Enthaltung bewertet wird, handelt es sich bei der agentischen Enthaltung um ein sequenzielles Entscheidungsproblem: Ein Agent kann bei jedem Schritt antworten, sich enthalten oder weitere Informationen sammeln, und die Notwendigkeit zur Enthaltung wird möglicherweise erst nach Interaktion mit der Umgebung klar. Wir untersuchen dieses Problem in den Bereichen Web-Shopping, Terminal-Umgebungen und Fragebeantwortung und evaluieren 13 LLM-Agent-Systeme sowie 2 Agent-Scaffolds anhand von über 28.000 Aufgaben. Unsere Ergebnisse zeigen, dass die Hauptherausforderung nicht nur darin besteht, ob Agenten sich enthalten können, sondern auch, wann sie dies tun. Manche Agenten enthalten sich nie, wenn sie es sollten, andere erst nach vielen unnötigen Interaktionen. Diese Lücke ist besonders groß bei Aufgaben, bei denen die Anweisung machbar erscheint, bis die Umgebung das Gegenteil offenbart (z. B. kein gültiges Ergebnis passt zur Anweisung). Zudem stellen wir fest, dass Modellgröße, Reasoning und Agent-Scaffolding die Enthaltung auf unterschiedliche Weise beeinflussen, wobei größere oder leistungsfähigere Modelle manchmal schlechter bei rechtzeitiger Enthaltung abschneiden. Abschließend führen wir **CONVOLVE** ein, eine Methode des Kontextengineerings zur Verbesserung agentischer Enthaltung, die vollständige Interaktionsverläufe in wiederverwendbare Stoppregeln destilliert. Auf WebShop verbessert CONVOLVE die rechtzeitige Enthaltung erheblich, ohne Modellparameter zu aktualisieren, und steigert die rechtzeitige Erkennungsrate von Llama-3.3-70B von 26,7 auf 57,4. Unser Datensatz und Code sind verfügbar unter https://lhannnn.github.io/agentic-abstention.

Streaming-Video-Bearbeitung hat rasante Fortschritte gemacht, doch der praktische Einsatz wird noch durch zwei Kernprobleme eingeschränkt: die Aufrechterhaltung stabiler Hintergründe und nicht bearbeiteter Bereiche über die Zeit sowie die für interaktive Echtzeitszenarien erforderliche niedrige Latenz. Gleichzeitig wurden neuere Methoden zur Generierung von Streaming-Videos meist für die Synthese entwickelt und können aufgrund der strengen Erhaltungsanforderungen und regionsspezifischen Steuerung nicht direkt auf die Bearbeitung angewendet werden. In dieser Arbeit stellen wir ein neuartiges Framework für Streaming-Video-Bearbeitung vor, das eine kausale, Bild-für-Bild-Bearbeitung mit starkem Inhaltserhalt und Echtzeitfähigkeit durchführt. Unser zentrales Design ist eine dreistufige Destillationspipeline, die schrittweise die Bearbeitungsfähigkeit von einem leistungsstarken bidirektionalen Fundamentmodell auf einen effizienten unidirektionalen Streaming-Editor überträgt und so stabile langfristige Bearbeitungen ohne Einbußen bei der visuellen Wiedergabetreue ermöglicht. Zur weiteren Unterstützung des Echtzeiteinsatzes führen wir einen AR-orientierten Masken-Cache ein, der regionsbezogene Berechnungen über mehrere Bilder hinweg wiederverwendet, wodurch redundante Verarbeitung erheblich reduziert und die Inferenz beschleunigt wird. Schließlich etablieren wir einen dedizierten Benchmark für Streaming-Video-Bearbeitung. Umfangreiche Evaluierungen zeigen, dass unsere Methode unter den Streaming-Baselines eine Spitzenqualität in der Bildqualität erreicht und gleichzeitig die Inferenzgeschwindigkeit drastisch auf 12,66 Bilder pro Sekunde steigert, was sie für interaktive und Augmented-Reality-Anwendungen geeignet macht.

Wir stellen Agents-A1 vor, ein 35B Mixture-of-Experts Agentenmodell, das durch Skalierung des Agentenhorizonts die Leistungsfähigkeit von Billionen-Parameter-Modellen erreicht. Wir untersuchen die Skalierung des Agentenhorizonts aus zwei Perspektiven: der Skalierung von Langzeit-Trajektorien und der Skalierung heterogener Agentenfähigkeiten. Zu diesem Zweck bauen wir eine Langzeit-Wissens-Handlungs-Infrastruktur auf, die externes Wissen, Aktionen, Beobachtungen und Ergebnisse von Verifikatoren miteinander verbindet und agentische Trajektorien mit einer durchschnittlichen Länge von 45.000 Tokens erzeugt. Darauf aufbauend trainieren wir Agents-A1 mit einem dreistufigen Rezept. Zunächst führen wir ein domänenübergreifendes überwachtes Feintuning durch, um das Basismodell an breite agentische Verhaltensweisen anzupassen. Zweitens trainieren wir domänenspezifische Lehrermodelle, um spezialisiertes Expertenwissen in jeder Domäne zu erfassen. Drittens schlagen wir eine Multi-Teacher-Domänen-gelenkte On-Policy-Destillation mit salienter Vokabelausrichtung vor, um die Wissenstransfer-Effizienz zwischen verschiedenen Domänen zu verbessern und sechs heterogene Domänen in einem einsetzbaren Schülermodell zu vereinen. Agents-A1 erzielt starke und breite Leistungen bei Langzeit-Agenten-Benchmarks. Verglichen mit 1T-Parameter-Modellen wie Kimi-K2.6 und DeepSeek-V4-pro erreicht Agents-A1 führende Ergebnisse auf SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) und MolBench-Bind (56,8) und bleibt auf SciCode (44,3), HLE (47,6) und BrowseComp (75,5) hochgradig wettbewerbsfähig. Wir hoffen, dass diese Arbeit der Community einen praktischen Weg zur Skalierung des Horizonts mit einem 35B-Agenten aufzeigt, der auf Langzeitaufgaben die Leistung von 1T-Modellen erreichen oder damit gleichziehen kann.

Da große Sprachmodelle und ihre Rahmenwerke (Frameworks) weiterhin Fortschritte machen, sind Agenten, die in Terminals arbeiten, zunehmend in der Lage, eine breitere Palette allgemeiner Computeraufgaben über das Programmieren hinaus auszuführen. Bestehende Benchmarks bewerten jedoch allgemein einsetzbare Terminal-Computer-Agenten (TUAs) nicht angemessen: Allgemeine Computer-Benchmarks zielen hauptsächlich auf grafische Benutzeroberflächen (GUIs) ab, während terminalbasierte Benchmarks weitgehend technische und programmierzentrierte Arbeitsabläufe betonen, die historisch in der Shell zu Hause sind. Wir stellen TUA-Bench vor, einen allgemeinen Benchmark für Terminal-Agenten. TUA-Bench umfasst 120 reale Aufgaben aus fünf Aufgabenfamilien und deckt routinemäßige digitale Aktivitäten ab – darunter Dokumentbearbeitung, E-Mail-Verwaltung und Live-Web-Informationssuche – sowie wissenschaftliche und ingenieurtechnische Arbeitsabläufe, die gemeinsam mit Fachexperten auf Doktoratsniveau entwickelt wurden und spezialisierte Software erfordern. Diese Breite unterscheidet TUA-Bench von früheren shell-fokussierten oder domänenspezifischen Benchmarks. Jede Aufgabe wird manuell entworfen, in einem echten Terminal mit einem deterministischen Einrichtungsskript ausgeführt und mittels eines ausführungsbasierten Bewertungsprotokolls evaluiert. Wir stellen fest, dass der stärkste Grenzbereichs-Agent, Claude Code mit Claude Opus 4.8 maximalem Reasoning-Aufwand, eine Gesamtleistung von 65,8 % erreicht, mit erheblichen Lücken in beiden Bereichen. Indem TUA-Bench eine breite und realistische Bewertung von Terminal-Nutzungsfähigkeiten bietet, zielt es darauf ab, den Übergang von engen, aufgabenspezifischen Assistenten zu allgemeinen Agenten zu beschleunigen, die in der Lage sind, zuverlässig in verschiedenen digitalen Umgebungen zu operieren.

Um den Speicherverbrauch während der LLM-Inferenz zu reduzieren, wurden einige Methoden zur KV-Cache-Bereinigung vorgeschlagen. Obwohl diese Techniken bei vielen Datensätzen eine verlustfreie Speicherreduktion erreichen können, hängen sie oft von einer wenig betonten Bedingung ab: Ein eingabe-/domänenspezifischer Schwellenwert für das KV-Cache-Budget muss vorab festgelegt werden, um die optimale Leistung zu erzielen. Ein derartiges eingabesensitives Design kann jedoch in realen Szenarien erheblich eingeschränkt sein, da Eingaben aus offenen Domänen verschiedene Bereiche, Längen und Schwierigkeitsgrade umfassen, ohne klare Grenzen für die Schwellenwertauswahl. Infolgedessen kann die Abhängigkeit von einem solchen eingabesensitiven Schwellenwert eine grundlegende Einschränkung darstellen, die bei beliebigen Eingaben zu großen Beeinträchtigungen führt. In dieser Arbeit schlagen wir ein neues Ziel vor, das die Schwellenwertbeschränkungen für eine robuste KV-Kompression aufhebt, und plädieren für „schwellenwertfreie“ Methoden, die die Budgetzuweisung adaptiv anpassen, während die Leistung des vollständigen Caches erhalten bleibt. Anschließend stellen wir eine neuartige Methode, ReFreeKV, vor, die als erste Umsetzung dieses Ziels dient. Umfangreiche Experimente mit 13 Datensätzen unterschiedlicher Kontextlängen, Aufgabentypen und Modellgrößen belegen ihre Wirksamkeit und Effizienz. Unser Code ist unter https://github.com/Patrick-Ni/ReFreeKV öffentlich zugänglich.

Grundlagenmodelle für prädiktives maschinelles Lernen auf tabellarischen Daten haben in jüngster Zeit in Wissenschaft und Industrie erheblich an Bedeutung gewonnen. Forschungsgemeinschaften verschiedener Disziplinen evaluieren zunehmend tabellarische Grundlagenmodelle auf vielfältigen Datensätzen und Aufgaben. Allerdings bleiben diese aufgaben- und disziplinspezifischen Evaluationen für Modellforscher weitgehend unzugänglich, da Benchmark-Software und Evaluationsprotokolle fragmentiert sind. Daher greifen Modellforscher auf Standard-Benchmarks zurück, die meist für Aufgaben definiert sind, bei denen tabellarische Grundlagenmodelle bereits hervorragende Leistungen erbringen. Die herausforderndsten Szenarien werden ausgeschlossen, was den sinnvollen Fortschritt auf diesem Gebiet einschränkt, indem der Fokus auf marginale Verbesserungen bei IID-Daten statt auf breitere, anspruchsvollere Herausforderungen gelegt wird. Um dies zu überwinden, führen wir BeyondArena ein, den ersten einheitlichen holistischen Benchmark für tabellarische Daten, der verschiedene Aufgabentypen (IID, zeitlich, gruppiert) über verschiedene Stichprobengrößen- und Merkmalsdimensionalitätsskalen hinweg sowie vielfältige Merkmalstypen (mit Text, mit hoher Kardinalität) aus einem breiten Spektrum von Disziplinen unterstützt. Um einheitliches Benchmarking über Standard-Benchmarks hinaus zu ermöglichen, führen wir Data Foundry ein, ein Python-Framework und Metadatenschema zur Kuratierung tabellarischer Datensätze für prädiktives maschinelles Lernen. Unsere Ergebnisse über 11 Modelle und 142 kuratierte Datensätze zeigen, dass bestehende tabellarische Grundlagenmodelle bei kleinen bis mittelgroßen IID-Daten hervorragende Leistungen erbringen, während traditionelle baumbasierte und Deep-Learning-Modelle bei nicht-IID-, großen und hochdimensionalen Datensätzen weiterhin dominieren. BeyondArena leitet die Modellforschung für die anspruchsvollsten Herausforderungen bei tabellarischen Daten und ermöglicht Fortschritte hin zu wirklich grundlegenden tabellarischen Modellen.

Physikalische Interaktionen folgen einer Lange-Schwanz-Verteilung: Eine Menge häufiger und regulärer Interaktionen dominiert die menschliche Erfahrung und visuelle Daten, während ein breites Spektrum seltener und irregulärer Interaktionen unterrepräsentiert bleibt. Obwohl aktuelle visuelle Weltmodelle, darunter Bild- und Videogenerierungsmodelle, auf bestehenden Benchmarks beeindruckende Realitätstreue erzielen, konzentrieren sie sich hauptsächlich auf die Simulation häufiger physikalischer Interaktionen. Dies wirft eine zentrale Frage auf: Verinnerlichen und verallgemeinern aktuelle visuelle Weltmodelle physikalische Prinzipien? In dieser Arbeit führen wir Tailor-Bench ein, einen Benchmark, der Weltmodelle dazu herausfordert, irreguläre physikalische Interaktionen zu simulieren. Für eine systematische Evaluierung entwerfen wir drei Szenarienmodi, die das Modellreasoning schrittweise herausfordern: Reguläre Szenarien spiegeln übliche Werkzeug-Aufgaben-Paare wider, Unkonventionelle Szenarien ersetzen konventionelle Werkzeuge durch attributkompatible Substitute, um die Affordanz-Generalisierung zu testen, und Unmögliche Szenarien führen attributverletzende Werkzeuge ein, um das Einschränkungsbewusstsein zu untersuchen. Zusätzlich entwerfen wir zwei komplementäre Einstellungen unter einem einheitlichen Evaluierungsprotokoll: Die prädiktive Generierung erfordert das Ableiten von Ergebnissen ohne Vorgaben, während die deskriptive Generierung das Zielergebnis für eine getreue Umsetzung vorgibt. Unsere experimentellen Ergebnisse offenbaren eine deutliche Lange-Schwanz-Lücke in der physikalischen Weltmodellierung: Die Leistung verschlechtert sich von regulären über unkonventionelle bis hin zu unmöglichen Szenarien, was auf eine begrenzte Generalisierung über häufige Interaktionen hinaus hindeutet. Eine Fehleranalyse zeigt zudem, dass Modelle auf oberflächliche visuelle Muster angewiesen sind: Bildmodelle scheitern an der Realisierung korrekter Zustandsänderungen, während Videomodelle zusätzlich unter zeitlichen Inkonsistenzen leiden.

Das jüngste Interesse an multimodalen großen Sprachmodellen (MLLMs) wirft eine zentrale Frage auf: Können sie auf der Grundlage dynamischer visueller Beweise schlussfolgern, anstatt lediglich Objekte oder Ereignisse in einzelnen Einzelbildern zu erkennen? Diese Fähigkeit, die wir als video-temporallogisches Schlussfolgern bezeichnen, erfordert, dass Modelle Beweise aufrechterhalten, aktualisieren und zusammensetzen, während sich visuelle Zustände über Einzelbilder hinweg entwickeln. Bisherige Video-Benchmarks vermischen diese Fähigkeit oft mit Szenenkomplexität, statischer Erkennung oder unkontrollierten zeitlichen Variationen. Um diese Fähigkeit zu isolieren, führen wir Video-MME-Logical ein, eine kontrollierte Benchmark, die um fünf temporallogische Operationen herum aufgebaut ist: Zustandsverfolgung, sequenzielles Zählen, zeitliche Ordnung, dynamische Räumlichkeit und strukturelle Komposition. Die Benchmark umfasst 25 feinabgestufte Aufgabenkategorien, die mit kontrollierten Objektzuständen, Übergängen, zeitlichen Abhängigkeiten und logischen Kompositionen generiert werden. Sie ermöglicht eine schwierigkeitskontrollierte Bewertung der endgültigen Antwort durch Variation des zeitlichen Horizonts und der Schlussfolgerungskomplexität und unterstützt die Diagnose von Zwischenzuständen, indem überprüft wird, ob Modelle die erforderliche logische Schlussfolgerungsspur wiederherstellen, bevor sie die endgültige Antwort liefern. Experimente mit modernsten MLLMs zeigen eine erhebliche Mensch-Modell-Lücke, insbesondere mit zunehmender temporallogischer Komplexität. Überwachtes Feintuning mit bis zu 500.000 generierten Stichproben verbessert die Leistung, reicht jedoch nicht aus, um die Schlussfolgerungslücke zu schließen, was Video-MME-Logical als skalierbaren Teststand für die Analyse und Verbesserung des temporallogischen Schlussfolgerns in MLLMs positioniert.

On-Policy-Destillation (OPD) trainiert einen Schüler auf dessen eigenen Rollouts, angeleitet durch Lehrer-Feedback, und gewinnt zunehmend an Bedeutung für das Post-Training großer Sprachmodelle (LLMs). Ähnlich wie beim verstärkenden Lernen (RL) steht OPD jedoch vor einem systembedingten Engpass der On-Policy-Verfahren, da Rollouts bei Denkaufgaben die Trainingszeit dominieren können. Asynchrone Trainingspipelines können diesen Engpass mildern, indem sie die Erzeugung von Rollouts von den Lernenden-Updates entkoppeln, führen jedoch veraltete Policy-Daten ein. Während frühere Arbeiten veraltete Daten im asynchronen RL untersucht haben, sind ihre Auswirkungen im OPD noch wenig erforscht. Wir präsentieren die erste systematische Untersuchung von Veralterung in asynchronem OPD, wobei wir uns auf eine praktische Umgebung konzentrieren, in der Lehrer-Feedback durch lokale KL-Verluste implementiert wird und vollständige Vokabular-Lehrer-Logits zu teuer zum Speichern oder Übertragen sind, was endliche Lehrer-Score-Caches erforderlich macht. Wir zeigen zunächst, dass die KL-Richtung das Problem veralteter Daten verändert: Die lehrergewichtete Vorwärts-KL ist robuster gegenüber veralteten Rollouts, während die schülergewichtete Rückwärts-KL anfällig ist. Zweitens untersuchen wir für diesen anfälligen Fall der Rückwärts-KL, ob Methoden zur Stabilisierung des asynchronen RL die Veralterung im OPD mildern können. In unseren Experimenten verbessern sie keinen einfacheren OPD-spezifischen Ersatz: die Neuberechnung des Rückwärts-KL-Signals unter dem aktuellen Schüler zur Lernzeit. Drittens analysieren wir, wie endliche Lehrer-Score-Caches einen Bias-Varianz-Kompromiss für spärliche und sampelbasierte Rückwärts-KL-OPD-Schätzer schaffen. Dies motiviert den Multi-Sample-Monte-Carlo-Ansatz (MC), der die MC-Korrigierbarkeit bewahrt und gleichzeitig die Ein-Sample-Varianz reduziert. Schließlich präsentieren und veröffentlichen wir AsyncOPD, eine vollständig asynchrone OPD-Trainingspipeline, die auf diesen Schätzerentscheidungen aufbaut. Experimente zeigen, dass AsyncOPD den Trainingsdurchsatz um das 1,6- bis 3,8-fache gegenüber streng synchronem Training verbessert und dabei eine vergleichbare Genauigkeit erreicht.

Das Verständnis von Videos ist eine grundlegende Fähigkeit für multimodale Intelligenz, und aktuelle multimodale große Sprachmodelle (MLLMs) haben bei Video-Frage-Antwort-Benchmarks (VideoQA) bemerkenswerte Leistungen erzielt. Allerdings bewerten bestehende Benchmarks hauptsächlich, ob Modelle oberflächliche visuelle Hinweise wahrnehmen können, während sie selten untersuchen, ob MLLMs tiefere Kenntnisse oder prozedurale Fähigkeiten aus Video-Tutorials erlernen und auf nachgelagerte langfristige agentische Aufgaben verallgemeinern können. Um diese Lücke zu schließen, führen wir VG-GUIBench (Video-Guided GUI Benchmark) ein, einen neuen Benchmark, der darauf ausgelegt ist, zu bewerten, ob MLLM-basierte GUI-Agenten Video-Tutorials befolgen können, um entsprechende interaktive GUI-Aufgaben abzuschließen. Darüber hinaus beobachten wir, dass die Leistung von Modellen sowohl bei VideoQA als auch bei videogeführten agentischen Aufgaben entscheidend von einer effektiven Keyframe-Extraktion abhängt. Basierend auf dieser Beobachtung schlagen wir TASKER (Task-driven And Scene-aware Keyframe searchER) vor, einen Keyframe-Extraktionsalgorithmus, der sowohl die Aufgabenrelevanz als auch die Szenendynamik berücksichtigt, um informative Frames zu identifizieren. Experimentelle Ergebnisse zeigen, dass TASKER sowohl bei VideoQA- als auch bei videogeführten agentischen Aufgaben-Benchmarks signifikante Leistungsverbesserungen erzielt und den besten Basislinien um 2,0 % im EgoSchema-vollen Datensatz bzw. 1,8 % im NExT-QA-Datensatz übertrifft. Diese Ergebnisse unterstreichen zudem das Potenzial generalisierter Keyframe-Extraktionsmethoden für Video-Verständnisaufgaben. Unser Code und unsere Daten sind verfügbar unter https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

Moderne großskalige LLM-Pretraining profitiert von der Nutzung von Pipeline-Parallelismus; jedoch führen synchronisierte Implementierungen dazu, dass GPUs während Pipeline-Blasen untätig bleiben, was Rechenressourcen verschwendet. Asynchroner Pipeline-Parallelismus eliminiert diese Blasen und maximiert den Durchsatz auf Kosten der Gradienten-Staleness. Unter den asynchronen Ablaufplänen ist PipeDream-2BW besonders attraktiv: Anders als der ursprüngliche PipeDream-Ablaufplan gewährleistet es unabhängig von der Pipelineliefe eine konstante einschrittige Gradientenverzögerung. Seine Anwendung bleibt jedoch aufgrund der weit verbreiteten Annahme begrenzt, dass Optimierung unter Staleness grundlegend instabil sei. In dieser Arbeit stellen wir diese Annahme in Frage und zeigen, dass die Verschlechterung unter einschrittiger Verzögerung stark von der Wahl des Optimierers abhängt und keine intrinsische Einschränkung darstellt. Wir liefern die erste umfassende empirische Analyse, die zeigt, dass AdamW, der zur Zeit der Einführung von PipeDream-2BW vorherrschende Optimierer, tatsächlich unter schwerwiegender Verschlechterung leidet, während neuere Verfahren wie Muon eine starke Robustheit unter einer einschrittigen Verzögerung aufweisen. Wir führen eine von Error Feedback inspirierte, optimiereragnostische Korrektur ein, um die Verzögerungseffekte weiter abzumildern. Wir liefern unterstützende theoretische Analysen, die Konvergenz für Muon mit und ohne diese Korrektur belegen. Umfangreiche Evaluierungen an Modellen mit bis zu 10 Milliarden Parametern bestätigen, dass unsere Strategien die Leistungslücke zum synchronen Training schließen, was das praktische Potenzial asynchronen Pipeline-Parallelismus’ im großen Maßstab unterstreicht.

Verschiedene Echtzeit-Sprachverarbeitungsanwendungen haben unterschiedliche Latenzanforderungen, was oft separat trainierte Verbesserungsmodelle für jedes Szenario erfordert. In diesem Beitrag schlagen wir ein universelles Echtzeit-Sprachverbesserungsmodell vor, das explizite Kontrolle sowohl über die algorithmische als auch über die rechnerische Latenz bietet. Die algorithmische Latenz wird durch konfigurierbare Vorausschau-Frames flexibel angepasst. Um Ineffizienzen beim Lernen durch unterschiedliche Padding-Konfigurationen zu vermeiden, führen wir parallele Faltungsschichten ein, die verschiedenen Vorausschau-Einstellungen entsprechen. Die rechnerische Latenz wird durch einen Early-Exit-Mechanismus gesteuert, der Inferenz in unterschiedlichen Netzwerktiefen ermöglicht. Um die Leistungslücke zwischen spezialisierten und flexiblen Modellen zu verkleinern, schlagen wir eine zweistufige Trainingsstrategie mit einem Shared-to-Multiple-Decoder-Übergang vor. Insgesamt ermöglicht das vorgeschlagene Framework den Einsatz eines einzigen Modells über verschiedene Latenzbudgets hinweg, ohne separate Modelle neu trainieren zu müssen.

Aktuelle Fortschritte im Bereich des 3D-Gaussian-Splatting haben beispiellose Erfolge bei der Neuansichtssynthese erzielt. Allerdings stellen der hohe Rechen- und Speicheraufwand, der durch sphärische Harmonische (SH) höherer Ordnung verursacht wird, die Hauptengpässe für mobile Plattformen dar. In dieser Arbeit präsentieren wir Flux-GS, eine Echtzeit-Gaussian-Splatting-Methode, die für eine hochgenaue Wiedergabe bei deutlich reduziertem Aufwand auf ressourcenbeschränkten mobilen Plattformen ausgelegt ist. Zunächst schlagen wir einen Monte-Carlo-Spekularenergie-Aggregator vor, der Radianzresiduen dritter Ordnung abtastet und die spekulare Energie in einen kompakten latenten Raum aggregiert. Auf diese Weise bewahrt unsere Methode visuell bedeutsame Lichtmerkmale in Bändern niedrigerer Ordnung, ohne aufwändige Destillation oder Vortraining. Um die bei der Kompression verlorengegangenen hochfrequenten Details auszugleichen, führen wir ein attributbedingtes SH-Verbesserungsmodul ein. Dieses Modul sagt gaußbewusste Versätze auf der Grundlage intrinsischer Gauß-Attribute voraus, die die SH-Darstellung erster Ordnung vor der Inferenz verbessern, ohne zusätzliche Inferenzkosten. Darüber hinaus neigt die ursprüngliche, auf Einzelansichten basierende gradientenbasierte Verdichtung dazu, übermäßige Gauß-Primitive zu erzeugen und sich an eine bestimmte Ansicht anzupassen. Wir beheben diese Einschränkungen durch die Einführung einer mehrfachansichtsbasierten Alpha-Verdichtungs- und Pruning-Strategie. Durch die Nutzung von Mehrfachansichts-Führung stellen wir die Konsistenz der Mehrfachansichts-Struktur und die präzise Entfernung redundanter Primitive sicher. Umfangreiche Experimente belegen, dass Flux-GS eine erhebliche Parameterreduktion bei gleichbleibend hoher visueller Qualität erzielt und somit eine robuste und skalierbare Lösung für die mobile Echtzeitdarstellung bietet. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

Agentische multimodale Modelle führen vielfältige Operationen auf einem Bild mittels Code durch und schlussfolgern über die zurückgegebene Ansicht – ein effektives Paradigma für die feinkörnige visuelle Fragebeantwortung. Allerdings können Code-Operationen nützlich, redundant oder irreführend sein. Ausschließlich ergebnisbasierte Belohnungen können diese Fälle nicht präzise unterscheiden, und existierende Prozessbelohnungen schreiben entweder die endgültige Korrektheit einzelnen Tool-Aufrufen nicht zu oder benötigen ein externes Bewertungsmodell. Um dies zu adressieren, führen wir Tool-Augmented Credit Optimization (TACO) ein, eine GRPO-Variante für Code-Werkzeug-Agenten, die auf zwei gekoppelten Advantage-Kanälen basiert. Der erste, Differential Answer-Probe Reward (DAPR), ist ein selbstüberwachter, bewertungsfreier Tool-Beitrags-Advantage, der jeden Tool-Aufruf anhand seiner eigenen Wirkung auf die korrekte Beantwortung bewertet. In das Reasoning des Modells eingefügte Sonden-Token rufen dessen Vorhersagen mit und ohne das Tool ab, und die Differenz der Ergebnisbelohnung wird als Wert des Aufrufs genommen: positiv für einen nützlichen Aufruf, negativ für einen irreführenden und null für einen, der nichts ändert. Dies nutzt den vorhandenen Antwortprüfer ohne zusätzlichen Bewerter und ist als Differenz und nicht als absoluter Sonden-Score von Natur aus robust gegenüber Sonden-Hacking. Der zweite ist der Ergebnis-Advantage aus der endgültigen Antwort, verteilt durch Outcome-Gated Advantage Routing (OGAR): eine parameterfreie Regel, die, abhängig vom Ergebnis des Aufrufs, diesen Credit nur an die verantwortlichen Segmente weitergibt und verschwendete Tool-Aufrufe unterdrückt – ohne jeglichen Kosten-Term. Wir trainieren TACO mittels einer zweistufigen SFT+RL-Pipeline. Umfangreiche Experimente in den Bereichen Wahrnehmung, Reasoning und allgemeine multimodale Benchmarks zeigen, dass TACO konsistente Genauigkeitssteigerungen erzielt und lernt, seine Tools nur dann einzusetzen, wenn sie tatsächlich helfen.

Bestehende Benchmarks zur Computernutzung scheitern daran, die Realitätsnähe, Komplexität und den langfristigen Horizont realer Computernutzung einzufangen, wodurch ihre Fähigkeit eingeschränkt wird, die Grenzen modernster Agenten aufzuzeigen. Wir stellen OSWorld 2.0 vor, einen Benchmark mit 108 langfristigen Computerarbeitsabläufen aus alltäglichen und beruflichen Aufgaben, der darauf ausgelegt ist, komplexe und herausfordernde reale Phänomene abzubilden. Jede Aufgabe repräsentiert einen realistischen End-to-End-Arbeitsablauf, dessen Bearbeitung menschliche Nutzer im Median etwa 1,6 Stunden dauert und der im Durchschnitt 318 Tool-Calls mit Claude Opus 4.7 unter maximaler Denkleistung erfordert, verglichen mit etwa 30 in OSWorld 1.0. OSWorld 2.0 adressiert Herausforderungsphänomene, die in realen Arbeitsabläufen häufig vorkommen, in früheren Benchmarks jedoch unterrepräsentiert sind, darunter Herausforderungen des Interaktionsdesigns wie Streaming-Interaktion und dynamische Umgebungen sowie Herausforderungen des Agentenverhaltens wie quellenübergreifendes Denken, implizite Zustandsinferenz und visuell-räumliche Präzision. Die Aufgaben basieren auf authentischen Eingabeartefakten und sind mit realistischen zustandsbehafteten Benutzerprofildaten verknüpft. Zudem enthalten sie separate Sicherheitsberichte, die sicherheitskritische Ausführungen überprüfen. Unter unserer primären binären Abschlussmetrik bei 500 Schritten erzielt Claude Opus 4.8 mit maximaler Denkleistung und gebündelten Tool-Calls die besten Ergebnisse, schließt aber dennoch nur 20,6 % der Aufgaben ab bei einer Teilbewertung von 54,8 %. GPT-5.5 ist weitaus tokeneffizienter, stagniert jedoch bei etwa 13 %. Diese Ergebnisse zeigen, dass aktuelle Agenten noch weit von einer professionellen Computernutzung entfernt sind: Statt an grundlegender GUI-Steuerung oder Programmierung zu scheitern, verlieren sie Beschränkungen aus den Augen, übersehen während der Aufgabe eingehende Informationen, raten statt den Nutzer zu fragen und überspringen die Überprüfung. Am stärksten haben sie Schwierigkeiten, wenn eine Aufgabe von einem versteckten Zustand abhängt, den sie wiederherstellen müssen.

Die meisten Benchmarks für Programmieragenten sind statisch: Ein Agent erhält eine vollständige Aufgabenbeschreibung im Voraus und wird ausschließlich anhand seines endgültigen Codes bewertet. Echte Programmierunterstützung ist interaktiv: Nutzer präzisieren Ziele, fügen Einschränkungen hinzu und korrigieren Fehler über mehrere Interaktionsrunden hinweg. Wir stellen SWE-Together vor, einen mehrschrittigen Benchmark, der auf realen Nutzer-Agent-Programmiersitzungen aufbaut. Um reale Interaktionen überprüfbar zu machen, kuratieren wir 109 Aufgaben auf Repository-Ebene aus 11.260 aufgezeichneten Sitzungen, wobei wir Sitzungen mit wiederherstellbaren Repository-Zuständen, klaren Nutzerzielen und beobachtbaren Ergebnissen auswählen. Um diese Interaktionen über verschiedene Agenten hinweg nachzuspielen, entwickeln wir einen reaktiven LLM-basierten Benutzersimulator, der die ursprünglichen Absichten der Nutzer bewahrt und Rückmeldungen gibt, sobald der Fortschritt des Programmieragenten dies erfordert. Um Agenten als Kollaborateure zu bewerten, messen wir sowohl die Korrektheit des endgültigen Repositorys als auch die Anzahl der erforderlichen korrigierenden Rückmeldungen während der Interaktion. Experimente mit führenden Programmieragenten zeigen, dass leistungsstärkere Agenten im Allgemeinen höhere finale Erfolgsraten erzielen und gleichzeitig weniger Eingriffe benötigen, was auf eine verbesserte Benutzererfahrung hindeutet.

Sprachmodelle (SLMs) wurden umfassend untersucht, wobei das gängige Paradigma Textdaten und vorab trainierte Textmodelle einbezieht. Ein führender Ansatz ist die Sprach-Text-Verschachtelung, bei der Modelle über Sequenzen trainiert werden, die sowohl Sprach- als auch Texttokens enthalten, um selbst reine Sprachfähigkeiten zu verbessern. Dennoch bleibt unklar, wie diese beiden Modalitäten im latenten Raum des Modells interagieren. In dieser Arbeit analysieren wir verschachtelte Sprach-Text-Modelle aus verschiedenen Modellfamilien und -größen durch die Linse der Logit-Werte (Logit Lens), um diese Einsicht zu gewinnen. Wir decken auf, dass diese Modelle eine implizite Transkriptionsphase durchlaufen, in der das Texttoken des gesprochenen Wortes in Zwischenschichten dekodierbar wird, obwohl sie nicht für die Spracherkennung trainiert wurden. Die Transkription des Wortes erscheint bei bis zu 77 % der Daten als eines der Top-Kandidatenwörter. Im Anschluss an diese Phase prognostizieren die Modelle das nächste Wort im Textraum, bevor sie zurück in den Sprachbereich transformieren. Schließlich analysieren wir die Rolle der Verschachtelungsdaten und der Initialisierung aus Textmodellen bei der Auslösung dieses Verhaltens sowie dessen Korrelation mit Fähigkeiten im Bereich des gesprochenen Wissens. Unsere Analyse beleuchtet die internen Mechanismen, die der Beziehung zwischen Sprach- und Textmodalitäten zugrunde liegen, und könnte die Optimierung von SLMs beeinflussen.

Daten als grundlegendes Substrat moderner Intelligenz haben die Entwicklung aktueller Foundation-Modelle maßgeblich vorangetrieben. Naturgemäß versuchen Forscher, dieses Paradigma auf den Bereich der GUI-Agenten auszuweiten, in der Hoffnung, durch ein ähnliches Vorgehen leistungsstarke GUI-Agenten aufzubauen. Allerdings können GUI-Agenten-Daten nicht direkt aus dem Internet gewonnen werden, was ihre Erhebung in großem Maßstab kostspielig und schwierig macht. Infolgedessen leiden aktuelle GUI-Agenten unter einer schlechten geräteübergreifenden Generalisierung und einer eingeschränkten Fähigkeit zur visuellen Verankerung feinkörniger GUI-Elemente. Als Versuch, die Datenherausforderung bei GUI-Agenten zu bewältigen, schlagen wir GUICrafter vor, einen schwach überwachten GUI-Agenten, der massenhaft unannotierte Screenshots nutzt, um die Abhängigkeit von teuren menschlichen Annotationen erheblich zu reduzieren. GUICrafter erforscht ein Curriculum-Learning-Framework zum Training von GUI-Agenten in zwei aufeinanderfolgenden Phasen. Zunächst erlernt das Modell die visuelle Verankerung anhand von großflächig unannotierten Screenshots und Webseiten, wobei die reichen kontextuellen Signale genutzt werden, die GUI-Interaktionen ohne menschliche Annotationen innewohnen. In Phase 2 nutzen wir dann eine kleine Menge hochwertiger Daten, um das Modell mittels Bestärkendem Lernen zu kalibrieren. Experimente zeigen, dass GUICrafter eine mit fortgeschrittenen Systemen wie UI-TARS vergleichbare oder sogar überlegene Leistung erzielt, während es nur 0,1 % von deren Daten verwendet. Darüber hinaus übertrifft GUICrafter unter gleicher Menge annotierter Daten alle bisherigen Methoden wie GUI-R1. Code, Daten und Modelle sind verfügbar unter https://github.com/fansunqi/GUICrafter.

Wir präsentieren DreamForge-World 0.1 Preview, ein grundlegendes Vorschaumodell für die echtzeitinteraktive Weltsimulation. Das System adaptiert den LongLive 1 autoregressiven Video-Stack, der selbst auf Wan2.1-T2V-1.3B basiert, mit einem residualen Aktionspfad, der von der Matrix-Game-Familie inspiriert ist. DreamForge-World 0.1 Preview konzentriert sich auf eine komplementäre Achse zu frontier-skaligen Weltsimulatoren: anpassungsfähige Berechnung mit geringem Rechenaufwand, Laufzeit auf Consumer-GPUs und breite Abdeckung interaktiver Fähigkeiten. Es unterstützt Live-Tastatur- und Maussteuerung, multimodale Initialisierung, Neuprompting während des Ablaufs, Zweiansicht-Betrieb und interaktive Rollouts im Minutenbereich bei nativer 480p-Auflösung, wobei auf einer einzelnen RTX 4090 mit geringem Speicherbedarf bis zu 14 bis 15 FPS erreicht werden. Durch die Nutzung offener Videobackbones und die Anwendung gezielter Anpassungsläufe bauen wir das Vorschaumodell mit hoher Kosteneffizienz auf. DF-World 0.1 Preview ist noch kein speichervollständiger oder frontier-qualitativer Weltsimulator, demonstriert jedoch einen praktischen Weg mit geringem Rechenaufwand hin zu echtzeitsteuerbaren Weltmodellvorschauen auf Consumer-GPUs.

Trotz beeindruckender Fortschritte im Bildmatting bleibt Videomatting eine Herausforderung, bedingt durch die inhärente Lücke zwischen hochrangigem Tracking, das ein frame-weises Verständnis erfordert, und niedrigrangigem Matting, das sich auf extrem feinkörnige Details konzentriert. Bestehende Methoden versuchen dies mit teuren und eng gefassten Videomatting-Datensätzen, was die domänenübergreifende Generalisierung einschränken und die Robustheit des Trackings beeinträchtigen kann. Wir überdenken das Paradigma mit SAM2Matting, einem Tracker-to-Matting-Framework, das VOS-Tracker zu hochgetreuem Videomatting weiterentwickelt. Insbesondere entkoppelt es die Aufgabe, indem es einen grundlegenden Tracker (z. B. SAM2, SAM3) mit einer Region-Proposal-Brücke und dedizierten Matting-Köpfen erweitert, sodass der unveränderte Tracker die zeitliche Konsistenz handhaben kann, während die Matting-Komponenten feinkörnige Details auflösen. Bemerkenswerterweise erzielt SAM2Matting, obwohl es nur auf Bildern trainiert wurde, eine neue Spitzenleistung im Videomatting, unterstützt verschiedene Prompt-Typen, bewahrt eine starke zeitliche Konsistenz und zeigt eine robuste Generalisierung sowohl in menschenzentrierten als auch in In-the-Wild-Szenarien.

Normalisierende Flüsse (NFs) sind leistungsstarke generative Modelle, die exakte Dichteschätzung und Stichprobenerzeugung ermöglichen. Ihre strenge Invertierbarkeit zwingt das Modell jedoch häufig dazu, seine Kapazität auf niedrige Pixeldetails zu verwenden, was die Erfassung hochrangiger semantischer Strukturen behindert. Während sich die maskierte Bildmodellierung (Masked Image Modeling, MIM) in der Repräsentationslernung ausgezeichnet hat, blieb ihre Integration in generative Pipelines weitgehend modular und unzusammenhängend. In diesem Artikel schlagen wir MIMFlow vor, ein einheitliches End-to-End-Framework, das latente Semantik, Pixelrekonstruktion und generativen Fluss gemeinsam optimiert. Durch die Verwendung eines VAE-Encoders zur Ableitung latenter Semantik aus maskierten Bildern erreicht MIMFlow eine prinzipielle Entkopplung der generativen Aufgabe: Der Normalisierende Fluss konzentriert sich auf die Modellierung einer vereinfachten, niederfrequenten semantischen Mannigfaltigkeit, während ein spezialisierter Decoder die hochfrequente Synthese übernimmt. Dieses Design löst effektiv den inhärenten Kapazitätsengpass von NFs, sodass das Modell globale strukturelle Kohärenz über redundantes Rauschen priorisieren kann. Empirische Ergebnisse auf ImageNet 256×256 zeigen, dass MIMFlow-L eine Linear-Prob ing-Genauigkeit von 71,3 % und einen FID von 2,50 erreicht. Trotz der Verwendung von nur 128 Tokens (50 % weniger als bei Standardmodellen) erzielt es einen Leistungsgewinn von 32,8 % gegenüber NF-Baselines ähnlicher Größe. Unser Code ist verfügbar unter https://github.com/MCG-NJU/MIMFlow.

Die Forschung zur Zeitreihenvorhersage hat sich stetig in Richtung größerer Architekturen bewegt – von spezialisierten Transformatoren bis hin zu allgemeinen Grundlagenmodellen – unter der Annahme, dass die Leistungsfähigkeit der Schlüssel zur Genauigkeit ist. Wir vertreten die gegenteilige Position: Der größte Teil der Lücke lässt sich zu weitaus geringeren Kosten durch die Optimierung der Vorverarbeitung schließen, anstatt Modelle zu skalieren. Wir verwenden die Ridge-Regression als Testumgebung, da sie eine geschlossene Lösung und interpretierbare Gewichte bietet, sodass die optimalen Hyperparameter direkt aus der Suche abgelesen werden können. Wir durchsuchen die Kontextlänge, lokale Normalisierung, Regularisierung und Augmentation anhand von acht Standard-Benchmarks und entdecken drei Muster: (1) Der optimale Rückblick ist stark serienspezifisch und oft nicht monoton im Vorhersagehorizont, wobei die angepassten Potenzgesetz-Exponenten von +0,46 bei ETTm2 bis –0,19 bei Exchange und Traffic reichen, was der Konvention widerspricht, dass längere Horizonte eine längere Historie erfordern. (2) Die Normalisierung über einen gelernten nachlaufenden Bruchteil des Kontexts, anstatt über dessen Gesamtheit, ist nahezu durchgängig bevorzugt. (3) Serien innerhalb desselben Datensatzes stimmen oft nicht in den Hyperparametern überein; der optimale Grad der serienübergreifenden Teilung reicht von vollständig geteilt bis hin zu vollständig serienspezifisch. Die resultierenden Modelle übertreffen frühere lineare Vorhersagemethoden bei den meisten Datensatz-Horizont-Kombinationen und liegen bei sechs von acht Benchmarks über den Baseline-Verfahren von Transformer, MLP und CNN. Die optimierten Hyperparameter dienen zudem als Diagnostikum für die Daten selbst und decken Strukturen auf, die größere Modelle stillschweigend in ihre gelernten Parameter absorbieren.

Wir stellen Nemotron-Labs-Diffusion-Image vor, ein modernstes maskiertes diskretes Diffusionsmodell (MDM) für die hochauflösende Text-zu-Bild-Synthese. Im Vergleich zu früheren Arbeiten zur maskierten Bilderzeugung adressiert Nemotron-Labs-Diffusion-Image zwei zentrale Herausforderungen. Erstens: Anders als kontinuierliche Diffusionsmodelle, die latente Darstellungen schrittweise über das gesamte Bild verfeinern, fehlt standardmäßigen MDMs die Fähigkeit zur Selbstkorrektur, da diskrete Tokens nach ihrer Entmaskierung nicht mehr geändert werden können. Zweitens: Obwohl eine Vergrößerung des Vokabulars diskreter Bildtokenisierer die Rekonstruktionstreue verbessert, führt dies zu Optimierungsschwierigkeiten bei der generativen Modellierung, da das Trainingssignal pro Token zunehmend spärlich wird. Zur Bewältigung der ersten Herausforderung integriert Nemotron-Labs-Diffusion-Image einen Token-Bearbeitungsmechanismus, der es dem Modell ermöglicht, bereits unmaskierte Tokens während der Inferenz dynamisch zu überarbeiten – ähnlich wie ein Bildhauer seine Arbeit iterativ verfeinert. Um die zweite Herausforderung anzugehen, schlagen wir ein gruppiertes Kreuzentropieverfahren (Grouped Cross-Entropy, GCE) vor, das benachbarten Tokens im Einbettungsraum positive Lernsignale zuweist und so die Signalspärlichkeit verringert. Zur weiteren Steigerung der Trainingseffizienz implementieren wir einen eigens entwickelten fusionierten Operator für GCE, der den VRAM-Verbrauch bei großen Vokabularen deutlich reduziert. Experimentelle Ergebnisse zeigen, dass diese Neuerungen sowohl die Trainingseffizienz als auch die Bildtreue von maskierten diskreten Bildgeneratoren wesentlich verbessern, mit einem Wert von 0,90 bei GenEval, 86,9 bei DPG und 10,76 bei HPSv3.

Mathematisches Wissen ist um Aussagen und deren Abhängigkeiten herum organisiert, aber diese Struktur wird ungleichmäßig offengelegt: Informelle Arbeiten zitieren meist auf Dokumentebene, während formale Bibliotheken feinkörnige Abhängigkeiten über einen viel kleineren Korpus der Mathematik erfassen. Wir stellen TheoremGraph vor, einen einheitlichen Abhängigkeitsgraphen auf Aussagenebene, der sowohl informelle als auch formale Mathematik umfasst. Auf der informellen Seite parsen wir 11,7 Millionen satzartige Umgebungen aus dem Mathematik-ArXiv und gewinnen 18,3 Millionen Kandidaten für gerichtete Abhängigkeiten, jede gekennzeichnet durch den Extraktor, der sie vorgeschlagen hat, sodass nachgelagerte Nutzer Abdeckung gegen Präzision abwägen können. Auf der formellen Seite veröffentlichen wir LeanGraph, einen Extraktor auf Elaborator-Ebene für Lean 4, der 388.105 Deklarationsknoten und 11,3 Millionen typisierte Kanten über 25 Lean-Projekte hinweg erzeugt. Wir überbrücken die beiden Graphen, indem wir generierte natürlichesprachliche Slogans in einen gemeinsamen semantischen Raum einbetten und so zusammenhängende Aussagen über Arbeiten hinweg und über die informelle/formelle Kluft hinweg verknüpfen; ein LLM-Richter bestätigt 47.952 solcher Übereinstimmungen oberhalb einer Kosinus-Schwelle von 0,8, wobei die Akzeptanzrate des Richters von 48% über die Schwelle hinweg auf 87% in der >=0,9-Stufe ansteigt. Bei der formalen Konzeptabfrage liegt unsere Darstellung aus Name und Signatur mit Grapherweiterung innerhalb von 0,5 Prozentpunkten an LeanSearch v2s neu geranktem Recall@10 (0,775 gegenüber 0,780) ohne einen LM-Reranker. Wir veröffentlichen den Datensatz, die Extraktoren, die HTTP-API und die MCP-Schnittstelle als Infrastruktur für mathematische Suche, Attribution und retrieval-gestütztes Denken, verfügbar unter theoremsearch.com und huggingface.co/datasets/uw-math-ai/theorem-matching.

LLM-Agenten bearbeiten im Auftrag von Organisationen Benutzeranfragen mittels Tool-Aufrufen und müssen dabei die in ihren System-Prompts festgelegten Unternehmensrichtlinien befolgen. Bisherige Arbeiten nähern sich diesem Problem als Absicherungsproblem – externe Prüfungen, die nicht konforme Aktionen des Agenten blockieren. Wir argumentieren, dass die Einhaltung von Richtlinien ein breiteres Problem darstellt: Reale Arbeitsabläufe erstrecken sich über viele Interaktionen, erfordern explizite Benutzerbestätigungen und das vorherige Lesen von Voraussetzungen und hängen vom Inhalt des Dialogs ab, nicht von einem einzelnen Argumentwert. Um diese Anforderung zu erfüllen, sind (i) vollständiger Gesprächskontext, (ii) selbstständiges Abwägen der Richtlinie im aktuellen Dialog und (iii) gesprächsspezifische Korrekturmaßnahmen, die den nächsten Schritt des Agenten lenken, erforderlich – drei Fähigkeiten, die in bisherigen Absicherungsarbeiten oft unterschätzt wurden. Wir führen POLICYGUARD ein, einen Sub-Agent-Verifizierer, der die Sicht des Agenten auf den Dialog teilt, die Richtlinie im Kontext abwägt und umsetzbares Feedback für den nächsten Schritt des Agenten liefert. Auf dem tau^2-BENCH Airline-Datensatz mit drei Anbietern (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) und vier Durchläufen pro Einstellung verbessert POLICYGUARD den PASS4-Wert um +12,0 / +6,0 / +12,0 Prozentpunkte. Analysen pro Aufruf zeigen, dass POLICYGUARD eine höhere Erkennungsrate von Richtlinienverstößen erreicht, während es etwa halb so oft blockiert wie argumentebene Guards.

Interaktive Videogenerierungssysteme für die kameragesteuerte Welterkundung erzeugen wachsende Sequenzen latenter Videobilder, wobei Zustandsübergänge mit hochfrequenter Beobachtungssynthese verwoben werden. Wir schlagen „Walking in the Implicit“ vor, ein szenenzentriertes Paradigma, das die Rollout-Variable von Frame-Latents auf einen impliziten Zustand fester Länge, der renderbar ist, ändert, der als Neural Implicit Scene (NIS) bezeichnet wird. Dies faktorisiert die interaktive Generierung in einen stochastischen Übergang eines kompakten Szenenzustands und ein deterministisches, posenabhängiges Rendering bei gegebenem abgetasteten Zustand. Wir instanziieren dieses Paradigma als NeuWorld: Ein Transformer-VAE lernt lokal verankerte NIS aus spärlichen, posierten Bildern, und ein Diffusionstransformer evolviert NIS, konditioniert auf zukünftige Kameratrajektorien und geometriebewusst abgerufene Historie. Durch die Wiederverwendung des VAE-Encoders als einheitlicher Konditionierer bildet NeuWorld Kamera-, Referenzbild- und Verlaufshinweise auf dieselbe NIS-Modalität ab und vermeidet so externe heterogene Encoder. Von Grund auf trainiert auf öffentlichen posierten Ansichtsdaten ohne vortrainierte Video-Backbones oder zusätzliche 3D-Rekonstruktoren, erreicht NeuWorld eine starke Konsistenz über lange Horizonte bei günstiger Inferenzeffizienz.

RocketSmith ist ein agentisches System, das den DFAM-Prozess für die Entwicklung leistungsstarker, startbereiter Raketen intelligent automatisiert. Das System nutzt ein großes Sprachmodell, um die Ausführung von Softwarewerkzeugen zu orchestrieren, die Konstruktionsmerkmale wie Flugstabilität validieren und die parametrischen Designkomponenten für die Raketenmontage erzeugen. Eine Sammlung von Unteragenten und Fähigkeiten ermöglicht Optimierungs-Workflows für Flugparameter durch Iteration sowohl in Zero-Shot- als auch in Human-in-the-Loop-Arbeitsabläufen. Mit diesem System wurden vier verschiedene Hochleistungsraketen mit unterschiedlichen Motor- und Montagekonfigurationen entwickelt, die die einzigartigen Designmöglichkeiten der additiven Fertigung nutzen. Diese Montagekomponenten wurden mit verschiedenen FDM-Druckern gefertigt, manuell auf Flugtauglichkeit geprüft und bei einem Startevent flugerprobt. Bei diesen Tests erreichten alle Raketen einen stabilen Start, und zwei der vier Raketen wurden erfolgreich in wiederverwendbarem Zustand geborgen. Die Höhenmesserdaten bestätigten, dass die Raketen eine Höhe von 80 % des vom agentischen System vorhergesagten Apogäums erreichten, was eine Übereinstimmung zwischen Simulation und Experiment belegt.

Die Vorhersage der menschlichen Aufgabenschwierigkeit ist zentral für die Bildungsbewertung, wo zuverlässige Schätzungen Fairness und effektive Testkonstruktion unterstützen. Bestehende Methoden beruhen oft auf kostspieliger menschlicher Kalibrierung oder aufgabenbezogenen Textrepräsentationen, die nur begrenzte Hinweise auf die kognitiven Prozesse liefern, die Aufgaben schwierig machen. Wir argumentieren, dass Schwierigkeit nicht nur als Eigenschaft des Aufgabentextes, sondern auch als beobachtbare Konsequenz der Problemlösungslast betrachtet werden sollte, die eine Aufgabe mit sich bringt. Große Reasoning-Modelle (LRMs) bieten durch Reasoning-Traces skalierbare Prozessbelege, aber solche Belege müssen strukturiert werden, um interpretierbare Modellierung zu unterstützen. Zu diesem Zweck führen wir Epi2Diff (Episode to Difficulty) ein, ein Framework, das LRM-Reasoning-Traces in kognitiv fundierte Episodensequenzen abbildet. Diese Episoden gruppieren Trace-Segmente in funktionale Problemlösungszustände und ermöglichen es, Schwierigkeit über Reasoning-Umfang, Aufwandsverteilung und Zustandsübergänge zu modellieren. Epi2Diff extrahiert kompakte episodendynamische Merkmale und kombiniert sie mit semantischen Aufgabenrepräsentationen für die Vorhersage menschlicher Schwierigkeit. Experimente mit vier realen Datensätzen zur menschlichen Schwierigkeit zeigen, dass Epi2Diff durchweg starke Baselines übertrifft, darunter feinabgestimmte kleine Sprachmodelle, LLM-In-Context-Learning und überwachte LLM-Adaption. Bei SAT-abgeleiteten Klassifikationsbenchmarks erzielt Epi2Diff einen durchschnittlichen relativen Gewinn von 8,1 % gegenüber überwachten LLM-Feintuning-Baselines. Weitere Analysen zeigen, dass schwierigere Aufgaben aufwändigere, iterativere und implementationszentriertere Episodendynamiken hervorrufen, anstatt lediglich längere Antworten. Diese Ergebnisse zeigen, dass kognitive Episoden in LRM-Reasoning-Traces eine vorhersagbare und interpretierbare Prozessrepräsentation für die menschliche Aufgabenschwierigkeit bieten und eine neue Perspektive für die Bildungsmessung mit Reasoning-Modellen eröffnen.

MLLM-basierte GUI-Grounding-Methoden formulieren die Zielortung üblicherweise als autoregressive Koordinatengenerierung, sodass Modelle die starken Instruktionsbefolgungs- und semantischen Verständnisfähigkeiten von MLLMs nutzen können. Diese Formulierung erfordert jedoch, dass das Modell regionsbezogene Zielhinweise behält, während es Koordinaten-Tokens mit der räumlichen Präzision dekodiert, die für GUI-Klicks erforderlich ist. Unsere diagnostische Analyse zeigt, dass sich das Bewusstsein für Zielregionen in den mittleren Decoder-Schichten entwickelt, aber weder erhalten bleibt noch in die endgültige Koordinatenvorhersage einfließt. Bestehende ZoomIn-artige Methoden adressieren dieses Problem durch einen externen Crop-and-Rerun-Durchlauf, der die Lokalisierung verbessert, aber die End-to-End-Latenz und den Rechenaufwand erhöht. Um die Genauigkeitsvorteile des zweistufigen Zoomings ohne diesen zusätzlichen Aufwand zu bewahren, schlagen wir InnerZoom vor, ein Single-Forward-Framework zur schichtübergreifenden Evidenzverknüpfung. InnerZoom wandelt zielbezogene Hinweise aus dem ursprünglichen Vorwärtsdurchlauf in einen kompakten, schichtübergreifenden Evidenzzustand um, bewahrt, verfeinert und injiziert diesen Zustand dann während der späteren Dekodierungsschichten, um die Koordinatenvorhersage zu leiten. Umfangreiche experimentelle Ergebnisse deuten darauf hin, dass InnerZoom-4B auf allen sechs GUI-Grounding-Benchmarks die Spitzenleistung erzielt und dabei 64,7 auf OSWorld-G, 40,2 auf UI-Vision, 73,1 auf OSWorld-GR und 87,6 auf MMBench-GUI erreicht, wobei die bisherigen Bestleistungen um 4,1, 3,2, 2,9 bzw. 2,3 Punkte übertroffen werden. In einem kontrollierten 4B-Setting verbessert InnerZoom die gleiche SFT+RL-Baseline um durchschnittlich 5,3 Punkte und übertrifft den zweistufigen ZoomIn um durchschnittlich 1,3 Punkte, während die End-to-End-Latenz um bis zu 31,8 % und die TFLOPs um etwa 29 % reduziert werden. Code und Modelle werden öffentlich verfügbar sein.

Die Anpassung eines grundlegenden Vision-Language-Encoders an eine spezialisierte Retrieval-Aufgabe führt zu einem grundlegenden Zielkonflikt: Gewinne auf der Zieldistribution gehen zu Lasten der breiten Generalisierungsfähigkeit des Foundation-Modells – und Fashion-Retrieval ist ein besonders prägnantes Beispiel für dieses Problem. Wir präsentieren ZooClaw-FashionSigLIP2, ein auf Mode spezialisiertes SigLIP2-Basismodell, das diesen Zielkonflikt mit einem einfachen Rezept löst – vollständiges Feintuning mit Wissensdestillation auf kuratierten domänenspezifischen Daten, gefolgt von einer \wiseft~wortsman2022wiseft-Gewichtsinterpolation mit dem Basismodell – und dabei LoRA, größere Backbones (bis zu 1B Parametern) sowie externe Trainingsdaten übertrifft. Unter fairer Evaluierung übertrifft ZooClaw-FashionSigLIP2 alle Baselines in jedem Benchmark unseres Testpakets. Darüber hinaus veröffentlichen wir ZooClaw-Fashion, einen neuen hochwertigen Fashion-Retrieval-Benchmark, sowie eine systematische Qualitätsanalyse weit verbreiteter Benchmarks, die strukturelle Verzerrungen in deren öffentlichem Ground Truth aufdeckt und abschwächt. Wir stellen die Modellgewichte und alle Evaluierungsartefakte als Open Source zur Verfügung, um zukünftige Forschung zu ermöglichen.

Generatives molekulares Design wird durch einfache Proxy-Benchmarks für wirkstoffähnliche Eigenschaften und auf großen pharmazeutischen Datensätzen vortrainierte Modelle geprägt. Diese Kombination liefert starke Benchmark-Metriken, schränkt jedoch die Übertragbarkeit auf Bereiche ein, die strukturell von der Wirkstoffforschung abweichen. Um diese Einschränkung zu überwinden und die Forschung hin zu realen, wissenschaftlich fundierten Zielen zu lenken, führen wir den Nanotechnology Molecular Optimization (NMO) Benchmark ein, der maschinelles Lernen (ML) und Quantenmaterialwissenschaft verbindet. NMO dient gleichzeitig als strenge Testumgebung für die ML-Community und als Entdeckungsmaschine für die Nanotechnologieforschung. Die Suite ersetzt Proxy-Orakel durch Quantensimulationen und führt strenge Protokolle ein, die den wissenschaftlichen Nutzen gegenüber Leaderboard-orientiertem Overfitting priorisieren. Die physikbasierten NMO-Aufgaben stellen harte strukturelle Einschränkungen und raue Fitnesslandschaften dar, was grundlegend neue Anforderungen an generative Modelle stellt. Bemerkenswerterweise schneiden fortgeschrittene molekulare Optimierungsmethoden bei den NMO-Aufgaben deutlich schlechter ab als viel einfachere Ansätze. Wir entwickeln eine neue Basislinienmethode, die die kritischen Komponenten zur Lösung der NMO-Aufgaben identifiziert, einschließlich einer neuartigen Repräsentation zur Modellierung struktureller Einschränkungen und einer domänenagnostischen Vortrainingsstrategie zur Beseitigung der pharmazeutischen Datenverzerrung. Unsere Ergebnisse übertreffen die physikalischen Spitzeneigenschaften und offenbaren zuvor unbekannte Strukturmotive, was neue Erkenntnisse für die Nanotechnologie-Community liefert und zeigt, dass ML echte wissenschaftliche Entdeckungen vorantreiben kann.

In realen Anwendungen wird von Guardrails häufig erwartet, dass sie unsichere Benutzer-Modell-Interaktionen gemäß anwendungsspezifischer Sicherheitsrichtlinien identifizieren, anstatt sich auf vordefinierte Risikotaxonomien zu stützen. In dieser Arbeit untersuchen wir dieses Szenario im Rahmen des In-Context-Policy-Guardrailing, bei dem Guardrails Sicherheitsverstöße auf der Grundlage von im Kontext bereitgestellten Richtlinienspezifikationen vorhersagen. Um diese Fähigkeit systematisch zu evaluieren, führen wir SafePyramid ein, einen Sicherheits-Benchmark, der 1.000 mehrrundige Gespräche in 10 Bereichen und 3.000 entsprechende anwendungsspezifische Richtlinien umfasst, die zusammen 61.699 verschiedene natürlichsprachliche Regeln enthalten. SafePyramid gliedert die Evaluierung in drei Schwierigkeitsstufen: L0 bewertet das Verständnis einzelner Regeln, L1 bewertet das logische Schließen über Regelabhängigkeiten und L2 bewertet die Anpassung vollständig neuer, im Kontext definierter Richtlinienrahmen. Zur Sicherstellung der Benchmark-Qualität nutzen wir eine strenge mehrstufige Pipeline zur Erstellung und Validierung des Benchmarks. Mit SafePyramid evaluieren wir zehn führende LLMs und fünf richtlinienkonfigurierbare Guardrails und stellen fest, dass In-Context-Policy-Guardrailing nach wie vor eine große Herausforderung darstellt: Selbst das leistungsfähigste Modell, GPT-5.5, identifiziert die vollständige Menge der verletzten Regeln bei L0, L1 bzw. L2 nur in 54,0 %, 35,3 % und 12,9 % der Fälle exakt. Diese Ergebnisse verdeutlichen die Einschränkungen aktueller Guardrails und unterstreichen die Notwendigkeit leistungsfähigerer In-Context-Policy-Guardrails, die Richtlinien zuverlässig umsetzen, Regelabhängigkeiten auflösen und sich an neuartige Richtlinienrahmen anpassen können.

Das Aufkommen großer Reasoning-Modelle hat außergewöhnlich lange Chain-of-Thought-Spuren hervorgebracht, die eine Transparenzlast erzeugen, bei der kritische Logik oft unter massiven prozeduralen Texten begraben ist. Um dem entgegenzuwirken, präsentieren wir ReasoningLens, ein quelloffenes Framework, das für die hierarchische Visualisierung und diagnostische Prüfung komplexer Reasoning-Ketten entwickelt wurde. ReasoningLens adressiert die Informationsnekropsie durch: (1) Strukturierung von Spuren in interaktive Hierarchien, die die Strategie auf hoher Ebene von der Ausführung auf niedriger Ebene trennen; (2) Nutzung eines agentischen Prüfers zur automatisierten Fehlererkennung und werkzeugunterstützten Verifikation; sowie (3) Synthese systemischer Reasoning-Profile zur Aufdeckung modellspezifischer blinder Flecken. Indem es unstrukturierte Textwände in handlungsrelevante Erkenntnisse verwandelt, bietet ReasoningLens eine modulare Grundlage für die Interpretation, das Debugging und die Optimierung der nächsten Generation reasoning-zentrierter KI.

Mixture-of-Experts (MoE)-Architekturen haben sich als leistungsstarkes Paradigma zur Skalierung von Diffusionsmodellen in der visuellen Generierung erwiesen. Jüngste Fortschritte konzentrieren sich darauf, Rechenressourcen adaptiv über verschiedene Token zu verteilen, um Effizienz und Leistung zu verbessern. Wir identifizieren jedoch ein Routing-Zuordnungsproblem in bestehenden Diffusions-MoE-Frameworks: Der Router ist nicht in der Lage, salienten Token präzise mehr Rechenressourcen zuzuweisen. Unsere Analyse führt dieses Versagen auf die Abhängigkeit des Routers von rauschverzerrten latenten Merkmalen während des gesamten Entrauschungsprozesses zurück. Solches stochastisches Rauschen verschleiert die kritischen strukturellen und texturalen Informationen und hindert den Router daran, saliente Token effektiv zu unterscheiden. Um dies zu adressieren, schlagen wir SharpMoE vor, ein Post-Training-Framework mit einem salienzgesteuerten präzisen Routing-Mechanismus, der saubere latente Merkmale als rauschfreies Signal zur Steuerung des Routings nutzt. Durch die Umgehung der rauschverzerrten Eingaben bietet SharpMoE dem Router eine klare Salienzsteuerung und ermöglicht die Identifikation saliener Token selbst in Phasen hohen Rauschens. Darüber hinaus führen wir einen Trajektorien-Routing-Verlust ein, um die Ressourcenzuteilung entlang der mehrstufigen Entrauschungstrajektorie zu beschränken, was eine präzise Ressourcenallokation während des Generierungsablaufs sicherstellt. Umfangreiche Experimente belegen, dass SharpMoE als vielseitige Plug-and-Play-Lösung dient, die vortrainierte, konvergierte MoE-Modelle weiter verbessert und in der visuellen Generierung Spitzenleistungen erzielt.

Die 4D-Handrekonstruktion aus egozentrischem Video wird durch offensichtliche Einschränkungen bestehender Methoden behindert: bildbasierte Pipelines sind auf einen Detektor angewiesen, der bei starker Verdeckung versagt, während videobasierte Methoden auf zeitliche Module zurückgreifen, die nur mit spärlichen Handposenannotationen trainiert wurden – ein schmales Signal, das nicht ausreicht, um Bewegungsdynamik, Verdeckungslogik und Hand-Objekt-Interaktion zu modellieren. Diese Fähigkeiten sind jedoch genau das, was videogenerative Modelle implizit erwerben müssen, wenn sie darauf trainiert werden, kohärente Videos in Internetgröße zu synthetisieren. Motiviert durch diesen Ansatz stellen wir ViDiHand vor, das die Repräsentationen eines vortrainierten Videodiffusionsmodells nutzt, um 4D-Zwei-Hand-Posen zu rekonstruieren. Wir passen es über ein Hand-Overlay-Renderingziel an, das seine Merkmale auf Hände spezialisiert, während seine Welt-Priors erhalten bleiben. Ein Decoder stellt dann die metrische Posen aus den angepassten Merkmalen wieder her. Die gesamte Pipeline arbeitet direkt auf vollständigen Frames – kein Detektor, kein Ergänzungsmodell und keine Testzeitoptimierung. Auf ARCTIC, HOT3D und HOI4D übertrifft ViDiHand frühere Methoden deutlich und etabliert Videodiffusionsmodelle als leistungsstarke neue Grundlage für die Handbewegungsrekonstruktion und einen vielversprechenden Weg zur skalierbaren Datenerfassung unter realen Bedingungen für verkörperte KI. Projektseite: https://vidihand.github.io.

Vision-Language-Action (VLA) Modelle ermöglichen befehlsgesteuerte Roboter-Manipulation, erben jedoch überdimensionierte Sprach-Backbones von vortrainierten VLMs, deren Kapazität weit über das für kurze Roboterbefehle Notwendige hinausgeht. Dies wirft eine grundlegende Frage auf: Wie viel eines VLA-Modells ist tatsächlich für die geschlossene Regelung erforderlich? In dieser Arbeit untersuchen wir die architektonische Redundanz von VLA-Modellen, indem wir das Entfernen von Transformer-Blöcken als kontrollierte Intervention verwenden. Wir führen Drop-Then-Recovery (DTR) ein, ein Analyseprotokoll, das ausgewählte Blöcke aus einem vortrainierten VLA-Modell entfernt und das resultierende Modell dann feinabstimmt, um zu messen, ob die entfernte Kapazität für die nachgelagerte Steuerung notwendig war. Um diese Intervention zuverlässig zu machen, schlagen wir GateProbe vor, eine One-Shot-Virtual-Gate-Sensitivitätsmetrik, die Blöcke nach ihrem Beitrag zum nachgelagerten Aktionsverlust bewertet. Über mehrere VLA-Architekturen, Manipulationsbenchmarks und sogar reale Roboterszenarien in der Industrie hinweg stellen wir eine starke Asymmetrie in der Wiederherstellbarkeit nach Entfernung fest: Sprach-Backbones sind für Standardaufgaben der Roboter-Manipulation stark redundant, während visuelle und Aktionspfade wesentlich weniger tolerant gegenüber Entfernung sind. Auf LIBERO verbessert das Entfernen der Hälfte der LLM-Blöcke sogar OpenVLA-OFT von 95,0 % auf 98,3 % unter demselben nachgelagerten Feinabstimmungsbudget, und das Beibehalten von nur zwei Sprachblöcken stellt immer noch die Ausgangsleistung wieder her. Diese Ergebnisse deuten darauf hin, dass aktuelle VLA-Benchmarks möglicherweise nur begrenzten Druck auf tiefe Sprachverankerung und kompositionelles Instruktionsverständnis ausüben und dass zukünftige VLA-Architekturen die Kapazität gezielter auf Sprach-, visuelle und Aktionskomponenten verteilen sollten. Der Code ist verfügbar unter https://github.com/s1ghhh/VLADrop.

Multi-Agent-Systeme mit großen Sprachmodellen (LLM) setzen häufig auf Verifizierungs- und Kritik-Agenten, um Halluzinationen zu unterdrücken, jedoch erfolgt die Verifizierung verzögert. Während dieser Verzögerung können falsche Behauptungen durch das Agentennetzwerk propagieren. Wir modellieren diesen Prozess als verzögerten Konsens auf einem Graphen mit geerdeten Korrekturknoten. Die spektrale Zerlegung mittels des geerdeten Laplace-Operators liefert eine Stabilitätsschwelle in geschlossener Form für die Verifizierungsdosis: Eine zu starke oder zu stark verzögerte Korrektur kann den Konsens in eine Oszillation überführen. Das instabilste Regime tritt auf, wenn die Kommunikations- und Verifizierungsverzögerungen zusammenfallen; bei einer Verzögerung von zwei beträgt die Schwelle den inversen Goldenen Schnitt. Derselbe Rahmen ergibt ein supermodulares Platzierungsziel und eine gierige (1-1/e)-Approximationsregel zur Zuweisung eines begrenzten Korrektorbudgets an einflussreiche Knoten. Experimente mit fünf offenen Modellen bestätigen die vorhergesagten Dosis-Verzögerungs-Oszillationen. Im Gegensatz dazu macht die geerdete faktenbasierte Antwortgebung die Wahrheit zu einer absorbierenden Grenze und eliminiert diesen Effekt, was darauf hindeutet, dass die Instabilität spezifisch für Aufgaben mit vorzeichenbehafteten Überzeugungen ist, während die geerdete Verifizierung stabilisierend bleibt.

Aktuelle Arbeiten haben das Potenzial großer Sprachmodelle (Large Language Models, LLMs) für die Programmoptimierung aufgezeigt, eine zentrale Herausforderung in Programmiersprachen. Wir schlagen eine Blackbox-Anpassungsmethode namens Retrieval-gestützte Suche (RAS) vor, die eine Beam-Suche über Kandidatenoptimierungen durchführt; dabei ruft sie in jedem Schritt In-Context-Beispiele aus einem gegebenen Trainingsdatensatz von Paaren langsamer und schneller Programme ab, um das LLM zu leiten. Entscheidend ist, dass wir feststellen, dass ein kontextbezogenes Retrieval auf Basis einer vom LLM generierten natürlichsprachlichen Beschreibung deutlich besser abschneidet als ein Retrieval auf Basis des Quellcodes. Zudem schlagen wir AEGIS vor, eine Methode zur Verbesserung der Interpretierbarkeit, indem Trainingsbeispiele in sogenannte „atomare Bearbeitungen“ zerlegt werden, die in ihrer Art deutlich inkrementeller sind. Wir zeigen, dass RAS bei der Optimierung von C++-Programmen bis zu 2,06-mal besser abschneidet als bisherige modernste Blackbox-Anpassungsstrategien und dass AEGIS bis zu 1,37-mal besser abschneidet und dabei wesentlich kleinere Änderungen vornimmt. Wir zeigen außerdem, dass der Einsatz von RAS das mittlere Laufzeitperzentil von Python-Programmen im Vergleich zu Baselines um 10,27 verbessert.

Die Weiterentwicklung generativer KI-Modelle, die sowohl Text als auch Bilder erzeugen können, markiert einen entscheidenden Fortschritt im Bereich der multimodalen Intelligenz, insbesondere bei Aufgaben, die die Verflechtung beider Modalitäten erfordern. Um diese Intelligenz auf die nächste Stufe zu heben, ist es entscheidend, dass Modelle eigenständig frei formulierte, verschachtelte Text-Bild-Sequenzen generieren können. In diesem Artikel stellen wir ILLUME-X vor, ein fortschrittliches, einheitliches multimodales Paradigma, das eine qualitativ hochwertige, frei formulierte, verschachtelte Text-Bild-Generierung ermöglicht, indem es die multimodale Dateneffizienz verbessert und den multimodalen Trainingsprozess stabilisiert. ILLUME-X umfasst drei Schlüsselkomponenten: (i) eine erweiterte Trainingsdatenpipeline, optimiert für die verschachtelte Text-Bild-Generierung, (ii) eine progressive Trainingsstrategie mit selbstadaptiven Zielsetzungen für frei lange multimodale Tokensequenzen und (iii) eine objektive und umfassende Bewertungsmethode ILScore für verschachtelte Text-Bild-Sequenzen. Bemerkenswerterweise übertrifft unser ILLUME-X frühere einheitliche Modelle bei mehreren Aufgaben der verschachtelten Text-Bild-Generierung wie Stilübertragung, Bildzerlegung und Geschichtenerzählen.

Selbstkollision bleibt eine anhaltende Herausforderung in der SMPL-basierten Schätzung menschlicher Posen und der Bewegungsgenerierung. Bei extremen Gelenkstellungen oder stochastischer Bewegungssynthese weisen generierte Netze häufig Selbstdurchdringungen auf, was zu physikalisch unplausiblen Ergebnissen führt. Wir schlagen PoseShield vor, eine neuronale Kollisionsbeschränkung, die direkt im SMPL-Posenraum definiert ist. Wir formulieren die Kollisionskorrektur als ein beschränktes Optimierungsproblem und verbinden die gelernte Beschränkung mit der Eikonal-Gleichung. Die Durchsetzung einer Eikonal-Regularisierung gewährleistet nicht verschwindende Gradienten in der Nähe der Kollisionsgrenze, was die numerische Stabilität und Robustheit des Optimierungsprozesses verbessert. Im Gegensatz zu früheren Methoden, die im Netzraum arbeiten oder auf heuristischen Strafen beruhen, arbeitet unser Ansatz direkt im niedrigdimensionalen Raum menschlicher Posen und ist theoretisch fundiert. Dieselbe gelernte Beschränkung lässt sich auf menschliche Bewegungssequenzen erweitern und bietet einen generatorunabhängigen nachträglichen Kollisionskorrektor, ohne dass das zugrunde liegende Bewegungsmodell neu trainiert werden muss. Experimente auf einem neu erstellten SMPL-Posen-Benchmark zeigen, dass unsere Methode eine Erfolgsrate von 95,8 % erreicht und die modernsten Baselines übertrifft.

Aktuelle Modelle der Repräsentationszuverlässigkeit in neuronalen Populationen konzentrieren sich auf zeitliche Stabilität: ob Populationszentroide über Sitzungen und Tage hinweg erhalten bleiben. Dieser Ansatz lässt eine grundlegende Frage unbeantwortet: Wie zuverlässig reproduziert sich die paarweise Distanzstruktur zwischen Stimuli über unabhängige Beobachtungen innerhalb einer Sitzung hinweg? Wir argumentieren, dass diese Eigenschaft, die geometrische Stabilität, eine unabhängige Achse der Repräsentationsanalyse darstellt, die von bestehenden Rahmenwerken nicht erfasst wird. Wir formalisieren geometrische Stabilität als die Spearman-Rangkorrelation zwischen Split-Half-Repräsentationsunähnlichkeitsmatrizen (Shesha) und zeigen, dass sie empirisch sowohl von zeitlicher Stabilität als auch von Dekodiergenauigkeit dissoziierbar ist. Über 229 Bereichs-Sitzungs-Beobachtungen hinweg, die 68 Hirnregionen in einer visuellen Diskriminationsaufgabe umfassen (Steinmetz et al. 2019), sagt geometrische Stabilität die trialweise neuronale-verhaltensbezogene Kopplung voraus (ρ= 0,18, p = 0,005), während die Zentroidverschiebung dies nicht tut (ρ= 0,002, p = 0,976). Die regionale Hierarchie, wobei das Striatum am stabilsten (S = 0,44) und der Hippocampus am wenigsten stabil ist (S = 0,19), verläuft grob entgegengesetzt zur Hierarchie der zeitlichen Stabilität. Richtungskonsistente olfaktorische Daten (Bolding & Franks 2018) motivieren ein Attraktornetzwerkmodell, bei dem reziproke exzitatorische Kopplung die Split-Half-RDM-Konsistenz durch Vervollständigung von Stimulusmustern aus spärlichem feedforward-Input verstärkt (ρ= +0,64, p = 0,010), und bieten so eine Erklärung auf Schaltkreisebene dafür, wie geometrische Stabilität entsteht. Diese Ergebnisse etablieren geometrische Stabilität als funktionell relevante, schaltkreisabhängige Eigenschaft neuronaler Populationskodierungen, orthogonal zu zeitlichen Driftmaßen und komplementär zu aktuellen Beschreibungen, wie rekurrente Konnektivität die Repräsentationsstabilität mit sequenziellen Dynamiken in hippocampalen Schaltkreisen austariert.

Wir untersuchen aktionskonditionierte Weltmodellierung als skalierbaren Ansatz, um übertragbare Dynamik-Prioris für das Roboterlernen zu erlernen. Durch das Vortraining eines Modells, das vorhersagt, wie Aktionen die Entwicklung der visuellen Szene steuern, erfasst das resultierende Weltmodell wiederverwendbare Interaktionsdynamiken, die über die Videogenerierung auf Erscheinungsebene hinausgehen. Konkret trainieren wir ein Multiview-interaktives Basis-Diffusions-Weltmodell, A2World, auf großskaligen Robotermanipulationsdaten mit echten Aktionsannotationen vor. Wir validieren die erlernten Dynamik-Prioris aus zwei komplementären Perspektiven. Erstens passen wir A2World an einen aufgaben- oder szenenspezialisierten Realwelt-Simulator an, A2World-sim, dessen langfristige Rollouts die simulatorbasierte Politikevaluierung und skalierbare Was-wäre-wenn-Analysen unterstützen, indem reale Roboter-Rollouts durch Weltmodell-Rollouts ersetzt werden. Zweitens passen wir A2World, ausgehend von denselben vortrainierten Gewichten, an ein gemeinsames Video-Aktions-Vorhersagemodell an, A2World-policy, das Aktionen unter visueller und instruktioneller Konditionierung vorhersagt. Experimente in Simulationsbenchmarks und realen Robotereinstellungen zeigen, dass aktionskonditioniertes Weltmodell-Vortraining übertragbare Dynamik-Prioris liefert, die sowohl simulatorzentriertes als auch politikzentriertes Roboterlernen begünstigen.

Obwohl textgesteuerte Bildbearbeitung bemerkenswerte Fortschritte erzielt hat, bleibt sie bei der strukturellen Porträtretusche eingeschränkt. Textbeschreibungen haben Schwierigkeiten, feinkörnige Veränderungen an Gesichtszügen und Körperproportionen zu vermitteln. Um diese Lücke zu schließen, führen wir die exemplarbasierte Porträtfoto-Retusche ein, bei der dem Modell ein Exemplarpaar vorgegeben wird und es die Aufgabe hat, dieselben Retuscheoperationen auf ein neues Abfragebild zu übertragen. Bestehende exemplarbasierte Bearbeitungsmethoden konzentrieren sich hauptsächlich auf Aufgaben mit ausgeprägten visuellen Transformationen. Im Gegensatz dazu umfasst die strukturelle Porträtretusche äußerst feine und lokalisierte Modifikationen, was die genaue Extraktion und Übertragung dieser Bearbeitungen herausfordernd macht. Um dies zu bewältigen, schlagen wir MirrorPPR vor, ein neuartiges Framework, das darauf ausgelegt ist, subtile strukturelle Retuscheoperationen zu erfassen und zu übertragen. Unsere Methode verwendet einen Retuscheoperationen-Extraktor, um die subtilen Unterschiede aus dem Exemplarpaar zu erfassen. Die extrahierten Repräsentationen werden dann über einen Connector und Low-Rank Adaptation (LoRA)-Module in einen vortrainierten Diffusion Transformer (DiT) eingespeist. Darüber hinaus wird die Erstellung perfekt ausgerichteter, identitätsübergreifender Trainingspaare durch Fehlausrichtungen der Operationen stark behindert. Um dies zu überwinden, schlagen wir ein fortschrittliches Daten-Selbstaugmentierungsparadigma vor, das streng ausgerichtete Retuscheoperationen gewährleistet. Um die Datenknappheit zu verringern und diese neuartige Aufgabe zu unterstützen, führen wir MirrorPPR47M ein, einen groß angelegten Datensatz mit über 47 Millionen retuschierten Paaren. Durch die Strukturierung des Datensatzes in simulierte und professionelle Teilmengen ermöglichen wir progressives Curriculum-Lernen, um das Netzwerk gleichmäßig zu optimieren. Umfangreiche Experimente zeigen, dass MirrorPPR bestehende Baselines sowohl in der Retuschequalität als auch in der Identitätserhaltung deutlich übertrifft. Die Projektseite ist verfügbar unter https://sjtu-deng-lab.github.io/MirrorPPR.

Eine getreue 3D-Weltdarstellung sollte geschichtete Geometrie berücksichtigen, bei der ein einzelner Kamerastrahl mehrere sichtbare und geometrisch gültige Oberflächen enthalten kann. Monokulare Tiefenschätzung reduziert diese Struktur jedoch auf eine skalare Tiefe pro Pixel. Transparente Szenen machen diese Mehrdeutigkeit messbar: Der gleiche Strahl kann durch Vordergrundglas hindurchgehen und den Hintergrund beobachten, wodurch das überwachte Ziel zu einer Konvention aus Annotation, Daten und Training wird, anstatt zu einer szenenimmanenten Wahrheit. Ein gelernter Prädiktor legt diese Konvention als seine Tiefenschichtpräferenz offen. Wir stellen MultiDepth-3k (MD-3k) vor, einen sparsen zweischichtigen ordinalen Benchmark zur Messung der Tiefenschichtpräferenz und der Mehrschicht-Raumbeziehungsgenauigkeit (ML-SRA). Auf MD-3k zeigen führende Tiefen-Grundlagenmodelle unter standardmäßigem RGB-Eingang unterschiedliche Schichtpräferenzen, was zeigt, dass dieselbe geschichtete Geometrie modelübergreifend unterschiedlich aufgelöst werden kann. Wir stellen ferner fest, dass Laplacian Visual Prompting (LVP), eine trainingsfreie spektrale Eingangstransformation, die berichtete Schicht für bestimmte eingefrorene Modelle erheblich verändern kann. Das stärkste RGB/LVP-Paar, DAv2-L, erreicht 75,5 % ML-SRA. Diese Ergebnisse deuten darauf hin, dass Tiefen-Grundlagenmodelle komplementäre geometrische Hypothesen ausdrücken können, die die standardmäßige RGB-Inferenz unausgedrückt lässt. Wir laden die Gemeinschaft ein, Tiefenüberwachung und -bewertung durch eine mehrdeutigkeitsbewusste Linse zu überdenken, bei der mehrere gültige 3D-Interpretationen als geometrische Struktur behandelt werden, die gemessen, bewahrt und ausgedrückt werden soll.

Feinabstimmung auf harmlose Daten kann Verhaltensweisen, die in früheren Trainingsphasen erworben wurden, teilweise rückgängig machen. Sicherheit kann durch harmlose Updates nach der Ausrichtung erodieren, verlernte Fähigkeiten können wieder auftauchen, latente Eigenschaften können durch scheinbar unabhängige Überwachung übertragen werden, und ähnliche Fragilität nach der Ausrichtung zeigt sich in anderen generativen Kontexten. Wir argumentieren, dass diese Phänomene sinnvoll durch eine gemeinsame trainingshistorische Perspektive betrachtet werden können. Unsere These ist geometrischer Natur: Große frühe Trainingsphasen schaffen dominante Verhaltensmannigfaltigkeiten, während spätere Ausrichtungs- oder Spezialisierungsphasen flache Verschiebungen von diesen darstellen. Nachfolgende Feinabstimmung kann daher eine persistente Rückkehrkomponente erben, die zurück zu einem Zeugen der dominanten Mannigfaltigkeit zeigt. Wir nennen dies die gravitative Interpretation der Feinabstimmungs-Rückkehr. In unseren Hauptszenarien erwirbt die Repräsentationsdrift schnell eine Komponente entlang einer durch die Historie definierten Rückkehrrichtung (v_rev). In unserem Haupttrack steigt die Ausrichtung mit v_rev von cos = 0,429 ± 0,052 nach dem ersten Update auf 0,647 ± 0,021 bis Schritt 20. Über 24 Lauf-Schritt-Paare hinweg überschreitet jede beobachtete Ausrichtung das 99. Perzentil einer isotropen Nullhypothese im Aktivierungsraum. Wir zeigen, dass selektives Blockieren der Bewegung entlang v_rev die endgültige Ausrichtung bei T=100 von 0,648 ± 0,009 auf -0,211 ± 0,021 verändert und die Schädlichkeit von 19,0 % ± 4,0 % auf 8,5 % ± 1,5 % reduziert, bei geringen Aufgabenkosten. Diese Ergebnisse stützen v_rev als einen kausal relevanten Vermittler der frühen Rückkehr nach der Ausrichtung in unserem Setup. Wichtig ist, dass wir nicht behaupten, dass v_rev die eindeutige Sicherheitsrichtung ist, noch dass die dominante Mannigfaltigkeit direkt beobachtet wird; vielmehr identifizieren wir eine robuste, durch die Historie definierte Richtung, die die frühe Rückkehrdynamik erklärt und teilweise kontrolliert.

Die Inspektion von Wasserkrafttunneln ist für die Infrastrukturintegrität von entscheidender Bedeutung, bleibt jedoch bei manuellen Methoden ineffizient und gefährlich. Wir schlagen FLISP (Fast LiDAR-IMU Synchronized Path Planner) vor, ein kartenloses Planungsframework für die kooperative Inspektion von UGV und UAV. Im Gegensatz zu traditionellen kartenbasierten Paradigmen bietet FLISP drei Kernbeiträge: (1) eine einheitliche Architektur, bei der eine einzige, auf dem UGV montierte LiDAR-IMU-Einheit die synchronisierte Pfadgenerierung für beide Plattformen steuert; (2) plattformspezifische Lösungsalgorithmen, die einen erweiterten Glühwürmchen-Algorithmus zur Hindernisvermeidung des UGV und einen dynamischen iterativen Optimierer für den UAV-Flug nutzen; und (3) eine hierarchische Verfeinerungsstrategie, die kinematische Machbarkeit ohne Zustandsschätzungsdrift gewährleistet. Benchmarks in einem 1,2 km langen Betriebstunnel zeigen, dass FLISP strukturelle Engpässe kartenbasierter Methoden umgeht, indem es den Overhead der Kartenrasterisierung (Fast-LIO2 + A*) und die Probeninstabilität (LIO-SAM + RRT*) eliminiert. FLISP erreicht eine Erfolgsquote von 100 % bei einer Latenz von 7 ms, was einer 7-fachen Beschleunigung gegenüber gitterbasierten und einer Verbesserung um drei Größenordnungen gegenüber probenbasierten Basislinien entspricht. Validierte in Betriebstunneln von Wasserkraftanlagen bietet dieser Ansatz eine skalierbare Lösung für die Roboterinspektion in merkmalsarmer linearer Infrastruktur. Ein Demonstrationsvideo ist unter https://youtu.be/Y_ezs1PfLJ4 und der Code unter https://github.com/ArchibaldGuo/FLISP.git verfügbar.

Vortrainierte visuelle Grundlagenmodelle (Vision Foundation Models, VFMs) sind aufgrund ihrer leistungsstarken semantischen Repräsentationen und starken Generalisierungsfähigkeit zu zentralen Elementen der modernen Computer Vision geworden. Allerdings sind ihre patchifizierten oder gepoolten Ausgaben von Natur aus niedrig aufgelöst, was ihre Wirksamkeit bei Aufgaben einschränkt, die eine feinkörnige, pixelgenaue Reasoning erfordern. Bestehende Ansätze zum Feature-Upsampling beeinträchtigen entweder die semantische Treue oder erfordern VFM-spezifisches Nachtraining und schwere Architekturen, was Effizienz und Skalierbarkeit behindert. Um diese Herausforderungen zu bewältigen, schlagen wir RaysUp vor, ein extrem leichtgewichtiges, aufgabenagnostisches und VFM-agnostisches Feature-Upsampling-Framework, das hochauflösende Feature-Maps bei beliebigen Auflösungen rekonstruiert. Im Gegensatz zu herkömmlicher 2D-Interpolation oder auf Aufmerksamkeit basierenden Schemata hebt RaysUp die Feature-Rekonstruktion in eine geometriebewusste Strahlen-Domäne. Insbesondere führen wir einen räumlich entkoppelten Lenkungs-Encoder (Spatially Decoupled Guidance Encoder) für richtungsbewusste Lenkungscodierung, einen Any-Resolution Cross-Attention-Mechanismus für auflösungsflexible Rekonstruktion und eine neuartige Strahlen-Positionscodierung (Ray Positional Encoding, RayPE) ein, die implizite 3D-geometrische Priors über 6D-Plücker-Strahlkoordinaten injiziert. Schließlich sorgt ein geometriebewusstes Nachbarschaftsaufmerksamkeitsmodul (Geometry-Aware Neighborhood Attention) für eine inhaltsadaptive bilaterale Aggregation unter Wahrung der geometrischen Konsistenz. Umfangreiche Experimente über verschiedene dichte Vorhersageaufgaben hinweg zeigen, dass RaysUp eine Spitzenleistung erzielt, dabei nur 16 % der Parameter von AnyUp verwendet und eine etwa 7-fach schnellere Inferenz liefert. Diese Ergebnisse heben einen wesentlich verbesserten Genauigkeits-Effizienz-Kompromiss hervor und etablieren RaysUp als praktische und skalierbare Lösung für universelles Feature-Upsampling. Der Code ist verfügbar unter https://github.com/MAP-RaysUp/RaysUp.

Die Repräsentationsausrichtung hat sich als effektiver Ansatz zur Verbesserung multimodaler großer Sprachmodelle (MLLMs) erwiesen, indem sie deren interne Repräsentationen mittels Regularisierung an die eines externen visuellen Encoders angleicht. Bestehende Methoden richten jedoch typischerweise eine feste Schicht des Sprach-Fundaments aus und übersehen dabei die feingranulare Struktur von Transformer-Modellen. In dieser Arbeit schlagen wir die kopfweise Repräsentationsausrichtung (Head-Wise Representation Alignment, HeRA) vor, eine Methode, die eine cross-modale Ausrichtung auf der Ebene einzelner Aufmerksamkeitsköpfe erzwingt. Unser Ansatz basiert auf der Platonischen Repräsentationshypothese und konzentriert sich darauf, die topologische Struktur von Repräsentationen (d. h. ihre lokalen Nachbarschaftsbeziehungen) über Modalitäten hinweg zu bewahren. In Anlehnung an die Metrik der gegenseitigen K-nächsten Nachbarn (Mutual K-Nearest Neighbor, MKNN) führen wir ein kontrastives Ziel ein, das als differenzierbarer Proxy für den Abgleich lokaler Strukturen fungiert. HeRA wendet dieses Ziel während des multimodalen Trainings auf bestimmte Aufmerksamkeitsköpfe im LLM an, die anhand ihres Ausrichtungswerts gemäß der MKNN-Metrik ausgewählt werden. Entgegen der Intuition stellen wir fest, dass die Ausrichtung der am wenigsten ausgerichteten Köpfe die größten Verbesserungen erzielt. Umfangreiche Auswertungen über mehrere MLLMs und 18 Benchmarks hinweg zeigen, dass HeRA die Leistung bei anspruchsvollen visionszentrierten Aufgaben konsistent verbessert und als wirksamer Regularisierer gegen visuelle Halluzinationen fungiert, indem es die übermäßige Abhängigkeit von sprachlichen Priors auf natürliche Weise eindämmt. Unser Code ist öffentlich verfügbar.