Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Die Leistungsfähigkeit eines modernen KI-Agenten hängt nicht nur von seinem Fundamentmodell ab, sondern auch von seinem Harness, der Prompts erstellt, Zustände verwaltet, Werkzeuge aufruft und die Ausführung koordiniert. Da Modelle, APIs, Umgebungen und Anforderungen sich weiterentwickeln, muss der Harness fortlaufend angepasst werden. Bevor eine solche Änderung vorgenommen werden kann, muss ein Entwickler oder Codierungsagent alle Codestellen identifizieren, die das Zielverhalten implementieren. Dies ist schwierig, da produktive Harnesses groß, stark gekoppelt und verhaltensmäßig verteilt sind, während Änderungsanfragen beschreiben, was das System tun soll, und Repositorien nach Dateien und Modulen organisiert sind. Codesuche, Repositorien-Indizierung und Verarbeitung langer Kontexte erleichtern die Inspektion, überlassen die Wiederherstellung dieser Verhalten-zu-Code-Zuordnung jedoch weiterhin der manuellen Arbeit. Die Verhaltenslokalisierung stellt daher einen zentralen Engpass in der Harness-Evolution dar. Wir führen das Harness-Handbuch ein, eine verhaltensorientierte Repräsentation, die automatisch aus einer Harness-Codebasis mittels statischer Analyse und LLM-gestützter Strukturierung synthetisiert wird und jedes Verhalten mit seinem entsprechenden Quellcode verknüpft. Wir führen außerdem die verhaltensgeleitete progressive Offenlegung (BGPD) ein, die Agenten von Verhaltensweisen auf hoher Ebene zu relevanten Implementierungsdetails führt und Kandidatenstellen anhand des aktuellen Quellcodes verifiziert. Bei vielfältigen Änderungsanfragen aus zwei Open-Source-Harnesses verbessert die handbuchgestützte Planung die Verhaltenslokalisierung und die Qualität der Bearbeitungspläne bei gleichzeitig geringerem Planer-Token-Verbrauch, wobei die größten Verbesserungen bei verstreuten Stellen, selten ausgeführten Pfaden und modulübergreifenden Interaktionen erzielt werden. Die Evolution komplexer agentischer Systeme hängt daher nicht nur von der Generierung von Änderungen ab, sondern auch davon, zu bestimmen, wo diese Änderungen vorgenommen werden sollten.
Wir stellen Boogu-Image-0.1 vor, eine quelloffene Familie einheitlicher multimodaler Verständnis- und Generierungsmodelle, bestehend aus den Varianten Base, Turbo, Edit und Edit-Turbo. Es bietet wettbewerbsfähige Leistung bei hochwertiger Text-zu-Bild-Generierung, schneller Inferenz, instruktionsbasierter Bearbeitung und zweisprachiger (Chinesisch-Englisch) Textwiedergabe. Geschlossene multimodale Systeme wie Nano-Banana-Pro und GPT-Image-2 erzielen starke Ergebnisse durch systemweite Integration anstelle eines einzelnen Modells, doch ihre internen Verfahren bleiben weitgehend unveröffentlicht. In dieser Arbeit zeigen wir, dass gezielte Verbesserungen im Modellverständnis, in der Datenqualität und in den Trainingspipelines, kombiniert mit agentischem Inference-Time-Scaling, selbst unter stark eingeschränkten Rechenbudgets die Generierungs- und Bearbeitungsleistung erheblich steigern können. Umfassende Evaluierungen belegen, dass Boogu-Image-0.1 auf Standard-Benchmarks durchweg mit anderen quelloffenen Modellen mithält oder diese übertrifft und Ergebnisse nahe führender geschlossener Systeme erzielt. Bemerkenswert ist, dass dies mit nur 208,62 Millionen einzigartigen Bildern erreicht wird. Die theoretischen Trainingskosten des Basismodells betragen lediglich etwa 400.000 US-Dollar. Wir teilen praktische Diskussionen, die wir für die breitere Forschungsgemeinschaft als wertvoll erachten, und veröffentlichen Gewichte, Code und Rezepte unter Apache 2.0, um das offene Ökosystem für einheitliches multimodales Verständnis und Generierung voranzutreiben. Unser Code ist hier verfügbar: https://github.com/Boogu-Project/Boogu-Image.
Bestärkendes Lernen mit überprüfbaren Belohnungen ohne menschlich annotierte Daten, oft als Zero RL bezeichnet, hat sich als leistungsfähiges Paradigma zur Gewinnung von Chain-of-Thought-Reasoning etabliert. Aufgrund rechenintensiver Einschränkungen beschränken sich bestehende Studien jedoch weitgehend auf kleine Modelle, sodass die Trainingsdynamiken und emergenten Fähigkeiten im großen Maßstab unerforscht bleiben. Um diese Grenzen sinnvoll zu erkunden, streben wir danach, hochwertige Denkverhaltensweisen aus dem Modell zu extrahieren. Allerdings stellen wir fest, dass naives Skalieren häufig unter schlechter Lesbarkeit, Token-Redundanz und einem Mangel an adaptiver Denktiefe leidet. Um diesen Herausforderungen zu begegnen, präsentieren wir eine stabile und effiziente Trainingspipeline, die algorithmische und systemseitige Optimierungen wie geklemmtes Importance Sampling, Korrektur des Trainings-Inferenz-Verhältnisses und Gemischte-Präzisionskontrolle umfasst. Unsere Experimente liefern drei zentrale Erkenntnisse, die die „bittere Lektion" des Skalierens bestätigen: (1) Die Skalierung auf 1 Billion Parameter verbessert die Stichprobeneffizienz und Leistungsobergrenzen signifikant; (2) Der Trainingsprozess durchläuft sequenziell eine anfängliche Entdeckungsphase, gefolgt von einer Schärfungsphase; und (3) Das Modell entwickelt spontan fortgeschrittene kognitive Verhaltensweisen, darunter Anthropomorphismus, strukturierte Formatierung, Selbstverifikation, paralleles Denken und Kontextangst, wodurch handgefertigte Heuristiken überflüssig werden. Bewertet auf sieben mathematischen Benchmarks erzielt Ring-2.5-1T-Zero konkurrenzfähige Leistungen. Darüber hinaus schlagen wir zur Bewertung der CoT-Qualität über die reine Korrektheit der endgültigen Antwort hinaus ein strukturiertes Bewertungsrahmenwerk in drei Dimensionen vor: Verständlichkeit, Reproduzierbarkeit und Effizienz, wobei unser Modell klare Vorteile bei der Erzeugung strukturierter und prägnanter Denkspuren aufweist. Durch das Teilen unserer beobachteten emergenten Phänomene hoffen wir, der Forschungsgemeinschaft tiefere Einblicke in Skalierungsverhalten, insbesondere im Bereich von einer Billion Parametern, zu bieten.
OpenClaw hat sich als führendes Agenten-Framework für die Automatisierung komplexer Aufgaben etabliert, leidet jedoch unter unzureichender plattformübergreifender GUI-Interaktionsunterstützung und einem nicht vollständig ausgebauten Selbstentwicklungsmechanismus. Diese Mängel schränken seine Anpassungsfähigkeit an verschiedene Geräte-Ökosysteme ein und verhindern Leistungsverbesserungen durch kontinuierliches Lernen aus Ausführungserfahrungen. Um diese Probleme zu lösen, schlagen wir das Paradigma „Know Deeply, Act Perfectly" für persönliche Assistenten vor, das besagt, dass gesammelte Nutzerinteraktions- und Aufgabenausführungserfahrungen direkt die Ausführungsgenauigkeit und -effizienz verbessern, indem kognitives Verständnis und operative Ausführung vereint werden. Basierend auf diesem Paradigma stellen wir KnowAct-GUIClaw vor, ein neuartiges Know-Route-Act-Reflect-Framework, das die GUI-Manipulationsdefizite von OpenClaw adressiert und dessen plattformübergreifende sowie rekursive Selbstverbesserungsbeschränkungen durchbricht. Erstens nutzt der Host-Agent angesammelte Interaktionserfahrungen und aufgabenrelevantes Wissen für die langfristige Aufgabenzerlegung und -zuweisung (Know). Zweitens wird ein pluggbarer GUI-Subagent mit einem erfahrungszuschreibbaren Gedächtnissystem (Know) und einer sich selbst entwickelnden Fähigkeitsbibliothek (Act) eingesetzt, der eine nahtlose plattformübergreifende Migration und schnelle Pfadintegration ermöglicht. Insbesondere speichert dieses Framework kontinuierlich Nutzerprofile und Feedback, um die Genauigkeit der Aufgabenzerlegung und Tool-Aufrufe zu verbessern. Umfangreiche Experimente auf Android, iOS, HarmonyOS und Windows zeigen, dass KnowAct-GUIClaw eine überlegene Effizienz, Genauigkeit und plattformübergreifende Anpassungsfähigkeit erreicht. Insbesondere erzielt der GUIClaw mit dem Open-Source-Modell Kimi-2.6 die beste Leistung (64,1 %) auf dem langfristigen MobileWorld-Benchmark und übertrifft damit alle Agenten-Frameworks und Closed-Source-Agentenmodelle wie Seed-2.0-Pro und GPT-5.5. Darüber hinaus sind das wissensbasierte Gedächtnis und die Ausführungsfähigkeiten, die von unserem Framework unterstützt werden, auf verschiedene Basismodelle übertragbar und verbessern sich mit Kimi-2.6 um 8,5 %.
Wir stellen OvisOCR2 vor, ein Dokumentenparsermodell mit 0,8 Milliarden Parametern. OvisOCR2 ist als End-to-End-Parser konzipiert: Ausgehend von einem Dokumentseitenbild erzeugt es eine Markdown-Darstellung im natürlichen Lesefluss, die Text, Formeln, Tabellen und visuelle Bereiche abdeckt. Wir entwickeln eine Daten-Engine, die gefilterte Annotationen realer Dokumente mit synthetischen Seiten kombiniert, deren gerenderte Bilder und Markdown-Ziele aus derselben HTML-Quelle stammen. Das Trainingsrezept umfasst überwachtes Feintuning, Verstärkungslernen an einem 4B-Zweig mit einem mehrkomponentigen Belohnungsdesign, On-Policy-Destillation in das 0,8B-Modell sowie Modellfusion. Auf OmniDocBench v1.6 erzielt OvisOCR2 einen Gesamt-Spitzenwert von 96,58 und platziert damit ein End-to-End-Modell an der Spitze dieser Rangliste, die zuvor von Pipeline-Methoden dominiert wurde, und unterstreicht das Potenzial der end-to-end-Dokumentenanalyse. Auf PureDocBench erreicht OvisOCR2 ebenfalls den höchsten Avg3-Wert von 75,06. Über diese beiden öffentlichen Benchmarks hinaus evaluieren wir OvisOCR2 auf einem internen Benchmark, der ein breiteres Spektrum an Long-Tail- und herausfordernden Szenarien abdeckt. OvisOCR2 erzielt die beste Gesamtleistung unter den verglichenen Methoden und liefert damit weitere Belege für seine Generalisierung und Robustheit. OvisOCR2 ist verfügbar unter https://huggingface.co/ATH-MaaS/OvisOCR2.
Bild-Schutzmechanismen werden typischerweise unter einer festen Sicherheitsrichtlinie trainiert und evaluiert, wobei Sicherheit implizit als intrinsische Eigenschaft eines Bildes behandelt wird. Reale Einsatzumgebungen unterscheiden sich jedoch: Dasselbe Bild kann in einem Produkt erlaubt, in einem anderen eingeschränkt und bei einer Änderung der Richtliniengrenze neu verboten sein. Wir untersuchen richtlinienadaptive Bild-Schutzmechanismen, bei denen ein Modell entscheiden muss, ob ein Bild die aktuell bereitgestellte Richtlinie verletzt, und auf ausgelassene Richtliniendefinitionen verallgemeinern muss. Wir führen PolicyShiftBench ein, einen umfassenden Benchmark mit 2.000 richtliniendiskriminierenden Instanzen über 265 Bilder, bei dem jedes Bild durchschnittlich mit 7,55 richtlinienabhängigen Aufforderungen (Prompts) gepaart wird, um zu testen, ob Modelle sich an die aktive Richtlinie anpassen, anstatt sich auf Sicherheitsvorkenntnisse auf Bildebene zu stützen. Anschließend schlagen wir PolicyShiftGuard vor, einen kompakten, richtlinienabhängigen Schutzmechanismus, der mit einem zweistufigen Trainingsrezept trainiert wird, das Randomized Policy SFT (RP-SFT) mit Boundary-Pair Policy Adaptation (BP-Adapt) kombiniert. BP-Adapt trainiert passende Aufforderungen für dasselbe Bild und dieselbe Risikokategorie unter Verwendung standardmäßiger Label-Überwachung und eines paarweisen Vergleichsverlusts, der sperrende Richtlinien von passierenden Richtlinien trennt. Experimente zeigen, dass bestehende VLMs (Vision-Language-Modelle) und spezialisierte Schutzmechanismen unter Richtlinienwechseln spröde bleiben, während PolicyShiftGuard die richtlinienempfindliche Leistung erheblich verbessert. Das 7B-Modell erreicht SOTA-Leistung (State-of-the-Art) von 76,9 durchschnittlichem F1 und 72,1 durchschnittlichem PSS auf PolicyShiftBench, überträgt sich gut auf UnSafeBench und SafeEditBench und verbessert den Latenz-Leistungs-Kompromiss durch ein prägnantes Ausgabeformat. Ablationen bestätigen, dass passende Paare von Grenzen zwischen Passieren und Blockieren für eine stabile Richtlinienanpassung unerlässlich sind.
Aktuelle visuelle Generierungsmodelle sind in der Lage, qualitativ hochwertige Inhalte zu erzeugen, entbehren jedoch einer kohärenten Wahrnehmung der räumlichen Struktur. Bestehende generative Methoden zur neuartigen Ansichtssynthese führen typischerweise explizite Geometrie-Priors ein, die räumliche Konsist erzwingen, aber die Generalisierbarkeit bei großen Blickwinkeländerungen grundlegend einschränken. Im Gegensatz dazu bevorzugen neuere interaktive generative Methoden eine implizite Szenenmodellierung, die mehr Flexibilität bietet, jedoch auf Kosten präziser Kamerakontrolle und Geometriekonsistenz. In dieser Arbeit stellen wir MetaView vor, ein diffusionsbasiertes Framework zur monokularen Neuansichtssynthese, das das Rendern unter großen Blickwinkeländerungen aus einem Einzelbild ermöglicht. Unser zentraler Ansatz besteht darin, implizite Geometriemodellierung mit minimalen, aber essenziellen expliziten 3D-Hinweisen zu kombinieren: Wir integrieren implizite Geometrie-Priors aus einem Feed-Forward-Geometriewahrnehmungsnetzwerk, um die Struktur zu regularisieren, ohne restriktive Rekonstruktionspipelines aufzuerlegen, und nutzen gleichzeitig metrische Tiefe, um die Generierung an eine metrische Skala zu binden. Dieses Design ermöglicht es MetaView, sowohl Geometriekonsistenz als auch präzise Kontrollierbarkeit zu erreichen. Umfangreiche Experimente zeigen, dass MetaView bei herausfordernden monokularen großen Blickwinkeländerungen bestehende Methoden deutlich übertrifft und eine überlegene Generalisierungsfähigkeit aufweist. Unser Code ist öffentlich verfügbar unter https://github.com/KlingAIResearch/MetaView.
Weltaktionsmodelle (World Action Models, WAMs) verbessern das Policy-Lernen für Roboter, indem sie Aktionen und zukünftige visuelle Beobachtungen gemeinsam modellieren und die zukünftige Szenenentwicklung als dichte Überwachung für eine physikalisch fundierte Aktionsgenerierung nutzen. Ein gängiges Design in bestehenden WAMs besteht jedoch darin, zum Zeitpunkt der Inferenz explizit zukünftige Videos zu generieren, was einen erheblichen Rechenaufwand verursacht und den Echtzeit-Closed-Loop-Einsatz behindert. GigaWorld-Policy begegnet diesem Problem mit einer handlungszentrierten Formulierung, bei der zukünftige visuelle Dynamiken während des Trainings verwendet werden, während zur Inferenzzeit eine handlungsreine Dekodierung erfolgt. Aufbauend auf diesem Rahmen stellen wir GigaWorld-Policy-0.5 vor, ein verbessertes handlungszentriertes WAM, das für eine effizientere Robotersteuerung entwickelt wurde. Während des Vortrainings übernimmt GigaWorld-Policy-0.5 eine gemischte Trainingsstrategie aus handlungskonditionierter Weltmodellierung (Action-Conditioned World Modeling, AC-WM) und WAM. Dies stärkt die Kopplung zwischen visueller Dynamik und Roboteraktionen und verbessert die Übertragbarkeit von Aktionsrepräsentationen für das nachgelagerte Policy-Lernen. Für eine effiziente Inferenz führt GigaWorld-Policy-0.5 eine Mixture-of-Transformers-Architektur ein, die die Modellierung visueller Dynamiken und die Aktionsgenerierung in spezialisierte Experten aufteilt, wodurch die aktive Berechnung während der handlungsreinen Inferenz reduziert und eine Inferenzlatenz von 85 ms auf einem lokalen RTX 4090-Setup erreicht wird. Darüber hinaus setzen wir eine agentenbasierte AutoResearch-Pipeline ein, um Trainingskonfigurationen systematisch zu durchsuchen, was eine effizientere Identifizierung optimaler Versuchsaufbauten ermöglicht und gleichzeitig den Zeitaufwand und die manuellen Eingriffe für die Hyperparameter-Optimierung reduziert. Experimente und Ablationen zeigen, dass GigaWorld-Policy-0.5 die Trainingsvorteile der zukünftigen visuellen Dynamik bewahrt und gleichzeitig die Inferenzeffizienz für die Robotersteuerung verbessert.
Vision Transformers (ViTs) sind dafür bekannt, Patch-Token-Ausreißer mit hoher Norm aufzuweisen, die die Qualität der Merkmalskarten beeinträchtigen – ein Problem, das durch Register-Tokens wirksam gemildert wird. Da Diffusionsmodelle zunehmend Transformer-Architekturen übernehmen und sich in Richtung Pixelraum-Training bewegen, nähern sie sich in ihrer Form den ViTs an, was die Frage aufwirft, ob Register-Tokens auch für Diffusion Transformers (DiTs) nützlich sind. In dieser Arbeit zeigen wir, dass sich DiTs in einem wesentlichen Punkt von ViTs unterscheiden: Sie weisen keine Patch-Token-Ausreißer auf, profitieren aber dennoch von Registern. Interessanterweise sind Register in Pixelraum-DiTs wirksamer als in Latentraum-DiTs. Durch die Analyse von Zwischenrepräsentationen stellen wir fest, dass Register-Tokens bei hohen Rauschpegeln sauberere Merkmalskarten erzeugen, was zu ihrer Wirksamkeit bei der Pixelraumgenerierung beitragen könnte. Wir beobachten ferner, dass aktuelle Pixelraum-DiT-Architekturen implizit registerähnliche Mechanismen integrieren, was teilweise ihre starke empirische Leistung erklären könnte. Motiviert durch diese Beobachtungen schlagen wir *Register Guidance* vor, eine Technik, die den Beitrag von Register-Tokens verstärkt, die für die Verbesserung der visuellen Struktur und Kohärenz verantwortlich sind.
Selbstverbessernde autonome Agenten bewegen sich von Forschungsprototypen hin zu implementierten Systemen. Das primäre Ziel ist die kontrollierte Evolution, oder Anpassung, durch Erfahrung mit minimalem oder sogar ohne menschliches Eingreifen. Diese Übersichtsarbeit fasst moderne selbstverbessernde Agenten als adaptive Systeme auf, die Erfahrung in akkumulierte Fähigkeitsgewinne umwandeln. Wir bieten einen systemweiten Rahmen, der einen modernen Agenten als Konfiguration darstellt, die ein Fundamentmodell mit einem operativen Gerüst aus Prompts, Gedächtnis, Werkzeugen und Steuerungslogik koppelt. Innerhalb dieses Rahmens wird Selbstverbesserung als ein selbstinduzierter Update-Operator formalisiert, der Aktualisierungen der Modellparameter oder Gerüstkomponenten bezieht und umsetzt. Wir organisieren frühere Arbeiten nach Update-Zielen und den Signalen, die Veränderungen antreiben, besprechen dann Anwendungen und diskutieren die Evaluierung, bevor wir mit offenen Problemen und zukünftigen Richtungen schließen. Der Einfachheit halber verfolgen wir technische Aktualisierungen auf https://github.com/selfimproving-agent/awesome-Self-Improving-Agents.
Während jüngste Fortschritte in der 3D-Generierung eine beeindruckende visuelle Synthese ermöglicht haben, stützen sich bestehende Methoden oft auf 2D-Diffusionsüberwachung ohne explizite Mechanismen für geometrische Konsistenz, was zu räumlichen Halluzinationen wie duplizierten Strukturen und fehlausgerichteter Geometrie führt. Diese Probleme verschärfen sich bei der 4D-Generierung, wo die Aufrechterhaltung der Konsistenz über Blickwinkel und zeitliche Entwicklung hinweg zusätzliche Herausforderungen mit sich bringt, darunter Ruckeln, Identitätsflimmern und strukturelle Drift. Wir präsentieren Hallo4D, ein einheitliches und modellagnostisches Framework zur Minderung räumlich-zeitlicher Halluzinationen in der 3D- und 4D-Inhaltsgenerierung. Hallo4D führt ein Generierungs-Detektions-Korrektur-Paradigma ein, das große multimodale Sprachmodelle (LMMs) nutzt, um räumliche und zeitliche Inkonsistenzen aus Multi-View- und Multi-Frame-Renderings zu identifizieren und zusammenzufassen. Diese Erkenntnisse leiten eine konsensgesteuerte Bildraum-Konsistenzoptimierung, bei der ein LMM-basierter Selektor Kandidatenkorrekturen durch Multi-Modell-Abstimmung bewertet, ohne dass ein erneutes Training oder architektonische Änderungen erforderlich sind. Um die zeitliche Konsistenz und Optimierungseffizienz weiter zu verbessern, integriert Hallo4D bewegungsbewusstes Keyframe-Sampling, LMM-gesteuerte Initialisierung und Erscheinungsbildabgleich. Zusätzlich führen wir belichtungsbewusste Optimierung und Sichtbarkeitsbeschneidung ein, um die Robustheit unter herausfordernden Blickwinkeln zu erhöhen. Umfangreiche Experimente zeigen, dass Hallo4D durchgängig starke Basislinien in verschiedenen 3D- und 4D-Generierungseinstellungen übertrifft und eine skalierbare und generalisierbare Lösung für konsistenzbewusste Inhaltsgenerierung bietet.
Strukturiertes Pruning ist eine hardwarefreundliche Methode zur Kompression großer Sprachmodelle (LLMs), wird aber meist nur an Multiple-Choice-Erkennungsaufgaben validiert, während dieselben komprimierten Prüfpunkte bei der für den tatsächlichen Einsatz erforderlichen freien Textgenerierung versagen können. Zwei Beobachtungen erklären diese Lücke. Erstens verschwindet der greedy Pass@1 nach der Kompression nahezu vollständig, während Pass@k durch wiederholtes Sampling deutlich ansteigt: Nutzbare Generierungen werden herabgestuft, nicht gelöscht. Zweitens scheitert der wiederherstellbare Bereich hauptsächlich an Suffixwiederholungen. Eine Erholung sollte daher an den eigenen On-Policy-Zuständen des komprimierten Modells mit dichter Token-Ebene-Überwachung trainieren, was die On-Policy-Destillation (OPD) bietet, indem sie das Modell vor der Kompression als eingefrorenen Lehrer wiederverwendet. Lange On-Policy-Rollouts verbrauchen jedoch frühes Erholungsbudget für informationsarme, repetitive Suffixe und verzögern den Verlustabfall. Um diese Verschwendung zu verringern, schlagen wir \shortopd\ vor, einen Short-to-Long-OPD-Ablauf, der lehrerbestätigte repetitive Suffixe erkennt, das verbleibende Präfix als effektive Länge jedes Rollouts behandelt und zukünftige Rollout-Budgets den effektiven Längen zuweist, die die Politik derzeit nutzen kann. In Mathematik, Code und offener Generierung erhöht \shortopd\ die Punktzahl des komprimierten Modells auf etwa das 9-fache seines unerholten Werts und das 1,6- bis 4,4-fache standardmäßiger Erholungsrezepte (SFT ohne KD, KD und SeqKD) und erreicht mit einem Viertel der Trainingszeit (8,5 gegenüber 35,9 Stunden) und 71 % weniger Rollout-Tokens einen festen 8192-Token-Rollout-Horizont innerhalb von zwei Punkten. Wir hoffen, dass dieses Rezept dazu beiträgt, strukturiertes Pruning über marginale Verbesserungen bei Perplexität und Multiple-Choice-Benchmarks hinauszuführen – einen Schritt näher an die einsatzbereite Generierungsqualität.
Da sich Große Sprachmodelle (Large Language Models, LLMs) zu autonomen Agenten entwickeln, wird eine einheitliche Evaluierungsinfrastruktur zunehmend kritischer. Allerdings bleiben aktuelle Evaluierungspipelines stark fragmentiert und eng gekoppelt, was die Reproduzierbarkeit behindert und zu redundanter Entwicklungsarbeit führt. Um dies zu adressieren, stellen wir AgentCompass vor, eine Open-Source-, leichtgewichtige und erweiterbare Infrastruktur zur Evaluierung LLM-basierter Agenten. AgentCompass organisiert den Evaluierungsprozess um drei unabhängige Komponenten, nämlich Benchmark, Harness und Environment, und ermöglicht so flexible Konfigurationen, ohne dass eine erneute Implementierung komplexer Ausführungslogik erforderlich ist. Darüber hinaus bietet es eine fehlertolerante asynchrone Laufzeitumgebung sowie umfassende Werkzeuge zur Trajektorienanalyse, um subtile Fehlermodi wie Reward-Hacking transparent zu diagnostizieren. Mit nativer Unterstützung für über 20 Benchmarks in fünf Fähigkeitsdimensionen stellt AgentCompass der Community eine skalierbare und reproduzierbare Infrastruktur zur Förderung der Agentenforschung bereit.
Wann sollte ein intelligenter Assistent von sich aus das Wort ergreifen, ohne dass man ihn darum bittet? Kontinuierliche egozentrische Videos bieten einen reichhaltigen, sich ständig verändernden Kontext, der eine neue Form der Assistenz ermöglicht: eine, die proaktiv und nicht nur reaktiv ist. Dennoch warten bestehende Ansätze entweder passiv auf Benutzeranfragen oder behandeln jedes erkannte Ereignis als Aufforderung zu einer Reaktion, ohne die Vorgeschichte des Benutzers, seine aktuelle Aktivität oder die Frage zu berücksichtigen, ob Hilfe überhaupt willkommen wäre. Wir definieren proaktive Assistenz neu als ein kontextabhängiges Entscheidungsproblem: Der Agent muss nicht nur wahrnehmen, was passiert, sondern über den angesammelten zeitlichen Kontext nachdenken, um zu bestimmen, wann und ob er eingreifen soll. Zu diesem Zweck präsentieren wir Vinci2, ein proaktives egozentrisches Assistenzsystem, das den On-Device-Assistenten Vinci von einer reaktiven Antwort hin zur Proaktivität weiterentwickelt. Auf der Evaluierungsseite stellen wir EgoServe vor, den ersten groß angelegten Benchmark für proaktive Assistenz in kontinuierlichen egozentrischen Videos. EgoServe umfasst über 3.000 Service-Instanzen, die entlang von 4 zeitlichen Gedächtnishorizonten organisiert sind – von unmittelbaren Sicherheitswarnungen bis hin zu langfristigem Gewohnheitstraining – und deckt 10 Servicekategorien ab. Auf der Modellierungsseite schlagen wir EgoMemo vor, einen trainierenden, gedächtniserweiterten Agenten, der drei komplementäre Gedächtnisrepräsentationen unterhält: mehrskalige zeitliche Zusammenfassungen, einen semantischen Wissensgraphen und Archive visueller Einbettungen. Zu jedem Zeitschritt führt EgoMemo eine retrieval-gestützte Argumentation durch, um zu bestimmen, ob eine Assistenz gerechtfertigt ist, und erzeugt gegebenenfalls kontextuell fundierte Antworten. Experimente zeigen, dass EgoMemo starke Baselines auf EgoServe etabliert und gleichzeitig auf bestehenden egozentrischen Benchmarks wettbewerbsfähig bleibt. Unser Benchmark und Code sind öffentlich verfügbar unter https://sitonggong.github.io/EgoServe-page/{Vinci2}.
Die Fehlerattribution für LLM-basierte agentische Systeme, d.h. die Identifizierung, welche Schritte in einer Fehlertrajektorie zum Scheitern der Aufgabe geführt haben, ist entscheidend für das Debugging und die Verbesserung dieser Systeme. Bestehende Ansätze stützen sich entweder auf prompt-basierte Pipelines, die rechenintensiv sind, oder erfordern ein Nachtraining auf Fehlertrajektorien mit Schritt-für-Schritt-Fehlerannotationen, deren Erhebung kostspielig und schwer skalierbar ist. Wir argumentieren, dass ein praktisches Fehlerattributionsmodell leichtgewichtig und ohne Schritt-für-Schritt-Überwachung auf Fehlerdaten trainierbar sein sollte. Zu diesem Zweck befassen wir uns mit unüberwachter Fehlerattribution, d.h. Training ausschließlich auf erfolgreichen Trajektorien und Identifizierung von Fehlerschritten zur Inferenzzeit bei einer gegebenen Fehlertrajektorie. Wir schlagen OAT vor, das dieses Problem als One-Class-Learning mit neuronalen gesteuerten Differentialgleichungen betrachtet und das dynamische Muster erfolgreicher Trajektorien im latenten Raum modelliert. Zur Inferenzzeit wird jedem Schritt in einer Fehlertrajektorie ein Anomalie-Score basierend auf seiner Abweichung von den auf erfolgreichen Trajektorien gelernten Dynamiken zugewiesen, der dann verwendet wird, um eine Menge von Fehlerschritten zu bilden. Bei Training mit nur 100 erfolgreichen Trajektorien zeigen Experimente, dass OAT 200–5000-mal schneller ist als prompt-basierte Baselines und gleichzeitig diese sowohl auf In-Domain- als auch auf Out-of-Distribution-Datensätzen mit +20% bzw. +7% F1-Scores durchweg übertrifft, was zeigt, dass OAT eine vielversprechende und effiziente Richtung zur Diagnose von agentischen Systemfehlern darstellt.
Diskrete Denoising-Diffusionsmodelle (DDMs) haben sich kürzlich als überzeugende Alternative zur autoregressiven (AR) Modellierung für diskrete Daten erwiesen, da sie Parallelgenerierung und iterative globale Verfeinerung ermöglichen. Im Gegensatz zur kontinuierlichen Diffusion, bei der der Zustandsraum festgelegt ist, wird die Ausgestaltung von DDMs grundlegend durch die Konstruktion des zugrundeliegenden diskreten Zustandsraums bestimmt: das Tokenisierungsschema, die Vokabular-Topologie und domänenspezifische strukturelle Alphabete. Diese Arbeit führt einen einheitlichen konzeptionellen Rahmen ein, der diskrete Diffusionsmodelle durch die Konstruktion des zugrundeliegenden diskreten Zustandsraums betrachtet. Innerhalb dieses Rahmens erscheinen bestehende Formulierungen – darunter Übergangsmatrix-, Maskierungs-/Absorptionszustands- und Score-/Ratio-basierte Ansätze – als unterschiedliche Ausprägungen eines gemeinsamen Designraums. Der Rahmen legt zudem gemeinsame Designabwägungen hinsichtlich Trainingszielen, Inferenzalgorithmen, Skalierungsverhalten, Systemoptimierung und Evaluationsprotokollen offen und schlägt mehrere vielversprechende Richtungen für zukünftige Forschung vor.
Große Sprachmodelle (LLM)-Agenten haben sich von der reinen Generierung von Antworten weiterentwickelt und führen nun mehrschrittige Aufgaben aus, indem sie Werkzeuge aufrufen, die Ergebnisse beobachten und iterativ die nächste Aktion bestimmen. Die meisten Agentensysteme laufen auf Desktops oder Servern, die die Werkzeugnutzung und Aufgabenautomatisierung unterstützen. Auch Mobilgeräte stellen wichtige Agentenumgebungen dar, da sie weit verbreitet sind und Nutzerdaten, Sensoren sowie Alltagsanwendungen enthalten. Bestehende mobile Agenten bedienen Smartphones hauptsächlich über Aktionen der grafischen Benutzeroberfläche (GUI) wie Antippen, Wischen und Eintippen, die oft lange, schnittstellenabhängige Sequenzen bilden, nicht direkt auf Gerätefunktionen zugreifen können und die Ausführungsgrenzen schwer definierbar machen. Wir stellen PalmClaw vor, ein quelloffenes Agentenframework, das nativ auf Mobiltelefonen läuft und die Sitzungen, den Speicher, die Fähigkeiten, die Werkzeuge sowie die Agentenschleife direkt auf dem Gerät verwaltet. PalmClaw stellt Gerätefunktionen als Gerätewerkzeuge mit expliziten Argumenten, strukturierten Ergebnissen und klar definierten Ausführungsgrenzen bereit. Dieses Design ermöglicht es Agenten, Mobilfunktionen direkt zu nutzen, während jede Aktion explizit und kontrolliert bleibt. Experimente zeigen eine relative Verbesserung der Aufgabenerfüllung um 11,5 % und eine Reduzierung der Ausführungszeit um 94,9 % gegenüber der stärksten Baseline, bei geringerem Einrichtungsaufwand, und Spuren veranschaulichen, wie Ausführungsgrenzen angewendet werden. Der Code ist verfügbar unter https://github.com/ModalityDance/PalmClaw.
Die Optimierung langfristiger Agenten stützt sich zunehmend auf reflexionsbasierte Mechanismen, bei denen ein großes Sprachmodell (LLM) als Optimierer fungiert, um Fehler von Agenten zu diagnostizieren und deren Strategien zu verbessern. Allerdings sind reale Ausführungs-Traces nur schwer direkt für die Optimierung nutzbar: Große Trace-Sammlungen sind oft redundant und heterogen, was die Optimierung ineffizient macht und anfällig für Überanpassung an wenig relevante Fehler; gleichzeitig enthält jede einzelne Trajektorie viele irrelevante Schritte, während naive Kontextreduktionsmethoden wie Kürzung oder gleitende Fenster kausal wichtige Belege verwerfen und irreführende Optimierungssignale erzeugen können. Um dieses Dilemma zu lösen, führen wir STRACE (Structural TRajectory Analysis and Causal Extraction) ein, ein Framework, das Optimierungskontexte mit hohem Signal-Rausch-Verhältnis für eine präzisere und effektivere Optimierung erstellt. Auf Batchebene extrahiert STRACE Fehlermuster, um redundante Traces zu filtern und repräsentative Fehler zu behalten; innerhalb jedes ausgewählten Traces führt es eine kausale Lokalisierung über einen textuellen Abhängigkeitsgraphen durch, um nicht-kausale Schritte zu entfernen und das tatsächliche Grundursachen-Modul für die Optimierung zu identifizieren. Empirische Ergebnisse zeigen, dass STRACE Standard-Basislinien zur Kontextfilterung deutlich übertrifft. Bemerkenswerterweise optimiert es bei einer anspruchsvollen formalen Verifikationsaufgabe (VeruSAGE-Bench) erfolgreich von menschlichen Experten entwickelte Agenten und erzielt eine 1,4-fache Verbesserung der Erfolgsrate (von 42,5% auf 58,5%). Der Code ist verfügbar unter https://github.com/moomight/STRACE.
Längenbestrafendes Verstärkungslernen kann das Chain-of-Thought-Denken verkürzen, während es einen Einfluss verbirgt, der die Antwort des Modells antreibt. In unseren Experimenten verhindert das Training mit Längenbestrafungen nicht, dass irreführende Hinweise die Modelle lenken, obwohl die Gedankenketten der Modelle den Hinweis deutlich seltener erwähnen. Eine Token-Genauigkeitsbewertung würde diese Durchläufe als erfolgreich zählen, da sie weniger Denk-Token mit geringem Genauigkeitsverlust verwenden; sie würde übersehen, ob die verbleibende Spur noch zeigt, was die Antwort antrieb. Wir trainieren Qwen3-4B- und Qwen3-14B-Varianten mit unterschiedlichen Zielkettenlängen, bewerten sie dann mit verzerrenden Hinweiseingriffen auf ausgelassenem MMLU-Pro-R und vier Transfer-Benchmarks. Die Kompression reduziert die Denk-Token drastisch, bewahrt die meisten Multiple-Choice-Genauigkeiten und lässt den Einfluss des Hinweises nahe der Basislinie. Beim stärksten Ziel sinkt die untere Grenze der Treue auf 63,1% der Basislinie für Qwen3-14B und 69,4% für Qwen3-4B; die rohe Rate, mit der ein Monitor die Nutzung von Hinweisen erfasst, fällt von 69% auf 49% bzw. von 60% auf 48%. Um Länge von Inhalt zu trennen, löschen wir zufällig Sätze aus unkomprimierten Basisketten, bis der verbleibende Text der komprimierten Länge entspricht. Selbst nach diesem Längenabgleich geben komprimierte Ketten den Hinweis 7 bis 35 Prozentpunkte seltener preis als Basisketten, die wir zufällig verkürzen, sowohl für beide Qwen3-Größen als auch für alle fünf Evaluationsverteilungen. Die Kompression tut daher mehr, als das Denken zu verkürzen, indem sie vorzugsweise die Hinweise entfernt, die ein Monitor benötigt, um zu sehen, was die Antwort beeinflusst hat. Zusammen offenbaren diese Ergebnisse eine Kompressions-Monitorierbarkeitsgrenze, bei der günstigeres Denken Antworten bewahren kann, während die Einflüsse dahinter schwerer zu erkennen sind.
KI-Pentesting-Agenten werden zunehmend als glaubwürdige offensive Sicherheitssysteme angesehen, doch aktuelle Benchmarks bieten weiterhin nur begrenzte Orientierung darüber, welche in realen Zielumgebungen am besten abschneiden werden. Bestehende Evaluierungsprotokolle bewerten und optimieren für vordefinierte Ziele wie Capture-the-Flag, Remote Code Execution, Exploit-Reproduktion oder Trajektorienähnlichkeit in vereinfachten oder eingeschränkten Umgebungen. Diese Werkzeuge sind wertvoll für die Messung begrenzter Fähigkeiten, erfassen jedoch nicht ausreichend die Komplexität, die offene Exploration und die strategische Entscheidungsfindung, die in realistischen Penetrationstests erforderlich sind. In diesem Beitrag stellen wir ein praktisches Evaluierungsprotokoll vor, das die Bewertung von der Aufgabenerfüllung hin zur validierten Schwachstellenentdeckung verlagert und so eine Evaluierung in ausreichend komplexen Zielen ermöglicht, die mehrere Angriffsflächen und Schwachstellenklassen abdecken. Das Protokoll kombiniert strukturierte Ground Truth mit LLM-basierter semantischer Zuordnung zur Identifizierung von Schwachstellen, bipartiter Auflösung zur Bewertung von Ergebnissen unter realistischer Ambiguität, kontinuierlicher Wartung der Ground Truth, wiederholter und kumulativer Evaluierung stochastischer Agenten, Effizienzmetriken sowie einer reduzierten Testauswahl für nachhaltige Experimente. Dieses Protokoll erweitert den Stand der Technik, indem es einen realistischeren und operationell informativen Vergleich von KI-Pentesting-Agenten ermöglicht. Zur Reproduzierbarkeit veröffentlichen wir zudem fachlich annotierte Ground Truth und Code für das vorgeschlagene Evaluierungsprotokoll: https://github.com/ethiack/ethibench.
Autonome UAV-Systeme verlassen sich zunehmend auf multimodale große Sprachmodelle (MLLMs), um in komplexen realen Umgebungen zu operieren. Derartige verkörperte Szenarien erfordern nicht nur das Verständnis des umgebenden Raums, sondern auch die Aufrechterhaltung einer kohärenten Repräsentation des Agenten selbst. Bestehende UAV-orientierte Ansätze und Benchmarks bleiben jedoch weitgehend umweltzentriert und konzentrieren sich primär auf räumliche Verständnisaufgaben, während das Selbstbewusstsein des Agenten implizit bleibt. Um diese Lücke zu schließen, führen wir SIS-Bench ein, einen Benchmark zur Bewertung verkörperter räumlicher Intelligenz in UAV-Szenarien unter einer einheitlichen Self-in-Space-Formulierung. SIS-Bench organisiert die Bewertung entlang zweier komplementärer Dimensionen – Raum und Selbst – sowie einer dreistufigen Hierarchie aus Wahrnehmung, Gedächtnis und Schlussfolgerung. Es enthält 4.856 Frage-Antwort-Paare aus 13 Aufgaben, die aus 1.646 realen UAV-Videos durch eine aufgabenabhängige Konstruktionspipeline mit Expertenverifikation abgeleitet wurden. Umfangreiche Evaluierungen zeigen, dass aktuelle MLLMs grundlegende Einschränkungen bei der Modellierung dynamischer und agentenzentrierter Prozesse aufweisen. Insbesondere beobachten wir ein klares Ungleichgewicht zwischen räumlicher Kognition und Selbstbewusstsein sowie eine fortschreitende Leistungsverschlechterung über die kognitiven Ebenen hinweg. Motiviert durch diese Ergebnisse untersuchen wir weiterhin eine bewegungsbewusste Repräsentation, die selbstbezogene Dynamiken durch optischen Fluss und visuelle Merkmalsfusion einbezieht. Experimentelle Ergebnisse zeigen, dass die Modellierung von Agentenbewegungen konsistent die Wahrnehmungs- und Gedächtnisleistung verbessert – nicht nur in der räumlichen Kognition, sondern auch im Selbstbewusstsein – und sich auf nachgelagerte UAV-Entscheidungsaufgaben verallgemeinern lässt. Unsere Ergebnisse unterstreichen die Bedeutung des Selbstbewusstseins für die Weiterentwicklung verkörperter räumlicher Intelligenz und liefern sowohl einen neuen Benchmark als auch empirische Belege für bewegungsbewusste Self-in-Space-Modellierung.
Interaktive Simulatoren haben sich zu leistungsstarken Werkzeugen für das Training verkörperter Agenten und die Erzeugung synthetischer visueller Daten entwickelt, jedoch leiden bestehende fotorealistische Simulatoren unter eingeschränkter Allgemeinheit, Programmierbarkeit und Rendering-Geschwindigkeit. Wir beheben diese Einschränkungen mit SPEAR: Einem Simulator für fotorealistische Embodied-AI-Forschung. Im Kern ist SPEAR eine Python-Bibliothek, die über eine modulare Plugin-Architektur eine Verbindung zu jeder Unreal-Engine (UE)-Anwendung herstellen und diese programmgesteuert steuern kann. SPEAR stellt über 14.000 einzigartige UE-Funktionen für Python bereit, was eine Zunahme der programmierbaren Funktionalität um eine Größenordnung im Vergleich zu bestehenden UE-basierten Simulatoren darstellt. Darüber hinaus kann eine einzelne SPEAR-Instanz fotorealistische Beauty-Bilder mit 1920x1080 Pixeln direkt in das NumPy-Array des Benutzers mit 73 Bildern pro Sekunde rendern – eine Größenordnung schneller als bestehende UE-Plugins – und bietet gleichzeitig Ground-Truth-Bildmodalitäten, die in keinem bestehenden UE-basierten Simulator verfügbar sind (z. B. eine nicht-diffuse intrinsische Bildzerlegung, Material-IDs und physikalisch basierte Schattierungsparameter). Schließlich führt SPEAR ein ausdrucksstarkes hochrangiges Programmiermodell ein, das es Benutzern ermöglicht, komplexe Graphen von UE-Arbeitsabläufen mit beliebigen Datenabhängigkeiten zwischen Arbeitselementen zu spezifizieren und diese Graphen deterministisch innerhalb eines einzelnen UE-Frames auszuführen. Wir demonstrieren den Nutzen von SPEAR anhand einer vielfältigen Sammlung von Beispielanwendungen: Steuerung mehrerer verkörperter Agenten mit unterschiedlichen Aktionsräumen (z. B. Menschen, Autos und Roboter) in mehreren realen UE-Projekten; Rendern fotorealistischer stadtgroßer Umgebungen; Manipulation der prozeduralen Inhaltsgenerierungssysteme der UE; Rendern synchronisierter Multiview-Bilder detaillierter menschlicher Gesichter; Koordination einer interaktiven Co-Simulation mit dem MuJoCo-Physiksimulator; und Bearbeiten von Szenen mit natürlicher Sprache über einen KI-Code-Assistenten.
Wir präsentieren AffectFlow-DINO, ein Multi-Task-Lernsystem für die 11. ABAW-Challenge, das eine standardmäßige deterministische Architektur um einen bedingten Kopf mit korrigiertem Fluss erweitert, um die inhärente Ambiguität von Gesichtsverhalten im Freifeld zu modellieren. Anstatt eine einzelne Schätzung des Affekts vorherzusagen, lernt das Modell eine bedingte generative Verteilung, die durch Monte-Carlo-Sampling unsicherheitsbewusste Eine-zu-Viele-Vorhersagen ermöglicht. Das System schätzt gleichzeitig kontinuierliche Valenz-Arousal-Werte, klassifiziert acht Gesichtsausdrücke und erkennt zwölf Aktions-Einheiten aus statischen Gesichtsbildern. Aufbauend auf einem eingefrorenen DINOv3 ViT-S/16-Backbone zeigen umfangreiche Ablationsstudien, dass die Decodierung mit korrigiertem Fluss die deterministische Vorhersage konsequent verbessert, insbesondere bei der Valenz-Arousal-Schätzung (CCC-V +0,058). Wir zeigen weiterhin, dass eine nachträgliche Schwellenwertkalibrierung die Leistung bei stark unbalancierten seltenen Klassen (z. B. Angst: 3,8 % → 33,1 %) ohne erneutes Training effektiv wiederherstellt. In Kombination mit Feinabstimmung des Backbones und Nachjustierung des Flusses erreicht das endgültige Modell P_MTL = 1,177 und übertrifft damit die offizielle Challenge-Baseline von P_MTL = 0,45 deutlich.
Sprachen mit reichhaltiger statischer Semantik, wie Rust, bieten stärkere Garantien für KI-generierten Code, doch ihre Strenge erschwert die Generierung. Fertige Compiler können nach der Generierung nützliches Feedback geben, leiten aber keine Zwischenschritte der Generierung an, wie sie etwa bei der autoregressiven Dekodierung in großen Sprachmodellen (LLMs) auftreten. Constrained Decoding greift früher ein, indem es während des Samplings ungültige Token zurückweist, erfordert jedoch White-Box-Modellzugriff und eine aufwändige Neuimplementierung für semantische Einschränkungen. Wir führen die generative Kompilierung ein – den ersten Ansatz, um Compiler-Feedback zu partiellen Programmen während der Generierung zu erhalten. Das zentrale technische Hilfsmittel ist ein Sealor: eine leichte, überwiegend syntaxgesteuerte Transformation, die partielle Programme in vollständige Programme umwandelt, die Standardcompiler diagnostizieren können. Es ist so konzipiert, dass partiell vervollständigbare Programme nie abgelehnt werden, während genügend Codekontext erhalten bleibt, um echte Sackgassen frühzeitig zu erkennen. Wir konstruieren einen solchen Sealor für einen rust-ähnlichen Kernkalkül und beweisen, dass er diese Eigenschaften erfüllt – alles in Lean formalisiert. Wir erweitern ihn zum ersten Partialprogramm-Prüfer für echtes Rust. Wir evaluieren unsere Methode an anspruchsvollen Rust-Codeaufgaben auf Repository-Ebene, sowohl mit modernen Black-Box-Modellen als auch mit Open-Weight-Modellen. Wir zeigen, dass generative Kompilierung im Vergleich zu standardmäßigem Post-Generations-Feedback die Anzahl nicht kompilierender Ausgaben reduziert und die funktionale Korrektheit verbessert. Dies gelingt, indem sie ein breites Spektrum von Fehlern nahe ihrer Quelle und früh während der Generierung erkennt, wodurch Fehlerkaskaden reduziert und gezielte Diagnosen ermöglicht werden. Im weiteren Sinne ist generative Kompilierung ein Schritt dahin, Compiler zu Bürgern erster Klasse in der KI-gestützten Programmierung zu machen, die während der Generierung aktiv sind, anstatt eine separate Nachkontrolle darzustellen.