Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Das Gedächtnis von Agenten für große Sprachmodelle (LLM-Agenten) hat sich rasant von einfachen abrufverstärkten Mechanismen zu einem Datenverwaltungssystem entwickelt, das dauerhafte Informationsspeicherung, Abruf, Aktualisierung, Konsolidierung und dynamische Lebenszyklusverwaltung während der gesamten Agentenausführung unterstützt. Trotz dieser Entwicklung bewerten bestehende Evaluierungen das Agentengedächtnis hauptsächlich anhand von End-to-End-Aufgabenerfolgsmetriken (z. B. F1, BLEU), während sie das zugrundeliegende System als monolithische Blackbox behandeln. Infolgedessen bleiben kritische systembezogene Belange – darunter Betriebskosten, architektonische Abwägungen zwischen Speichermodulen und Robustheit bei dynamischen Wissensaktualisierungen – unzureichend erforscht. In diesem Papier präsentieren wir eine systematische experimentelle Studie des Agentengedächtnisses aus der Perspektive der Datenverwaltung. Wir schlagen einen analytischen Rahmen vor, der das Agentengedächtnis in vier Kernmodule zerlegt: Speicherrepräsentation und -speicherung, Extraktion, Abruf und Routing sowie Wartung. In diesem Rahmen bewerten wir 12 repräsentative Speichersysteme und zwei Referenzbaselines über fünf Benchmark-Workloads hinweg, die 11 Datensätze umfassen. Unsere umfassende End-to-End-Bewertung zeigt, dass keine einzelne Architektur in allen Szenarien dominiert; stattdessen hängt die Effektivität stark davon ab, wie gut die Speicherstruktur auf den Workload-Engpass abgestimmt ist. Darüber hinaus quantifizieren wir durch feinkörnige Ablationsstudien ihre individuellen Auswirkungen auf Repräsentationstreue, Abrufpräzision, Aktualisierungskorrektheit und Langzeitstabilität. Schließlich decken wir Kosten-Leistungs-Abwägungen unter realistischen Workloads auf und zeigen, dass lokalisierte Wartung kosteneffizienter ist als globale Neuorganisation. Basierend auf diesen Erkenntnissen identifizieren wir vielversprechende Richtungen zur Entwicklung wirklich agenteneigener Speichersysteme. Der Code ist öffentlich verfügbar unter https://github.com/OpenDataBox/MemoryData.
Open-Domain-subjektgesteuerte Text-zu-Video-Generierung (S2V) hat in Wissenschaft und Industrie großes Interesse geweckt. Open-Domain-S2V umfasst hauptsächlich zwei Szenarien: In-Domain, bei dem die Merkmale des Referenzsubjekts so weit wie möglich erhalten bleiben sollen, und Cross-Domain, bei dem die intrinsischen Merkmale des Subjekts bewahrt werden, während subjektirrelevante Eigenschaften flexibel entsprechend der Textvorgabe variieren können. Bestehende Methoden konzentrieren sich primär auf die Maximierung der Subjekttreue in In-Domain-Szenarien, was ihre Editierbarkeit und Anpassungsfähigkeit in Cross-Domain-Szenarien wie neuartigen Stilen, semantischen Kombinationen oder Domänenattributen einschränkt. In dieser Studie schlagen wir vor, dass eine ideale S2V-Methode flexibel zwischen verschiedenen Domänen pendeln sollte, um sowohl in In-Domain- als auch in Cross-Domain-Szenarien eine starke Leistung zu erzielen. Zu diesem Zweck stellen wir DomainShuttle vor, das eine hohe Treue und generative Flexibilität für die Open-Domain-Videopersonalisierung erreicht. Im Detail führen wir Domain-MoT ein, das Videos und Referenzmerkmale entkoppelt und das domänenbewusste AdaLN für eine domänenspezifische Modellierung von Referenzbildern einführt. Anschließend führen wir das Video-Reference-DualRoPE-Schema ein, das Referenzbild-Tokens und Video-Tokens in separate RoPE-Räume platziert, um eine präzise subjektbezogene räumliche Modellierung zu ermöglichen, sowie den Cross-Pair-Consistent-Loss, der darauf abzielt, intrinsische Subjektmerkmale zu extrahieren, die von irrelevanten Merkmalen unbeeinflusst bleiben. Umfangreiche Experimente zeigen, dass DomainShuttle im Vergleich zu bestehenden Methoden signifikante Leistungsverbesserungen erzielt und eine hohe Subjekttreue und generative Flexibilität in verschiedenen Open-Domain-Anwendungsszenarien aufweist.
Wir präsentieren Wan-Streamer, ein natives Streaming-End-to-End-Foundation-Modell, das von Grund auf für Echtzeit-, Niedriglatenz- und Vollduplex-Audio-Video-Interaktion konzipiert wurde. Wan-Streamer modelliert nahtlos Sprache, Audio und Video sowohl als Eingabe als auch als Ausgabe in einem einzigen Transformer, wobei die Sequenz als verschachtelte visuelle, Audio- und Text-Eingabe-Tokens zusammen mit visuellen, Audio- und Text-Ausgabe-Tokens dargestellt wird, koordiniert durch block-kausale Aufmerksamkeit für inkrementelles Streaming. Im Gegensatz zu kaskadierten interaktiven Systemen, die auf separate VAD-, ASR-, Sprach-, TTS-, audiogesteuerte Animations- oder Videogenerierungsmodule angewiesen sind, verlässt sich Wan-Streamer nicht auf externe Sprach-, Sprach-, Avatar- oder Videogenerierungsmodule: Wahrnehmung, Schlussfolgerung, Generierung, Antwortzeitpunkt, Sprecherwechsel-Management und modalitätsübergreifende Synchronisation werden gemeinsam in einem einzigen Modell gelernt, wodurch Pipeline-Latenz und Fehlerakkumulation reduziert werden. Um eine natürliche Audio-Video-Reaktionsfähigkeit zu unterstützen, gestalten wir den gesamten Stack neu im Hinblick auf Streaming-Fähigkeit, einschließlich kausaler Encoder, kausaler Decoder, block-kausaler Aufmerksamkeit und multimodaler Token-Scheduling mit niedriger Latenz, was Streaming-Einheiten von nur 160 ms bei 25 fps ermöglicht. Wan-Streamer erreicht eine modellseitige Antwortlatenz von etwa 200 ms und eine Gesamtinteraktionslatenz von etwa 550 ms bei Kombination mit 350 ms bidirektionaler Netzwerklatenz, was eine Duplex-Audio-Video-Kommunikation unter einer Sekunde unterstützt. Diese Ergebnisse positionieren Wan-Streamer als ein einheitliches, end-to-end, multimodales interaktives Foundation-Modell für Streaming-Interaktion mit niedriger Latenz.
Fotografie in der realen Welt erfordert während der Aufnahme eine Anleitung sowohl für den Bildausschnitt der Kamera als auch für die Pose des Motivs. Bestehende Benchmarks für ästhetischen Bildzuschnitt bewerten jedoch hauptsächlich die nachträgliche Vorhersage von Bildausschnitten und übersehen motivseitige Empfehlungen, sodass die Fähigkeiten multimodaler großer Sprachmodelle (MLLMs) zur Anleitung während der Aufnahme wenig erforscht sind. Um diese Lücke zu schließen, führen wir CaptureGuide-Bench ein, einen Benchmark mit zwei komplementären Aufgaben: fotografenseitige Entscheidung und Verfeinerung der Komposition sowie motivseitige, szenenabhängige Posenempfehlung. Unsere Evaluierung zeigt Einschränkungen: Allgemeine MLLMs können Kompositionsentscheidungen treffen, verfügen jedoch nicht über eine präzise Lokalisierung zur Verfeinerung, während spezialisierte Modelle für ästhetischen Bildzuschnitt effektiv Bildausschnitte lokalisieren, aber auf die Verfeinerung beschränkt sind; keines bietet umsetzbare Posenanleitung. Zur Unterstützung der Modellentwicklung erstellen wir zudem den CaptureGuide-Datensatz mit 130.000 Stichproben, die textliche Begründungen und strukturierte visuelle Annotationen enthalten, und entwickeln ShutterMuse, ein einheitliches MLLM, das mit überwachtem und bestärkendem Feintuning trainiert wurde. Experimente auf CaptureGuide-Bench zeigen, dass ShutterMuse unter den evaluierten Baselines die insgesamt beste fotografenseitige Leistung und eine wettbewerbsfähige motivseitige Posenempfehlung mit deutlich niedrigeren Inferenzkosten erzielt, was das Potenzial von MLLMs als interaktive Assistenten für die Fotografie während der Bildaufnahme demonstriert.
Moderne große Sprachmodelle werden überwiegend mit autoregressiver Faktorisierung und kausaler Aufmerksamkeit trainiert. Wir stellen iLLaDA vor, ein von Grund auf trainiertes Masked-Diffusion-Sprachmodell mit 8 Milliarden Parametern und vollständig bidirektionaler Aufmerksamkeit. iLLaDA behält das Masked-Diffusion-Ziel während des gesamten Vorabtrainings und der überwachten Feinabstimmung (SFT) bei, skaliert das Vorabtraining auf 12 Billionen Token und die Feinabstimmung auf einen Anweisungskorpus von 25 Milliarden Token über 12 Epochen. Darüber hinaus nutzen wir die Erzeugung variabler Längen für die Effizienz und führen ein konfidenzbasiertes Scoring für Multiple-Choice-Bewertungen ein. Im Vergleich zu LLaDA verbessert sich iLLaDA breit über allgemeine, mathematische und Code-Benchmarks; zum Beispiel verbessert sich iLLaDA-Base um 21,6 Punkte bei BBH und 14,9 Punkte bei ARC-Challenge, während sich iLLaDA-Instruct um 14,5 Punkte bei MATH und 16,5 Punkte bei HumanEval verbessert. Trotz seines nicht-autoregressiven Trainings bleibt iLLaDA auch auf mehreren Benchmarks wettbewerbsfähig mit Qwen2.5 7B. Diese Ergebnisse zeigen, dass vollständig bidirektionales Diffusionstraining von Grund auf ein wettbewerbsfähiger Weg zu leistungsstarken Sprachmodellen ist. Modellgewichte und Code: https://github.com/ML-GSAI/LLaDA.
Während Große Sprachmodelle (Large Language Models, LLMs) die Text-zu-Code-Synthese erheblich vorangebracht haben, spezifizieren viele reale Programmieraufgaben die Absicht durch visuelle Artefakte wie Screenshots, Diagramme, Vektorgrafiken, Videos und interaktive Zustände. Diese Aufgaben erfordern von Modellen, visuelle Wahrnehmung mit ausführbaren Programmen zu verknüpfen, da die Korrektheit nicht nur von der Syntax, sondern auch vom Layout, der Datensemantik, dem Interaktionsverhalten und domänenspezifischen Einschränkungen abhängt, die nach der Ausführung gelten. Diese Untersuchung betrachtet multimodale Code-Intelligenz und umfasst Systeme, die Code unter visuell gestützten Eingaben und Ausgaben generieren, bearbeiten, verfeinern oder damit argumentieren. Wir formulieren das Feld zunächst anhand der Rolle, die Code in jeder Aufgabe spielt, und unterscheiden Code als gerendertes Artefakt, als editierbare symbolische Struktur, als wissenschaftliche Darstellung, als Zwischenablage einer Reasoning-Spur oder als ausführbare Richtlinie bzw. Werkzeugschnittstelle. Anschließend organisieren wir Benchmarks und Methoden in vier Bereiche: grafische Benutzeroberfläche, wissenschaftliche Visualisierung, strukturierte Grafiken sowie Grenzaufgaben und Frameworks. Diese Taxonomie verbindet ausgereifte Probleme der Artefakterzeugung mit aufkommenden agentischen und vereinheitlichten Umgebungen und ermöglicht uns zu vergleichen, wie verschiedene Aufgaben mit Korrektheitsbelegen umgehen. Mit Blick in die Zukunft argumentieren wir, dass die zukünftige Forschung von vier verifikationszentrierten Richtungen profitieren könnte. Multi-Signal-Validierung kann komplementäre Korrektheitsbelege kombinieren, Multi-Zustands-Verifikation kann das Verhalten über Ausführungspfade hinweg testen, aufgabenübergreifende Transfertests können wiederverwendbare visuell-code-bezogene Fähigkeiten untersuchen, und verifizierbare Agentenspuren können aufdecken, ob Agentenhandlungen auf visuellen Belegen beruhen. Zusammengenommen könnten diese Richtungen das Feld von der Einzelausgabe-Imitationslogik hin zu evidenzbasierten ausführbaren Systemen bewegen. Ein laufendes Projekt und Ressourcen sind verfügbar unter https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.
Die Synthese eines Videos aus einer neuen Perspektive aus einem monokularen Referenzvideo entlang einer Ziel-Kameratrajektorie erfordert sowohl geometrische Konsistenz als auch Bewegungstreue in Bezug auf das Referenzvideo. Bestehende Methoden, die auf expliziten 3D-Repräsentationen basieren, werden durch die Genauigkeit handelsüblicher Rekonstruktionsmodule eingeschränkt, die bei dynamischen Objekten in monokularen Videos oft ungenaue Geometrien liefern. Im Gegensatz dazu können Methoden, die ausschließlich auf Kamerabedingungen basieren, eine hohe visuelle Qualität erreichen, haben aber oft Schwierigkeiten, die geometrische und Bewegungskonsistenz zu wahren. In dieser Arbeit stellen wir MVTrack4Gen (Multi-View Point Tracking for Novel-View Generation) vor, ein bewegungsbewusstes Trainingsframework, das Multi-View-Punktverfolgung als zusätzliches geometrisches und bewegungsbezogenes Überwachungssignal für ausschließlich kamerabedingte Diffusionsmodelle zur Neuansichtsvideogenerierung nutzt. Unser wichtigster Befund ist, dass bestimmte Aufmerksamkeitsschichten starke Korrespondenzhinweise kodieren, bei denen Query-Merkmale auf Key-Merkmale an geometrisch korrespondierenden Positionen über Ansichten und Zeit hinweg achten, und dass die Fehlausrichtung dieser Korrespondenzen zu Bewegungskonsistenz führt. Basierend auf dieser Beobachtung leiten wir diese Merkmale in einen zusätzlichen Multi-View-Tracking-Head und trainieren das Diffusionsmodell gemeinsam mit einem Punktverfolgungsziel. Durch die explizite Stärkung dieser bewegungsbewussten Korrespondenzen verbessert MVTrack4Gen bestehende Modelle, um die Bewegung in der Referenzansicht besser zu verfolgen und die geometrische Konsistenz zwischen den Ansichten zu wahren. Über verschiedene Benchmarks hinweg erreicht unsere Methode eine hochmoderne geometrische Konsistenz und wettbewerbsfähige Kameragenauigkeit.
Feinkörnige visuelle Argumentation erfordert von multimodalen großen Sprachmodellen (MLLMs), aufgabenrelevante visuelle Evidenz zu identifizieren und ihre Schlussfolgerungen auf lokale Bildregionen zu stützen. Bestehende agentenbasierte Methoden verlassen sich typischerweise auf verstärkendes Lernen mit überprüfbaren Belohnungen oder überwachtes Feintuning anhand groß angelegter annotierter Argumentationspfade, was zu kostspieliger Exploration, manuell entworfenen Verifikationsregeln oder starker Abhängigkeit von textueller Überwachung führt. Ein natürlicher Weg, solche externen Antwortlabels zu vermeiden, besteht darin, aus Trajektorien zu lernen, die vom Schüler selbst stammen – dies verweist auf On-Policy-Destillation (OPD). Um zu verstehen, was OPD für die visuelle Argumentation leisten kann und wo seine Grenzen liegen, betrachten wir es erneut als negativfreie Stop-Gradient-Ausrichtung. Diese Perspektive zeigt, dass OPD zwar eine effektive Korrektur auf Token-Ebene ermöglicht, seine Obergrenze jedoch durch das Fehlen einer Unterscheidung auf Trajektorienebene eingeschränkt wird. Motiviert durch diese Beobachtungen schlagen wir V-Zero vor, ein antwortlabel-freies Framework für visuelle Argumentation mit kontrastivem Evidenz-Gating. V-Zero verwendet keine annotierten textuellen Antwortlabels; stattdessen wird während des Trainings ein fragerelevanter regionaler Ausschnitt mit einer negativen visuellen Ansicht gepaart, um schülergenerierte Trajektorien zu bewerten und die dichte Destillation auf Token-Ebene zu steuern. Experimente auf mehreren Benchmarks zur visuellen Argumentation zeigen, dass V-Zero die feinkörnige visuelle Argumentation konsequent verbessert und gleichzeitig eine starke Generalisierung beibehält. Bemerkenswerterweise ist V-Zero mehr als 5-mal schneller als frühere überwachte Feintuning-Methoden und mehr als 10-mal schneller als Baselines mit verstärkendem Lernen. Code und Datensatz werden unter https://github.com/eVI-group-SCU/V-Zero veröffentlicht.
Die Erzeugung eines kohärenten Multishot-Videos erfordert einen strukturierten, shotübergreifenden Speicher. Das Erscheinungsbild des Subjekts, der Szenenkontext und die Sprecheridentität müssen über Schnitte hinweg bestehen bleiben. Bisherige Ansätze trainieren entweder End-to-End über Sequenzen fester Länge und können nicht skaliert werden, erzeugen Shot-für-Shot mit linear wachsenden Speicherbänken oder orchestrieren vortrainierte Generatoren unter einem LLM-Planer ohne ein Multishot-bewusstes Backbone. Wir stellen UnityShots vor, ein speichergesteuertes Multishot-Audio-Video-Generierungssystem, das auf LTX-2.3 aufbaut und auf annotierten Film- und Musikvideo-Shots trainiert wurde. Der Videostream unterhält zwei Slots fester Größe: einen Langzeitspeicher-Slot (LTM), der im Eröffnungsshot verankert ist, und einen Kurzzeitspeicher-Slot (STM), der den unmittelbar vorhergehenden Endabschnitt hält. Beide werden bei jedem Schnitt durch ein grenzbedingtes Gate aktualisiert, das die visuelle Schnittwahrscheinlichkeit und Beat-Tracker-Signale fusioniert. Der Audiostream injiziert bei jedem Shot einen Referenzsprecher-Token, um die Stimmklangfarbe ohne eine gleitende Audio-Bank zu bewahren. Ein diskreter Schnitttyp-Prior, gelernt durch AdaLN, wird zu einem Inferenzzeit-Kontrollknopf über die Übergangsstärke. Wir veröffentlichen einen Benchmark mit 200 multikulturellen Multishot-Sequenzen aus sechs ethnischen Regionen und zehn oder mehr Sprachen, mit Referenzidentitäten pro Shot, Referenzaudio und Übergangslabels pro Grenze. Bewertet über I2V-, T2V- und R2V-Konditionierungsmodi, führt UnityShots die Open-Source-Baselines bei jeder Shot-übergreifenden Kohärenzmetrik an und gleicht dem stärksten Closed-Source-System auf den Multishot-Achsen.
Autoregressive Videodiffusion mit kausalen Diffusionstransformatoren hat sich als wichtiges Paradigma für Echtzeit-Streaming-Videogenerierung und aktionsbedingte interaktive Weltmodelle etabliert. In dieser Arbeit erweitern wir rCM, ein fortgeschrittenes Framework zur Diffusionsdestillation, auf autoregressive Videodiffusion. Die Kernphilosophie von rCM liegt in der Komplementarität von Vorwärts- und Rückwärtsdivergenzen, die in der Diffusionsdestillation durch Konsistenzmodelle (CMs) bzw. Distribution Matching Distillation (DMD) repräsentiert werden. Diese Philosophie überträgt sich natürlich auf den autoregressiven Kontext, wo Teacher-Forcing (TF) ein Offline-, Vorwärtsdivergenz-basiertes kausales Trainingsparadigma bereitstellt, während Self-Forcing (SF) einer On-Policy-, Rückwärtsdivergenz-Verfeinerung entspricht. Unsere Beiträge sind: (1) durch umfangreiche Experimente zeigen wir, dass Teacher-Forcing-CM derzeit die beste Ergänzung zu Self-Forcing-DMD als Initialisierungsstrategie ist; (2) wir präsentieren die erste Implementierung von teacher-forcing-basierten kontinuierlichen CMs (z.B. sCM/MeanFlow) für autoregressive Videodiffusion, ermöglicht durch unseren benutzerdefinierten FlashAttention-2-JVP-Kernel mit Maskierung, wodurch eine 10-mal schnellere Konvergenz im Vergleich zu diskreten CMs (dCMs) erreicht wird; (3) wir führen Causal-rCM ein, ein führendes, einheitliches und skalierbares Algorithmus-Infrastruktur-Open-Rezept für Diffusionsdestillation und kausales Training; (4) wir erzielen eine hochmoderne Leistung bei der Streaming-Videogenerierung sowohl im frame- als auch im chunk-basierten Modus, wobei wir ausschließlich synthetische Daten zum Training verwenden. Bemerkenswerterweise erreicht unser destilliertes 2-Schritt-kausales Wan2.1-1.3B-Modell einen VBench-T2V-Score von 84,63 mit nur 1 oder 2 Abtastschritten. Wir wenden Causal-rCM weiterhin auf Cosmos 3 an, ein fortschrittliches omnimodales Weltfundamentmodell für physikalische KI mit aktionsbedingter Generierungsfähigkeit, das ein interaktives Weltmodell ermöglicht.
Vereinheitlichte multimodale große Sprachmodelle (MLLMs) erzielen eine hohe Qualität bei der Text-zu-Bild-Generierung, haben aber weiterhin Schwierigkeiten mit der strukturbewussten Befolgung von Prompts, bei der Objektanzahlen, räumliche Beziehungen, Attributbindungen und grobe Layouts erhalten bleiben müssen. Wir führen diese Einschränkung teilweise auf die Vermischung von struktureller Planung und Erscheinungsbildrendering in einem einzigen Konditionierungsstrom zurück. Um dieses Problem zu adressieren, schlagen wir die Implicit Visual Chain-of-Thought (IV-CoT) vor, ein latentes visuelles Reasoning-Framework für die abfragekonditionierte Bildgenerierung. IV-CoT zerlegt die visuellen Konditionierungsanfragen in eine strukturell-zu-semantische Kaskade, bei der strukturelle Anfragen zunächst einen latenten visuellen Plan bilden und semantische Anfragen dann das Erscheinungsbild, konditioniert auf diesen Plan, rendern. Zur Steuerung der strukturellen Anfragen führen wir eine nur auf das Training beschränkte Skizzenüberwachung ein, die diese dazu anregt, Struktur aus Skizzen zu erfassen, ohne dass zur Inferenzzeit eine Skizzenextraktion oder Zwischendekodierung erforderlich ist. IV-CoT führt implizites CoT-Reasoning in einem einzigen Vorwärtsdurchlauf durch und erzielt überlegene Ergebnisse auf GenEval und T2I-CompBench. Visualisierungen und Analysen zeigen, dass die erlernten strukturellen und semantischen Anfragen komplementäre Rollen bei der strukturbewussten Generierung spielen.
Wir präsentieren EBench, einen Simulationsbenchmark, der generalistische mobile Manipulationsstrategien über eine einzelne Erfolgsratenmetrik hinaus diagnostiziert. EBench umfasst 26 vielfältige und anspruchsvolle Manipulationsaufgaben, die entlang von 5 Fähigkeitsdimensionen und 4 Generalisierungsdimensionen annotiert sind. Wir evaluieren modernste generalistische Manipulationsmodelle, darunter π_0, π_{0,5}, XVLA und InternVLA-A1, und zeigen, dass Modelle mit ähnlichen Erfolgsraten bemerkenswert unterschiedliche Fähigkeitsprofile aufweisen: π_{0,5} erzielt die höchste Test-Erfolgsrate und die beste Train-Test-Retention, während InternVLA-A1 bei mobiler Manipulation dominiert, aber bei Geschicklichkeitsaufgaben zusammenbricht, und XVLA im Vergleich zu anderen Strategien Stärken in einer disjunkten Menge atomarer Fähigkeiten aufweist. Über die Profilierung von Fähigkeiten hinaus analysiert EBench die Generalisierungsfähigkeit aus 4 repräsentativen Perspektiven und identifiziert die Auswirkungen verschiedener Verteilungsverschiebungsfaktoren. Die Ergebnisse offenbaren Stärken und Schwächen von Modellen hinter einer Gesamtpunktzahl. Wir hoffen, dass dieser Benchmark eine breite Palette diagnostischer Signale bietet, um die Iteration generalistischer Manipulationsmodelle zu leiten.
Der Per Anhalter durch die Welt der Agentischen KI ist ein umfassendes Praktiker-Nachschlagewerk für den Aufbau autonomer KI-Systeme. Das Buch deckt den gesamten Stack von den ersten Prinzipien bis zur Produktionsbereitstellung ab und ist um eine zentrale These herum aufgebaut: Die Entwicklung großartiger agentischer Systeme erfordert das Verständnis jeder Ebene der Pipeline, nicht nur einer. Das Buch beginnt mit der LLM-Basis – Transformer-Architektur, GPU-Systeme, Training und Feinabstimmung (SFT, LoRA, MoE), Modellkompression und Inferenzoptimierung – behandelt als wesentliche Grundlagen, nicht als primärer Fokus. Anschließend entwickelt es die Ausrichtungs- und Reasoning-Ebene: Reinforcement Learning aus menschlichem Feedback (RLHF), PPO, DPO und seine Varianten, GRPO, Reward-Modellierung und RL für große Reasoning-Modelle, einschließlich Chain-of-Thought und Testzeit-Skalierung. Die zweite Hälfte ist der eigentlichen agentischen KI gewidmet. Themen umfassen agentisches Training und trajektorienbasiertes RL, Retrieval-Augmented Generation (RAG und Agentisches RAG), Gedächtnissysteme (im Kontext, extern, episodisch und semantisch), Agenten-Harness-Design und Kontextmanagement sowie eine Taxonomie von Agenten-Entwurfsmustern. Die Koordination zwischen Agenten wird eingehend behandelt: das Model Context Protocol (MCP), Agentenfähigkeiten und Werkzeugnutzung, das Agent-to-Agent (A2A)-Kommunikationsprotokoll sowie Multi-Agenten-Architekturen mit zentralisierten, dezentralen und hierarchischen Topologien. Das Buch schließt mit Agentenentwicklungs-Frameworks, agentischem UI-Design, Evaluierungsmethodik für agentische Aufgaben und Produktionsbereitstellung. Jedes Kapitel verbindet rigorose theoretische Grundlagen mit Implementierungsanleitungen, Codebeispielen und Verweisen auf die Primärliteratur.
Chain-of-Thought (CoT) hat sich zu einer Standardmethode zur Verbesserung der Denkfähigkeiten großer Sprachmodelle (Large Language Models, LLMs) entwickelt, indem schrittweise Denkprozesse angeregt werden; seine Wirksamkeit bei multimodalen Aufgaben bleibt jedoch unklar. In dieser Arbeit zielen wir darauf ab, die zentrale Frage systematisch zu untersuchen: Was kann multimodales Chain-of-Thought-Denken leisten, und wo und warum stößt es an seine Grenzen? Zu diesem Zweck evaluieren wir 12 multimodale Aufgaben aus den Kategorien Wahrnehmung und Denken unter Verwendung von 14 Nicht-Denk-Modellen (non-reasoning models) und 8 Denk-Modellen (reasoning models). Unsere Analyse offenbart mehrere wichtige Erkenntnisse: (1) CoT ist kein kostenloses Mittagessen und sollte je nach den spezifischen Anforderungen jeder Aufgabe selektiv eingesetzt werden. Bei Wahrnehmungsaufgaben kann CoT zu unerwünschten Nebeneffekten führen, wie etwa einer verminderten Leistung bei der visuellen Verankerung (visual grounding) und der Objektzählung. Im Gegensatz dazu erweist es sich als wirksam für Denkaufgaben, die mathematisches, wissenschaftliches und mehrbildliches Denken umfassen. (2) Im Vergleich zu den ursprünglichen Modellen erzielen bestehende quelloffene multimodale Denkmodelle oft nur marginale Verbesserungen insgesamt, möglicherweise aufgrund einer übermäßigen Betonung des mathematischen Denkens zu Lasten breiterer Fähigkeiten. (3) Das visuelle Denken bleibt ein zentraler Engpass für das aktuelle multimodale CoT, da Modelle ein Muster von „Leichtem Schauen, Schwerem Denken“ aufweisen, bei dem die verbale Reflexion während des Denkprozesses an- und abschwillt, während die visuelle Reflexion stetig abnimmt. Diese Ergebnisse deuten darauf hin, dass multimodales CoT zwar relativ gut mit verbaler Reflexion umgeht, ihm jedoch die Fähigkeit fehlt, während des gesamten Denkprozesses eine tiefe visuelle Introspektion aufrechtzuerhalten.
Wir stellen Autodata vor, eine allgemeine Methode, die es KI-Agenten ermöglicht, als Datenwissenschaftler zu agieren, die hochwertige Trainings- und Evaluationsdaten erstellen. Wir zeigen, wie man einen solchen Datenwissenschaftler-Agenten trainieren (meta-optimieren) kann, sodass er lernt, noch stärkere Daten zu erzeugen. Wir beschreiben die allgemeine Formulierung und eine spezifische praktische Implementierung, Agentic Self-Instruct. Wir führen Experimente zu Aufgaben der Informatikforschung, Rechtsargumentation und Argumentation mit mathematischen Objekten durch, bei denen wir im Vergleich zu klassischen synthetischen Datensatzerstellungsmethoden verbesserte Ergebnisse erzielen. Darüber hinaus führt die Metaoptimierung des Datenwissenschaftler-Agenten selbst zu einer noch stärkeren Leistungssteigerung. Agentische Datenerstellung bietet eine Möglichkeit, erhöhte Inferenzrechenleistung in ein qualitativ hochwertigeres Modelltraining umzuwandeln. Insgesamt glauben wir, dass diese Richtung das Potenzial hat, die Art und Weise zu verändern, wie wir KI-Daten erstellen.
Während das Virtuelle Video-Anprobieren (VVT) bemerkenswerte Fortschritte bei der Synthese realistischer Kleidungsüberlagerungen auf dynamischen Subjekten erzielt hat, bleiben bestehende Paradigmen grundlegend durch eine passive Abhängigkeit von Quellkameratrajektorien eingeschränkt, was die erforderliche interaktive Freiheit zur allseitigen Blickpunkterkundung nicht ermöglicht. Um diese Einschränkung zu beheben, definieren wir eine bahnbrechende Forschungsgrenze: das Kamera-steuerbare Virtuelle Video-Anprobieren (CaM-VVT). Im Gegensatz zu herkömmlichem VVT erfordert CaM-VVT nicht nur blickwinkelunabhängige Texture-Halluzination, sondern auch eine strenge strukturelle Synchronisation zwischen nicht-starren menschlichen Dynamiken und Hintergrundkontexten unter beliebigen, uneingeschränkten Kamerabewegungen. Um diese Herausforderungen zu bewältigen, präsentieren wir TryOnCrafter, das erste einheitliche DiT-basierte Framework, das speziell für die CaM-VVT-Aufgabe entwickelt wurde. Abweichend von impliziten Pixelraum-Manipulationen führen wir einen renderbaren 4D-Anprobier-Proxy ein, der das menschliche Subjekt explizit von der Umgebung entkoppelt. Dies wird erreicht, indem hochgetreue 2D-Anprobier-Priors in einen bekleideten, auf 3DGS basierenden Avatar destilliert werden, der anschließend über SMPL-X-Sequenzen animiert und metrisch ausgerichtet in eine rekonstruierte Hintergrundpunktwolke eingefügt wird. Dieser Proxy etabliert eine robuste strukturelle Grundlage mit überlegener Texturdichte und Bewegungsintegrität. Unser Proxy-verankerter Video-DiT nutzt diese robuste strukturelle Grundlage als primären geometrischen Anker und stellt sicher, dass die synthetisierten fotorealistischen Videos streng durch vorgeschriebene Trajektorien und physikalisch plausible Verformungen eingeschränkt sind. Dank der inhärenten Editierbarkeit des 4D-Proxys ermöglicht TryOnCrafter vielfältige nachgelagerte Anwendungen, darunter die menschliche Relokalisierung, "Bullet-Time"-Effekte und eine 360-Grad-Orbitalansicht.
WordArt (künstlerischer Text) zeichnet sich durch hochgradig angepasste Schriftarten, Texturen und Layouts aus, wodurch die WordArt-orientierte Szenentexterkennung (WATER) wesentlich anspruchsvoller ist als die allgemeine Szenentexterkennung (STR). Bestehende STR-Datensätze und -Methoden, die typischerweise auf reguläre Szenentexte und Eingaben mit festen Vorlagen ausgelegt sind, können nur schwer auf WATER skaliert werden. Daher zielen wir darauf ab, diese Aufgabe sowohl aus Daten- als auch aus Modellperspektive voranzutreiben. Auf der Datenseite konstruieren wir einen 2M großen synthetischen Datensatz, WATER-S, dessen Umfang im Vergleich zu bestehenden künstlerischen Textdaten um das Hundertefache verbessert wurde. WATER-S besteht aus zwei komplementären Teilmengen. Die eine wird durch eine verbesserte Rendering-Pipeline (SynthWordArt) erzeugt, die hochpräzise und kontrollierbare synthetische WordArt-Daten liefert. Die andere wird durch die Kombination von Qwen3-VL für das Prompt Mining und Z-Image für die Bildsynthese generiert, was die Abdeckung realistischer und vielfältiger Daten verbessert. Auf der Modellseite schlagen wir WATERec vor. Es verwendet einen visuellen Encoder, der Eingaben beliebiger Form unterstützt, und einen autoregressiven Decoder zur Modellierung komplexer Layouts, wodurch der Engpass von festen STR-Vorlagen bei WordArt strukturell durchbrochen wird. Experimente zeigen, dass diese Architektur frühere STR-Methoden übertrifft und bei unregelmäßigen Texten wie WordArt den neuesten Stand der Technik erreicht. Zusammen mit WATER-R, das sorgfältig aus vorhandenen realen STR-Daten reorganisiert wurde, erreicht unsere starke Baseline mit den neuen synthetischen Daten und dem Modell-Design eine Genauigkeit von 90,40 % auf WordArt-Bench und übertrifft sowohl allgemeine als auch OCR-spezialisierte Vision-Language-Modelle mit großem Abstand. Code und Daten sind verfügbar unter https://github.com/YesianRohn/WATER.
**On-Policy-Destillation (OPD)** verbessert das Reasoning großer Sprachmodelle (LLMs), indem ein Schülermodell auf seinen selbst generierten Ausgaben trainiert wird. Standard-OPD behandelt jedoch alle schülergenerierten Ausgaben (SGOs) unabhängig von ihrer Informativität gleich. Wir beobachten eine konsistente Asymmetrie in kontrollierten Filterexperimenten: Sowohl bei OPD als auch bei On-Policy-Selbstdestillation (OPSD) übertrifft das ausschließliche Training auf inkorrekten SGOs das Training auf ausschließlich korrekten. Unsere weitere Analyse deutet darauf hin, dass Modelle, die nur auf korrekten SGOs trainiert wurden, tendenziell kürzere Reasoning-Spuren erzeugen und ein schwächeres Reflexionsverhalten zeigen, während inkorrekte SGOs das explorative Reasoning nahe der Fähigkeitsgrenze des Modells besser erhalten. Um dieses Signal ohne vollständige antwortenthaltende Rollouts zu nutzen, führen wir **ReNIO** (Reweighting Negative Trajectory Importance for LLM On-Policy Distillation) ein. Durch die Verwendung des Schüler-zu-Lehrer-Wahrscheinlichkeitsverhältnisses identifiziert ReNIO entscheidende Token, die zu falschen Reasoning-Spuren führen, und aggregiert deren Information in eine normalisierte Stichprobengewichtung, wodurch inhärent größere Gewichte für wahrscheinlich negative Trajektorien vergeben werden, ohne die Korrektheit der endgültigen Antwort zu beobachten. Da ReNIO nur präfixbedingte Token-Wahrscheinlichkeiten nutzt, bleibt der Präfix-Trainingsvorteil der OPD gegenüber dem vollständigen Rollout im verstärkenden Lernen erhalten. Sowohl bei mathematischen Reasoning- als auch bei Code-Generierungsaufgaben verbessert ReNIO sowohl OPD als auch OPSD, mit repräsentativen relativen Steigerungen von bis zu 8,90% für Qwen3-1.7B und 10,00% für R1-Distill-Qwen-7B bei Benchmarks für mathematisches Reasoning. Code-Repository: https://github.com/BDML-lab/ReNIO.
Das Abrufen externen Wissens ist für die Lösung realer Aufgaben unerlässlich, bleibt jedoch herausfordernd, wenn die Beziehung zwischen einer Abfrage und dem relevanten Wissen implizite und komplexe Schlussfolgerungen erfordert, die über oberflächliche semantische oder lexikalische Übereinstimmungen hinausgehen (z. B. mathematische Probleme, die denselben Satz erfordern, oder Code, der tiefes logisches Denken erfordert). Bestehende Ansätze stützen sich hauptsächlich auf abfrageseitiges logisches Denken (z. B. Abfrageumschreibung), was eine erhebliche Online-Latenz mit sich bringt und die Möglichkeit, das logische Denken über den Wissenskorpus selbst durchzuführen (d. h. indexseitiges Denken), nicht ausreichend nutzt. In diesem Artikel schlagen wir RL-Index vor, ein agentenbasiertes Indexierungsframework, das die Schlussfolgerungslogik des Retrieval-Index als ein Problem des bestärkenden Lernens formuliert. Anstatt das logische Denken zur Abfragezeit durchzuführen, verlagert RL-Index das Denken auf die Indexierungsphase, indem es Dokumente mit von großen Sprachmodellen generierten Begründungen anreichert, die die latente Abfrage-Wissens-Beziehung explizit codieren. Um die Qualität dieser Begründungen zu optimieren, wenden wir die Gruppenbezogene Richtlinienoptimierung (GRPO) an und verwenden die Retrieval-Ähnlichkeit als überprüfbares Belohnungssignal, wodurch eine direkte Optimierung der Indexierungsentscheidungen für die Retrieval-Effektivität ermöglicht wird. Umfangreiche Experimente mit dem BRIGHT-Benchmark zeigen, dass RL-Index sowohl die Retrieval-Leistung als auch die nachgelagerte Frage-Antwort-Leistung konsequent verbessert, während die Online-Inferenzlatenz deutlich reduziert wird. Darüber hinaus generalisiert die erlernte Begründungsanreicherung über verschiedene Retriever und Generatoren hinweg, was ihre Robustheit als eine Plug-and-Play-Indexierungsstrategie in verschiedenen Retrieval-Systemen unterstreicht.
"Sprich kurz. Lass Grammatik weg. Spare Token." Dieser Höhlenmenschenstil wird weithin als Möglichkeit zur Senkung der Inferenzkosten beworben, doch ob tatsächlich etwas eingespart wird, hängt davon ab, welcher Kanal (die Eingabeaufforderung des Nutzers oder die Antwort des Modells) komprimiert wird. Wir stellen Cavewoman vor, ein Zwei-Kanal-Evaluationsprotokoll, das jede Generierung hinsichtlich Aufgabengenauigkeit, realisierter Kosten pro Element und Übereinstimmung mit dem Referenztext des Modells ohne Einschränkungen bewertet. Wir evaluieren acht Modelle auf fünf Datensätzen mit fünf Reduktionsstufen, wobei beide Kanäle an denselben Elementen gemessen werden. Ausgabekomprimierung senkt die realisierten Kosten bei den meisten API-Modellen (1,4- bis 2,4-fach pro Modell, im besten Fall bis zu 3-fach) und bei allen vier Open-Weight-Modellen unter öffentlicher Preisgestaltung. Eingabekomprimierung hat den gegenteiligen Effekt, eine strikte Verlust-Verlust-Situation: Sie erhöht die Nettokosten anstatt sie zu senken (~1,15-fach im Mittel über fünf Benchmarks, bis zu 1,8-fach beim schlechtesten Datensatz und 2,7-fach unter stärkerer Komprimierung), da die Modelle mit längeren Antworten kompensieren, während die Genauigkeit einbricht. Unter denselben Bedingungen weicht der Oberflächentext von der uneingeschränkten Referenz ab: Bei den nicht auf Reasoning ausgelegten Modellen sind etwa die Hälfte aller Generierungen korrekt, doch ihr Oberflächentext impliziert nicht mehr die eigene uneingeschränkte Basisgenerierung des Modells. Die Abweichung bleibt auch bei längenkontrollierter Neubewertung, Mehrfachvergleichskorrektur und Replikation unter komplementären semantischen Maßen bestehen. Code und Daten sind verfügbar unter https://github.com/danielle34/cavewoman.
Bestehende Low-Bit-KV-Cache-Quantisierer behandeln oft jeden gecachten Schlüssel als flachen Vektor. Unter RoPE zerfällt jedoch der Beitrag eines Schlüssels zu einem zukünftigen Aufmerksamkeitslogit in eine positionsabhängige Summe über zweidimensionale Frequenzblöcke. Dies macht die Schlüssel-Cache-Quantisierung zu einem blockweisen Bit-Zuweisungsproblem: Hochenergie-RoPE-Blöcke sind empfindlicher gegenüber Quantisierungsfehlern und sollten mehr Bits erhalten. Wir stellen Block-GTQ vor, einen RoPE-bewussten Bit-Zuordner für die Schlüssel-Cache-Quantisierung, der auf TurboQuant-MSE (TQ-MSE) aufbaut. Für jede Schicht und jeden KV-Kopf berechnet Block-GTQ einen label-freien Energiewert für jeden RoPE-Block und weist ganzzahlige Bitbreiten gierig nach marginalem Gewinn zu. Bei gleichen K/V-Bitbudgets erhält Block-GTQ die RoPE-Query-Key-Logits auf einem Zehn-Modell-Diagnosepanel besser, reduziert den MAE pro Schicht um 32–80 % bei 2 und 3 b/dim reiner K-Quantisierung und gewinnt alle 367/367 Schichtvergleiche gegen gleichmäßiges TQ-MSE. Diese Genauigkeitsgewinne übertragen sich auf stärkeren downstream-Kontextabruf, -verständnis und -schlussfolgern bei langen Kontexten. Bei K2V2 auf Llama-3.1-8B-Instruct steigert Block-GTQ den Sechs-Aufgaben-NIAH-Durchschnitt von 70,6 auf 97,4 und den LongBench-EN-Durchschnitt von 36,87 auf 53,31. Auf AIME 2024/2025 mit DeepSeek-R1-Distill-Qwen-7B erreicht Block-GTQ bei K3V2 ohne einen fp16-Puffer für aktuelle Schlüssel 51,7/37,5, nahe an fp16 mit 54,2/37,9, während gleichmäßiges TQ-MSE auf 0,0/0,0 einbricht. Wir implementieren zudem einen gepackten Cache-Bereitstellungspfad. Auf einer einzelnen H800-GPU mit Qwen2.5-3B-Instruct erreicht gepacktes K3V3 eine 3,24-fache KV-Cache-Kompression mit fp16-vergleichbarer Qualität, läuft 1,34× schneller als fp16-FlashAttention2 bei 128K Kontext, reduziert den Spitzenarbeitsspeicher von 56,31 GB auf 19,85 GB und bleibt bei 256K und 512K realisierbar, wo fp16 nicht mehr ausreicht. Code ist verfügbar unter https://github.com/JIA-Lab-research/blockgtq.
Da LLM-Agenten zunehmend autonom Werkzeuge auswählen, werden ihre Entscheidungen zwischen Werkzeugen mit unterschiedlichen Privilegien sicherheitsrelevant. Bisherige Studien zur Werkzeugauswahl konzentrieren sich jedoch auf sicherheitsunabhängige Metadaten-Präferenzen und lassen privilegiensensible Entscheidungen untererforscht. Um diese Lücke zu schließen, untersuchen wir die überprivilegierte Werkzeugauswahl, bei der ein Agent trotz einer ausreichenden Alternative mit niedrigeren Privilegien ein Werkzeug mit höheren Privilegien wählt oder auf ein solches eskaliert. Wir führen ToolPrivBench ein, um zu bewerten, ob Agenten Werkzeuge mit höheren Privilegien wählen, obwohl ausreichende Alternativen mit niedrigeren Privilegien existieren – gemessen sowohl an der anfänglichen Auswahl als auch an der Eskalation nach vorübergehenden Werkzeugfehlern. Über acht Domänen und fünf wiederkehrende Risikomuster hinweg stellen wir fest, dass überprivilegierte Werkzeugauswahl bei gängigen LLM-Agenten weit verbreitet ist und durch vorübergehende Fehler weiter verstärkt wird. Wir zeigen zudem, dass eine allgemeine Sicherheitsausrichtung nicht zuverlässig auf die Auswahl von Werkzeugen mit geringsten Privilegien übertragbar ist, während Steuerungen auf Prompt-Ebene bei vorübergehenden Fehlern nur eine begrenzte Abschwächung bieten. Daher führen wir eine privilegienbewusste Nachtrainings-Abwehr ein, die Agenten lehrt, ausreichende Werkzeuge mit niedrigeren Privilegien zu bevorzugen und nur bei Bedarf zu eskalieren. Unsere Abschwächungsexperimente zeigen, dass diese Abwehr die unnötige Nutzung hochprivilegierter Werkzeuge erheblich reduziert, während allgemeine Fähigkeiten erhalten bleiben.
KI-Agenten, die im Auftrag von Nutzern handeln, treffen ständig Entscheidungen. Damit Nutzer ihren Agenten vertrauen können, müssen diese Entscheidungen mit ihren tatsächlichen Wünschen übereinstimmen. Datenschutz ist ein wichtiges Ausrichtungsproblem für Agenten: Jede Nachricht, jeder Beitrag oder jeder Tool-Aufruf eines Agenten ist eine kontextbezogene Entscheidung darüber, was in welchem Umfang und unter welchen Bedingungen angemessen geteilt werden kann. Da solche Entscheidungen von sozialen Erwartungen und Normen abhängen, beschränkt sich menschliches Urteilsvermögen nicht nur auf die Kennzeichnung von Datenschutzverletzungen, sondern trägt auch zu deren Definition bei. Während bestehende Arbeiten auf unzuverlässigen Stellvertretern sowohl für Training als auch Evaluation beruhen, stellen wir menschliches Urteilsvermögen in den Mittelpunkt der agentischen Datenschutzausrichtung. Wir führen PrivacyAlign ein, einen Datensatz mit 1.350 Stichproben und 3.516 detaillierten Annotationen von 599 eindeutigen Annotatoren in verschiedenen Szenarien, in denen aktuelle LLMs tatsächlich Daten preisgeben, und nutzen ihn, um sowohl Ausrichtungstraining als auch automatisierte Evaluation in menschlichen Datenschutznormen zu verankern. Aufbauend auf diesen Annotationen zeigen wir zunächst, dass die Konditionierung von LLM-Richtern auf menschliche Annotationen und Erklärungen für Referenzantworten auf denselben Prompt ihre Urteile zuverlässiger macht. Anschließend führen wir annotationskonditionierte Belohnungsmodellierung ein, die diese Annotationen nutzt, um neue Antworten während des RL zu bewerten, und zeigen, dass kleine Open-Weight-Agenten, die mit dieser Belohnung trainiert wurden, besser mit menschlichen Datenschutznormen übereinstimmen, mit deutlichen Verbesserungen auf PrivacyAlign und bestehenden Datenschutz-Benchmarks für Agenten.
Aktuelle Fortschritte im Bereich des Stereo Matchings haben bemerkenswerte Genauigkeiten erzielt, beruhen jedoch oft auf großen Modellen, hohem Rechenaufwand oder zusätzlichen Wissensgrundlagenmodellen, was ihre Bereitstellung auf ressourcenbeschränkten Plattformen erschwert. Im Gegensatz dazu bieten effiziente Stereomodelle schnellere Inferenzen, gelten aber gemeinhin als weniger leistungsfähig für eine starke Zero-Shot-Generalisierung. In dieser Arbeit stellen wir diese Annahme infrage, indem wir Lite Any Stereo V2 (LAS2) vorstellen, eine ultraschnelle Modellserie, die für effizientes Zero-Shot-Stereo Matching konzipiert ist. LAS2 wird sowohl aus architektonischer als auch aus trainingsmethodischer Perspektive entwickelt. Architektonisch überdenken wir effizientes Stereodesign unter praktischen Bereitstellungsbedingungen und schlagen ein rein 2D-basiertes Kostenaggregations-Framework vor, das für die tatsächliche Inferenzlatenz optimiert ist und nicht nur für theoretische MACs. Für das Training entwickeln wir eine dreistufige Strategie, die synthetische Überwachung, Selbstdestillation und Wissensdestillation aus der realen Welt kombiniert. Um die Zuverlässigkeit der Pseudo-Überwachung aus der realen Welt zu verbessern, führen wir zudem eine Pseudo-Label-Filterung und eine Fehlerbegrenzungsoperation ein, die einen reibungsloseren Transfer von synthetischen zu realen Daten ermöglicht. Wir instantiieren LAS2 als Modellfamilie, die Feed-Forward-Varianten für unterschiedliche Effizienzanforderungen sowie eine iterative Variante für höhere Genauigkeit umfasst. Umfangreiche Experimente zeigen, dass LAS2 die höchste Genauigkeit unter den effizienten Stereomethoden erreicht und gleichzeitig eine deutlich geringere Latenz aufweist. Insbesondere erzielt LAS2-H eine stärkere übergreifende Zero-Shot-Leistung als die iterative Methode Fast-FoundationStereo mit einer 1,8-fach bzw. 2,7-fach schnelleren Inferenz auf H200 bzw. Orin. Die Projektseite, Demos und der Code sind verfügbar unter https://tomtomtommi.github.io/LiteAnyStereoV2/.
Jailbreak-Angriffe offenbaren eine anhaltende Schwachstelle in alignierten großen Sprachmodellen: Sorgfältig konstruierte Prompts können selbst nach Sicherheitstraining richtlinienverletzende Antworten hervorrufen. Während die meisten Verteidigungsansätze auf Prompt- oder Ausgabeebene ansetzen, bleibt unklar, wie schädliche Absicht in den internen Repräsentationen des Modells kodiert wird. Wir untersuchen diese Frage, indem wir Token-weise prädiktive Entropieverläufe über Schichten eines eingefrorenen LLMs mittels der Logit-Linse analysieren. Wir stellen fest, dass statische aggregierte Statistiken der Prompt-Entropie (z. B. Mittelwert, Varianz) nur wenig diskriminatives Signal tragen, während Merkmale, die die Entwicklung der Entropie über Token-Positionen hinweg erfassen – wie monotone rangbasierte Trend-Scores – deutlich informativer sind. Wichtig ist, dass dieses Signal nicht gleichmäßig über die Modelltiefe verteilt ist: Es konzentriert sich in den Zwischenschichten und nimmt in der letzten Schicht ab, was darauf hindeutet, dass jailbreak-relevante Strukturen am stärksten in den mittleren Netzwerkrepräsentationen ausgeprägt sind, nicht am Ausgabekopf. Über mehrere Modelle (Llama, Qwen, Gemma) und adversarielle Benchmarks hinweg liefern diese Entropiedynamiken eine architekturkonsistente Trennung ohne zusätzliches Training. Zusammengenommen zeigen unsere Ergebnisse, dass Jailbreak-Verhalten in strukturierten Unsicherheitsdynamiken der Zwischenschichten reflektiert wird, und klären damit, welche entropiebasierten Merkmale schädliche Absicht kodieren und wo im Netzwerk dieses Signal am stärksten ausgeprägt ist.
Heutige Reasoning-Modelle nutzen Denk-Token, um bei Benchmarks eine stärkere Leistung zu erzielen als ihre instruktionsabgestimmten Pendants. Es wird zudem allgemein angenommen, dass dieser eher „deliberative“ Modus die Ausrichtung und Sicherheit verbessern sollte, indem er dem Modell einen sicheren Raum bietet, um zu überlegen, ob seine geplante Antwort auf eine Anfrage gegen seine Sicherheitsprinzipien verstößt. Wir präsentieren Belege dafür, dass diese Intuition nicht immer zutrifft. Über führende Open-Weight-Reasoning-Modelle hinweg, die die Familien GPT-OSS, Qwen, Olmo und Phi umfassen, stellen wir fest, dass das endgültige Ergebnis von Ablehnung/Befolgung bereits stark vorhersagbar ist – und zwar über einen trainierten Kopf auf der verborgenen Repräsentation des ersten Tokens (0,84–0,95 AUROC und ca. 88 % balancierte Genauigkeit für die Vorhersage von Ablehnung/Befolgung) –, bevor überhaupt sichtbares Denken stattfindet. Der Denkprozess erweist sich eher als Präfix-Vervollständigung denn als deliberative Überarbeitung; das endgültige Ergebnis ändert sich selten nach den ersten ca. 20 % des Denkens, obwohl es auf Textebene den Anschein von Deliberation erweckt (ca. 74 % der textuellen Deliberationen treten auf, wenn die Antwortverteilung bereits auf eine Seite von Ablehnung/Befolgung festgelegt ist). Wir stellen außerdem fest, dass bestehende Sicherheitsinterventionen zur Laufzeit und auf Trainingsebene – obwohl sie vom Ziel der Induktion von Deliberation motiviert sind – das Modellverhalten weitgehend in Richtung Überablehnung verschieben, während sie ohnehin knappe Deliberationssignale unterdrücken. Unsere Ergebnisse deuten darauf hin, dass das Sicherheitsverhalten aktueller Reasoning-Modelle weit weniger deliberativ ist als allgemein angenommen, und unterstreichen die Notwendigkeit von Methoden, die echte Sicherheitsdeliberation induzieren.
Videogenerierungsmodelle werden immer leistungsfähiger bei der Erstellung realistischer Videos, haben jedoch weiterhin Schwierigkeiten, Videos zu generieren, die grundlegenden physikalischen Gesetzen folgen. Dies wird durch einen Mangel an zuverlässigen granularen Bewertungsmethoden zur Lokalisierung und Spezifizierung von Verstößen gegen physikalische Gesetze in Videos verschärft. Wir begegnen diesem Problem mit der Einführung des Physics Question Scene Graph (PQSG), einer hierarchischen, fragebasierten Bewertungspipeline. PQSG bewertet generierte Videos, indem es deren Übereinstimmung mit einem Prompt in Bezug auf Objekte, Aktionen und die Einhaltung physikalischer Gesetze überprüft. Dabei wird eine graphbasierte Hierarchie von Fragen verwendet, die von einem Vision-Language-Modell (VLM) unter Anleitung hochwertiger In-Context-Beispiele erzeugt werden. Indem Fragen als Graph dargestellt werden, führt PQSG logische Abhängigkeiten zwischen den Fragen ein, sodass jede Abfrage kontextuell gültig ist. Darüber hinaus bietet PQSG granulare Bewertungen darüber, welche Eigenschaften des Videos gegen physikalische Plausibilitätsbeschränkungen verstoßen. Wir validieren PQSG durch die Erstellung von FinePhyEval, einem Datensatz mit physikbasierten Prompts und entsprechenden generierten Videos aus verschiedenen hochmodernen Videogenerierungsmodellen (Sora 2, Veo 3 und Wan 2.1), wobei jedes Video von Menschen in mehreren Kategorien annotiert wurde. Unter Verwendung von FinePhyEval messen wir die Korrelation zwischen den feinkörnigen Bewertungen von PQSG und menschlichen Beurteilungen und zeigen höhere Gesamtkorrelationen als in früheren Arbeiten. Wir stellen außerdem fest, dass PQSG Closed-Source-Modelle in Bezug auf physikalische Realitätsnähe höher bewertet als Wan 2.1. Schließlich zeigen wir, dass die in FinePhyEval bereitgestellten Annotationen auch für die Bewertung von Teilaufgaben verwendet werden können: Wir benchmarken zwei starke VLMs hinsichtlich der Generierung und Beantwortung von Fragen und stellen fest, dass Modelle zwar menschenähnliche Fragen erzeugen können, bei der Beantwortung jedoch noch hinter der menschlichen Leistung zurückbleiben.
Langzeit-Agenten sind auf Kontextverwaltung angewiesen: Systeme komprimieren, fassen zusammen und verdrängen alte Tokens, damit Aufgaben über endliche Fenster hinaus fortgesetzt werden können. Das ist nur sicher, wenn die verworfenen Informationen nicht mehr benötigt oder verinnerlicht wurden. Pläne sind der Belastungsfall: Sie werden früh geschrieben, über viele Schritte verwendet und als Erstes verdrängt. Wir führen die Wiedergabe-Paarung ein, eine Diagnostik, die dieselbe Trajektorie mit und ohne den Plan im Verlauf ausführt und den Kosinus-Abstand der versteckten Zustände misst. Bei Llama-3.1-70B steigt das Plansignal einen Schritt nach dem Plan auf 0,453 an und fällt dann um das 4,1-fache in einem einzigen Aktions-Beobachtungs-Schritt; bei HotpotQA fällt es um das 12,4-fache. Dies ist ein Beleg dafür, dass Standard-LLM-Agenten Pläne nicht als persistenten Zustand vorwärts tragen, sondern stattdessen darauf angewiesen sind, dass der Plan im Kontext verbleibt. Eine Sonde der Schicht L32 erfasst diesen Zerfall als Diagnostik, nicht als Nachweis dafür, dass sie selbst den Planinhalt liest. Reasoning-Modelle fügen eine Messkonfundierung hinzu: Ihre `<think>`-Spuren leiten den Planinhalt erneut ab, sodass eine Standard-Entfernung Planbelege im entfernten Zustand hinterlässt. Wir nennen dies die Reasoning-Spur-Konfundierung und beheben sie mit einer strikten Entfernung, die nur im entfernten Durchlauf vorherige `<think>`-Blöcke entfernt. Dadurch werden +163 % des Signals zum Schritt+1 innerhalb der Stichprobe und +153 % außerhalb der Stichprobe zurückgewonnen, während das nicht-Reasoning Llama nicht wesentlich verändert wird (+4,8 %). Bei DeepSeek-R1-Distill-Llama-70B überträgt sich eine auf Llama trainierte Sonde mit einem AUROC von 0,748 (p=6e-4), während R1-spezifische Sonden 1,000 erreichen, was darauf hindeutet, dass R1 das Plansignal in einer anderen Richtung des versteckten Zustands kodiert. Schließlich zeigt ein Kompressions-Belastungstest die praktischen Kosten: Naive Planverdrängung senkt den ALFWorld-Erfolg um 34,7 Prozentpunkte, während eine sondengesteuerte Wiederherstellung ihn nicht zurückgewinnt. Der Beitrag ist ein Mess- und Belastungstest-Rahmenwerk, das zeigt, dass agentenkritische Informationen kontextresidierend und nicht persistent sein können. Die Kontextverwaltung ist tragend, aber alleiniger Planschutz reicht nicht aus.
Kontinuierliche Testzeit-Anpassung (CTTA) zielt darauf ab, die Modellleistung unter sich verändernden Zieldomänen durch Online-Adaption ohne beschriftete Daten aufrechtzuerhalten. In der Praxis können die Quelldatensätze aufgrund von Datenschutz- oder Lizenzbeschränkungen jedoch oft nicht vorgehalten werden, und rein quellfreie CTTA-Methoden werden bei langfristigen Verteilungsverschiebungen instabil, da sie unter sich verstärkenden Selbsttrainingsfehlern und katastrophalem Vergessen leiden. Wir stellen DO-ALL (Distill Once, Adapt Life-Long) vor, ein Plug-and-Play-Framework, das Quellinformationen in einer kompakten und datenschutzbewussten Form mithilfe von Datensatzdestillation (DD) wieder aufgreift. Vor dem Einsatz führt DO-ALL DD durch, um eine kleine Menge synthetischer destillierter Anker zu erzeugen, die die Quellverteilung zusammenfassen. Während der Anpassung wird jedes Zielmuster mit seinem semantisch am besten passenden Anker abgeglichen, der eine stabile Referenz für verschiedene CTTA-Verfahren durch Quellwiederholung, Repräsentationsabgleich und Manifold-Glättungsregularisierung bietet. DO-ALL lässt sich nahtlos in bestehende CTTA-Algorithmen integrieren und verbessert durchgängig die langfristige Robustheit auf CIFAR100-C, ImageNet-C und dem CCC-Benchmark. Dies zeigt das Potenzial der Nutzung von DD, um stabile und kontinuierliche Anpassung ohne Vorhalten roher Quelldaten zu ermöglichen. Der Code ist verfügbar unter https://github.com/blue-531/DOALL.
Tool-Aufruf und strukturierte Ausgabe sind zwei Kernfähigkeiten moderner Agent-Systeme, doch ihr Zusammenspiel unter gemeinsamen Einsatzbedingungen ist noch unzureichend verstanden. Diese Arbeit berichtet über ein reproduzierbares Phänomen, das in einem Produktions-Agent-System beobachtet wurde: Wenn Tool-Aufruf und JSON-Schema-Einschränkungen gleichzeitig aktiviert sind, stellen mehrere Open-Weight-Modelle den Aufruf von Werkzeugen ein, obwohl sie weiterhin eine hohe Schema-Konformität aufweisen. Wir bezeichnen dieses Verhalten als Werkzeugunterdrückung (Tool Suppression). Durch kontrollierte Experimente mit mehreren Modellfamilien und Einsatzumgebungen können wir die Werkzeugunterdrückung unter gemeinsamen Einschränkungen konsistent reproduzieren, während Werkzeugausführung und Schema-Konformität bei unabhängiger Evaluierung funktionsfähig bleiben. Eine weiterführende Analyse zeigt, dass JSON-Schema-Einschränkungen zu grammatikbasierten Token-Masken kompiliert werden, wodurch Token für Werkzeugaufrufe während der Dekodierung unerreichbar werden. Dies liefert eine implementierungsnahe Erklärung für das beobachtete Verhalten. Zur Interpretation des Phänomens formulieren wir die Hypothese der Constraint-Prioritätsinversion (Constraint Priority Inversion, CPI), die besagt, dass die Schema-Erfüllung unter mehreren gleichzeitigen Einschränkungen das Aktionsauswahlverhalten dominieren kann. Wir präsentieren CPI als eine mit der beobachteten Evidenz konsistente Verhaltenshypothese, nicht als einen verifizierten internen Mechanismus. Zur Milderung des Problems schlagen wir die transparente Zwei-Durchlauf-Ausführung (Transparent Two-Pass Execution) vor, eine Inferenzzeitstrategie, die die Werkzeugausführung von der schema-gebundenen Antwortgenerierung entkoppelt. Experimentelle Ergebnisse zeigen, dass dieser Ansatz den Werkzeugaufruf wiederherstellt, während strukturierte Ausgabengarantien erhalten bleiben, ohne dass ein Modell-Neutraining erforderlich ist. Diese Ergebnisse legen nahe, dass eine getrennte Evaluierung von Werkzeugnutzung und strukturierter Ausgabe wichtige Zuverlässigkeitsprobleme in Produktions-Agent-Systemen übersehen könnte. Code, Daten und Dokumentation werden unter https://github.com/Fzsama/Constrain-Tax-26-06.git veröffentlicht.
Das Vertrauen in ein KI-System wird oft durch Erklärungen seiner Funktionsweise verankert, die man dann nutzt, um sein Verhalten bei neuen Eingaben vorherzusagen. Bei großen Reasoning-Modellen (Large Reasoning Models, LRMs) ist dieser konventionelle Weg besonders schwer zu beschreiten: Erklärungsmethoden für einzelne Token-Generierungen lassen sich nicht ohne Weiteres auf lange Trajektorien verallgemeinern, und die Trajektorien selbst sind bei einer Interpretation als natürliche Sprache oft nicht treu. Wir schlagen eine Alternative vor, die den Erklärungsschritt umgeht: Die Verhaltensvorhersage als lernbare Aufgabe zu behandeln und Verhaltensvorhersager (Behavior Forecasters) zu trainieren, die auf einer einzigen Reasoning-Trajektorie operieren, um dieselben Vorhersagen zu treffen, die man typischerweise von einer Erklärung erwartet. Die Trainingsdaten des Vorhersagers werden durch Abfragen des LRM ohne menschliche Annotation gewonnen, und seine Inferenz erfolgt in einem einzigen Vorwärtsdurchlauf. Wir setzen diesen Ansatz für zwei Aufgaben um: wie wahrscheinlich das LRM seine Antwort bei wiederholten Durchläufen wiederholt, und wie sich die Entfernung von Teilen der Eingabe auf seine Antwort auswirkt. Wir evaluieren diesen Ansatz für beide Aufgaben über drei verschiedene Reasoning-Datensätze hinweg und stellen fest, dass trainierte Verhaltensvorhersager genauer sind als GPT-5.4 und Claude Opus-4.6, wenn diese dieselben Trajektorien als naive Leser interpretieren – und das zu einem Bruchteil deren Inferenzkosten. Wir zeigen, dass das End-to-End-Feintuning des Backbones und seine Initialisierung vom Ziel-LRM jeweils für eine starke Leistung notwendig sind. Diese Ergebnisse belegen, dass die Reasoning-Trajektorie Informationen über das zukünftige Verhalten des LRM enthält, die über das hinausgehen, was eine naive Lektüre vermittelt.
Da immer mehr expressive Text-to-Speech (TTS)- und Sprachkonvertierungssysteme (VC) nichtverbale Vokalisationen (NVVs) erzeugen, um die Natürlichkeit zu verbessern, wird eine zuverlässige Sprecherverifikation (SV) unerlässlich, um die Identitätskonsistenz sowohl über verbale als auch über nonverbale Segmente hinweg objektiv zu bewerten. Dennoch generalisieren aktuelle SV-Systeme nur unzureichend auf NVVs, und eine Feinabstimmung auf NVV-Daten führt zu katastrophalem Vergessen der Sprachleistung. Wir präsentieren die erste systematische Studie über 10 NVV-Typen und schlagen ein Framework vor, das gefrorene selbstüberwachte Data2Vec-Merkmale mit ECAPA-TDNN kombiniert, ergänzt durch ein Mixture-of-Experts (MoE)-Modul mit erlerntem domänenbewusstem Routing. Ein konditionaler Destillationsverlust bei Spracheingaben über einen vortrainierten Lehrer bewahrt die Sprach-zu-Sprach-Genauigkeit, während ein kontrastiver Verlust die Kluft zwischen Sprach- und NVV-Domäne überbrückt. Unsere Methode reduziert die Sprach-NVV-Gleichfehlerrate (EER) von 38,93 % auf 22,66 % im Vergleich zu einer vortrainierten Baseline und verbessert die Sprach-EER von 13,17 % auf 9,24 % durch Destillation.