Tägliche Publikationen

Wir stellen Orca vor, eine erste Instantiierung eines allgemeinen Weltfundamentmodells. Orca lernt einen einheitlichen Welt-Latenzraum aus multimodalen Welt-Signalen und macht ihn über multimodale Readout-Schnittstellen zugänglich. Anstatt isolierte Next-Token-, Next-Frame- oder Next-Action-Prädiktionen zu optimieren, konzentrieren wir uns auf die Modellierung von Next-State-Prediction, die einen einheitlichen Zustandsübergangsmodellierungsweg zum Verstehen, Vorhersagen und Handeln in der Welt bietet. Orca lernt durch zwei komplementäre Paradigmen: Unbewusstes Lernen erfasst dichte natürliche Zustandsübergänge aus kontinuierlichen Videos, und bewusstes Lernen modelliert spärliche, sinnvolle Zustandsübergänge mittels sprachbeschriebener Ereignisse und VQA-Überwachung. Für das Pre-Training erstellen wir einen umfangreichen Datenbestand für das Weltlernen, der 125.000 Stunden Videodaten und 160 Millionen Ereignisannotationen umfasst. Nach dem Pre-Training erlernt Orca einen einheitlichen Welt-Latenzraum. Um zu prüfen, ob der erlernte Latenzraum nachgelagerte Aufgaben unterstützt, evaluieren wir ihn anhand dreier repräsentativer nachgelagerter Readouts: Textgenerierung, Bildvorhersage und Handlungsgenerierung für verkörperte Agenten. Das Rückgrat von Orca wird eingefroren, und nur die leichtgewichtigen modalitätsspezifischen Decoder sind trainierbar. Experimente zeigen die Skalierbarkeit des vorgeschlagenen Paradigmas und bestätigen, dass ein stärkerer Welt-Latenzraum stärkere nachgelagerte Readouts ermöglicht. Orca übertrifft ähnlich große spezialisierte Basislinien. Diese Ergebnisse zeigen, dass Orca als allgemeines Weltfundamentmodell einen vielversprechenden Ansatz zum Verstehen, Vorhersagen und Handeln in der Welt darstellt. Abschließend diskutieren wir die aktuellen Einschränkungen, um der Gemeinschaft nützliche Einblicke und Inspiration zu bieten.

Programmverifizierer spielen eine zentrale Rolle beim Training von Coding-Agenten, einschließlich der Auswahl von Trajektorien für das überwachte Feintuning (SFT) und der Bereitstellung von Belohnungen für das bestärkende Lernen (RL). Die standardmäßige ausführungsbasierte Verifizierung erfordert das Ausführen von Unit-Tests in pro-Repository-Umgebungen wie Docker-Images, was erhebliche Kosten für die Einrichtung der Umgebung verursacht. Wir schlagen Dockerless vor, einen umgebungsfreien agentischen Patch-Verifizierer, der generierte Code-Patches bewertet, ohne sie auszuführen. Anstatt einfach Kandidaten-Patches mit Referenzen abzugleichen, bewertet Dockerless die Korrektheit von Patches anhand von Beweisen, die durch agentische Repository-Erkundung gesammelt wurden. In einem Verifizierer-Bewertungsbenchmark übertrifft Dockerless den stärksten Open-Source-Verifizierer um 14,3 AUC-Punkte. Die Verwendung von Dockerless sowohl als SFT-Trajektorienfilter als auch als RL-Belohnung ermöglicht eine vollständig umgebungsfreie Post-Training-Pipeline. Das resultierende Modell erreicht eine Lösungsrate von 62,0 %, 50,0 % bzw. 35,2 % auf SWE-bench Verified, Multilingual und Pro. Es übertrifft die Qwen3.5-9B-Baseline um 2,4, 8,7 bzw. 2,9 Punkte und entspricht damit dem umgebungsbasierten Post-Training.

On-Policy-Destillation (OPD) ermöglicht eine überlegene Fähigkeitsübertragung, indem sie von Schülern abgetastete Trajektorien mit dichten Signalen auf Token-Ebene überwacht. Um qualitativ hochwertige Überwachungsquellen bereitzustellen und damit die Leistungsgrenze der Destillation zu erhöhen, liegt es nahe, privilegierte Informationen entweder dem Lehrer oder dem Schüler selbst zuzuführen. Diese zusätzliche Eingabe führt jedoch zu einem potenziellen Versagensmodus, den wir als Privilegienillusion bezeichnen: ein Muster, das die übertragbare Fähigkeitslücke, die Schüler schließen sollen, mit der Informationsasymmetrielücke vermischt, die nur nachgeahmt, aber nie repliziert werden kann. Dieses Problem wird durch die inhärente Ungleichmäßigkeit der Überwachung auf Token-Ebene noch verstärkt, da nur eine kleine Teilmenge von Token entscheidende fähigkeitstragende Signale enthält. Zu diesem Zweck schlagen wir DOPD vor, ein vorteilsbewusstes duales Destillationsparadigma, das die Überwachung auf Token-Ebene dynamisch zwischen privilegierten Lehrer- und privilegierten Schülerrichtlinien basierend auf ihrer Vorteilslücke und relativen Wahrscheinlichkeiten aufteilt. Jedes Token erhält eine Überwachung unterschiedlicher Stärke, Zielsetzung und Strategie entweder vom Lehrer oder vom Schüler selbst, was glaubwürdige Fähigkeiten überträgt und gleichzeitig Hilfssignale empfängt, um die Privilegienillusion zu mildern. Umfangreiche Experimente sowohl mit großen Sprachmodellen (LLMs) als auch mit Vision-Language-Modellen (VLMs) zeigen, dass DOPD durchgängig besser abschneidet als Vanilla-OPD und andere Vergleichsmethoden. Weitere Ergebnisse zu Stabilität, Robustheit, kontinuierlichem Lernen und Aufgaben außerhalb der Verteilung bestätigen seine Überlegenheit.

Spekulative Dekodierung beschleunigt die Inferenz, indem ein leichtes Entwurfsmodell parallel Kandidatentoken erzeugt, die anschließend vom Zielmodell verifiziert werden, was eine verlustfreie Beschleunigung ermöglicht. Die jüngst entwickelte diffusionsbasierte spekulative Dekodierung verbessert die Parallelität weiter, indem pro Vorwärtspass mehrere Token durch blockweise Diffusion generiert werden, und erreicht damit den aktuellen Spitzenwert (SOTA). Allerdings verwenden bestehende Methoden eine feste Inferenzblockgröße und gehen von einer einheitlichen optimalen Dekodierungsstrategie über alle Eingaben hinweg aus. In dieser Arbeit zeigen wir, dass diese Annahme suboptimal ist, da die optimale Blockgröße zwischen den Stichproben variiert und eine entscheidende Rolle für die Leistung der spekulativen Dekodierung spielt. Darüber hinaus weisen diese Werte eine klare lokale Struktur auf, die sich um die Trainingsblockgröße konzentriert, wodurch das Problem auf einen niedrigdimensionalen und strukturierten Entscheidungsraum reduziert wird. Basierend auf diesen Erkenntnissen schlagen wir BlockPilot vor, eine stichprobenadaptive Strategie, die die optimale Blockgröße aus der Repräsentation der Vorausfüllungsphase vorhersagt. Konkret formulieren wir die Blockgrößenauswahl als ein leichtgewichtiges Strategielernproblem und schlagen einen instanzadaptiven Entscheidungsmechanismus vor, der die optimale Blockgröße basierend auf der Repräsentation der Vorausfüllungsphase vorhersagt. Die Vorhersage erfolgt nur einmal nach der Vorausfüllung, was eine nahtlose Integration ermöglicht. Umfangreiche Experimente zeigen, dass unsere Methode plug-and-play ist, nur minimalen Overhead verursacht und durchgängig die Effizienz verbessert. Sie erreicht eine Akzeptanzlänge von 5,92 und eine 4,20-fache Beschleunigung auf Qwen3-4B bei einer Temperatur T=1.

Verkörperte Vision-Sprache-Aktion (VLA) Modelle werden typischerweise durch Feinabstimmung leistungsstarker vortrainierter VLMs auf Robotikdaten gewonnen, jedoch ist unklar, wie viel Allgemeinwissen und Faktenwissen sie nach der Anpassung beibehalten. Fehler bei wissensensitiven Aufgaben sind mehrdeutig, wobei fehlendes Wissen mit schlechter Generalisierung der Low-Level-Steuerung vermischt wird. Wir stellen Act2Answer vor, ein leichtgewichtiges Protokoll, das VLM-Wissensbenchmarks an die VLA-Evaluierung anpasst, indem es von Agenten verlangt, durch Aktionen zu antworten. Jede Frage wird zu einer kurzen Tischplatten-Episode, in der der Agent eine einzelne Objektplatzierungsaktion ausführt, um zwischen Kandidatenantworten zu wählen, was eine aktionsbasierte Erfolgsrate mit reduzierten Störfaktoren der Steuerung ergibt. Wir kuratieren eine Testsuite solcher Umgebungen über verschiedene Kategorien von Allgemeinwissen und Weltwissen hinweg und führen schichtweise Absichtsanalyse ein, um antwortrelevante Informationen über das VLM-Backbone und den Aktionskopf hinweg zu lokalisieren. In einer groß angelegten Studie mit 7 VLA-Modellen und 9 VLM-Baselines ordnen wir Modelle systematisch über Kategorien hinweg und stellen fest, dass VLAs auf einfachen Konzepten solide Leistung zeigen, während sie im Vergleich zu ihren Quell-VLMs größere Lücken bei reichhaltigeren semantischen Kategorien aufweisen, dass VQA-Co-Training mit besserer Wissensbewahrung verbunden ist und dass antwortrelevante Signale in den mittleren VLA-Schichten ihren Höhepunkt erreichen, aber in den oberen Schichten abklingen. Act2Answer ist verfügbar unter https://tttonyalpha.github.io/act2answer/.

Ein 3D-Szenenverständnis erfolgt über seine Objekte, nicht über die sie zusammensetzenden Primitive. Dennoch liefern Feed-Forward-Rekonstruktionsmethoden dichte, unstrukturierte Mengen von Punkten oder Gauß-Verteilungen, sodass die Objektstruktur erst im Nachhinein wiederhergestellt werden muss. Wir schlagen ein Feed-Forward-Framework vor, das eine Szene direkt aus unpositionierten Multi-View-Bildern in instanzstrukturierte 3D-Token-Gruppen zerlegt – kompakte, objektzentrierte Einheiten, aus denen Rekonstruktion, Segmentierung und Manipulation gleichermaßen folgen. Jede Token-Gruppe kombiniert einen Instanz-Token, der die Entitätsebene erfasst, mit Anker-Token, die lokale Geometrie und Erscheinung kodieren und in einen Satz von 3D-Gauß-Verteilungen dekodiert werden. Diese zweistufige Faktorisierung entkoppelt die Objektidentität von der lokalen Erscheinung und macht Objektinstanzen zu einer natives Schnittstelle der Repräsentation, nicht zu einem abgeleiteten Produkt. Die Token-Gruppen werden durch differenzierbares Rendering mit gemeinsamer Rekonstruktions- und Segmentierungsüberwachung gelernt, ohne dass 3D-Annotationen erforderlich sind. Unser Feed-Forward-Modell übertrifft pro-Szene-optimierte Basislinien in der klassenunabhängigen Instanzsegmentierung und bleibt gleichzeitig wettbewerbsfähig in der Neuansichtssynthese. Über diese Metriken hinaus ermöglichen dieselben Token-Gruppen direkt die Instanzebenen-Bearbeitung von Szenen – Entfernen, Verschieben oder Einfügen von Objekten durch Eingriffe in ihre Gruppen – sowie effizienten 3D-Instanzabruf mit offenem Vokabular, bei dem die Abrufkomplexität mit der Anzahl der Instanzen und nicht mit der Anzahl der Primitive skaliert.

Visuelle generative Modelle werden typischerweise in zwei Stufen trainiert. Zunächst wird ein Tokenizer für die Rekonstruktion trainiert und dann eingefroren, woraufhin ein Generator auf dessen diskreten Indizes oder kontinuierlichen Latents trainiert wird. Diese Entkopplung führt dazu, dass der Tokenizer nicht weiß, was der Generator leicht modellieren kann. Wir stellen GEAR (Guided End-to-end AutoRegression) vor, das einen vektorquantisierten (VQ) Tokenizer und einen autoregressiven (AR) Generator gemeinsam und end-to-end trainiert, geleitet durch einen Repräsentationsabgleich. Das Haupthindernis besteht darin, dass der dem AR-Modell zugeführte VQ-Index nicht differenzierbar ist, sodass Gradienten den Tokenizer nicht erreichen können und ein Straight-Through-Schätzer zusammenbricht. GEAR löst dies mit einer dualen Auslese der Codebuch-Zuweisung. Ein harter, One-Hot-Zweig trainiert den AR mit der Vorhersage des nächsten Tokens, während ein differenzierbarer, weicher Zweig einen Repräsentationsabgleichsverlust trägt, der zurückfließt, um nur den Tokenizer zu leiten. Dadurch lenkt das AR-Modell seinen Tokenizer in Richtung einer Indexverteilung, die es leichter vorhersagen kann. Dies verlagert die Abgleichslast vom Tokenizer auf den AR: Die eigenen Merkmale des Tokenizers werden weniger DINOv2-ähnlich, während die des AR stärker so werden – das Gegenteil von Diffusionsseiten-Rezepten, die das Latent selbst semantisch machen. GEAR beschleunigt die ImageNet-gFID-Konvergenz um bis zu 10× im Vergleich zur starken LlamaGen-REPA-Baseline, lernt deutlich bessere Patch-Level- und räumlich kohärente Merkmale und generalisiert über Quantisierer (VQVAE, LFQ, IBQ) hinweg sowie auf Text-zu-Bild-Generierung.

Könnte die Erfahrung im Design schnellerer GPU-Kernel auch dazu beitragen, eine seit langem offene mathematische Vermutung einer Lösung näher zu bringen? Große Sprachmodelle (LLMs), die in evolutionäre Suche integriert sind, haben kürzlich hochmoderne Lösungen für Optimierungsaufgaben hervorgebracht, darunter offene mathematische Vermutungen, GPU-Kernel-Design, Entdeckung wissenschaftlicher Gesetze und kombinatorische Rätsel. Um dies zu erreichen, wandte frühere Arbeit Suchgerüste jeweils auf eine einzelne Zielaufgabe an, sodass jedes neue Problem von Grund auf neu angegangen wird und die während der Suche gesammelte Erfahrung verworfen wird, sobald das Modell seinen Versuch abschließt. Dies belässt die Fähigkeit, eine Lösung iterativ zu entwickeln (z. B. zu wissen, welcher Teil mutiert werden soll und wie, Entscheiden, wann zurückgesetzt werden soll) vollständig im Gerüst und nicht im Modell selbst. Ob das Modell selbst diese Fähigkeit erwerben und über verschiedene Aufgaben hinweg wiederverwenden könnte, wurde weitgehend nicht untersucht. Um dies anzugehen, führen wir Evolution Fine-Tuning (EFT) ein, ein Mid-Training-Paradigma, das LLMs lehrt, Lösungen über Aufgaben hinweg zu entwickeln, indem evolutionäre Suchtrajektorien in Überwachung umgewandelt werden. Wir erstellen Finch Collection, einen Datensatz mit 156.000 Trajektorien aus 10 Bereichen und 371 Optimierungsaufgaben, und feinabstimmen Open-Source-LLMs mit 2B bis 9B Parametern. Empirisch gesehen verleiht EFT aufgabenübergreifende Generalisierung: Über 22 zurückgehaltene Aufgaben hinweg übertreffen unsere Modelle ihre Basisgegenstücke im Durchschnitt um 10,22%. Darüber hinaus erreicht unser Modell, wenn es mit Testzeit-RL kombiniert wird, bei zwei Kreispackungsaufgaben Spitzenleistungen und übertrifft sein Basismodell-Gegenstück beim Erdős-Minimum-Überlappungsproblem. EFT dient somit als „Übungsphase" für universelle Entdeckungsagenten, die neue Probleme nicht von Grund auf lösen.

Block-Diffusions-Sprachmodelle (BD-LMs) verbessern die diffusionbasierte Texterzeugung durch KV-Caching und Erzeugung mit flexibler Länge. Ein naheliegender nächster Schritt ist ihre Erweiterung von der Einzel-Block-Diffusion (SingleBD) zur Multi-Block-Diffusion (MultiBD), bei der ein gleitender Satz aufeinanderfolgender Blöcke gleichzeitig dekodiert wird, um Inter-Block-Parallelität zu erreichen. Allerdings werden bestehende BD-LMs hauptsächlich unter Teacher Forcing trainiert, bei dem das Modell nur einen verrauschten Block beobachtet, der auf einem sauberen Präfix konditioniert ist. Während die kürzlich eingeführte Diffusion-Forcing-Strategie die Sichtbarkeit zwischen mehreren verrauschten Blöcken ermöglicht, unterscheiden sich ihre Trainingszustände dennoch von der MultiBD-Inferenz, bei der die Dekodierung auf einem begrenzten gleitenden Satz mit heterogenen, slotweisen Rauschmustern erfolgt. Um diese Lücke zu schließen, schlagen wir Multi-Block-Diffusions-Sprachmodelle (MBD-LMs) vor, die durch Nachtraining von BD-LMs mit Multi-Block-Teacher-Forcing (MultiTF) gewonnen werden. MultiTF integriert Teacher Forcing und Diffusion Forcing, indem es auf begrenzten Rauschgruppen trainiert wird, die auf sauberen Präfixen konditioniert sind, mit randomisierten Rauschplanern, die besser zu den MultiBD-Inferenzzuständen passen. Um MultiBD praktisch ausführbar zu machen, führen wir weiterhin einen optimierten Dekodierungsalgorithmus ein, der auf dem Block-Puffer-Mechanismus basiert, der die Wiederverwendung des Präfix-Cache bewahrt, die Eingabeformen statisch hält und die erhöhte Dekodierungsparallelität in Wanduhrzeitbeschleunigung umsetzt. Empirisch gesehen erhöht MBD-LLaDA2-Mini die durchschnittliche Anzahl an Tokens pro Vorwärtspass (TPF) von 3,47 auf 6,19 und verbessert die durchschnittliche Genauigkeit von 79,95 % auf 81,03 %; in Kombination mit DMax erreicht MBD-LLaDA2-Mini-DMax einen durchschnittlichen TPF von 9,34 bei einem Genauigkeitsverlust von nur 1,02 % bei Mathematik- und Code-Benchmarks.

Agentenfertigkeiten erweitern Sprachmodell-Agenten mit aufgabenspezifischen Prozeduren, Skripten und Referenzen, jedoch unterliegen die adressierten Aufgaben und Umgebungen ständigem Wandel. Bisherige Methoden verbessern Fertigkeiten in begrenzten Durchläufen und bewahren lediglich das finale Artefakt, wobei sie die Entscheidungshistorie verwerfen, die nachfolgende Agenten benötigen, um frühere Revisionen, Bewertungen und abgelehnte Alternativen zu interpretieren. Wir führen SkillHone ein – ein Rahmenwerk zur kontinuierlichen Evolution von Agentenfertigkeiten, das auf einer persistenten Entscheidungshistorie gründet. SkillHone verknüpft Fertigkeitsrevisionen mit evaluationsseitigen Belegen, die praktisches Feedback liefern, und zeichnet strukturierte Verläufe von Diagnosen, Revisionen, Belegen und Ergebnissen auf. Rollengetrennte Unteragenten führen Kandidatenfertigkeiten auf Übungssonden mit geschwärzter Berichterstattung aus und schlagen, gestützt auf frühere Entscheidungen, Revisionen vor – dies ermöglicht eine sitzungsübergreifende Verfeinerung ohne erneutes Erschließen zurückliegender Begründungen. Auf Deep-Research-Benchmarks arbeitet SkillHone ohne vorintegrierten Suchstapel und übertrifft den kommerziell gestützten Deep-Research-Agenten um 15,8 Punkte auf GAIA sowie um 3,2 Punkte auf WebWalkerQA-EN und liegt damit auch über früheren Methoden der Fertigkeitsevolution. Zudem setzen wir SkillHone in internen werkzeugvermittelten Analyseszenarien ein, wo es die Genauigkeit über sieben Konfigurationen hinweg um durchschnittlich 18,8 Punkte steigert.

Videoweltmodelle sind interaktive Videogenerierungsmodelle, die zukünftige Weltzustände basierend auf Benutzeraktionen und bisherigen Videobildern vorhersagen. Eine zentrale Herausforderung bei Videoweltmodellen ist der Mangel an Gedächtnis, der über längere Zeiträume hinweg zu inkonsistenten generierten Szenen führt. Bisherige Methoden untersuchten den regelbasierten Abruf von Kontextbildern als Gedächtnis, scheitern jedoch in Szenarien mit Szeneokklusionen und dynamischen Objekten. Wir stellen MemLearner vor, eine lernbasierte adaptive Kontextabfragemethode, die Abfragetoken verwendet, um Kontext- und vorhergesagte Token zu verknüpfen. Durch die Nutzung des Videogenerierungsmodells selbst zur Kontextabfrage nutzt MemLearner vortrainierte visuelle Prioritäten, ohne zusätzliche Module von Grund auf trainieren zu müssen, und integriert effiziente Strategien für Training und Inferenz. Wir sammeln einen Datensatz langer Videos mit Szeneokklusionen und dynamischen Objekten, gepaart mit Kamerapositionsannotationen, und schlagen eine Multi-Datensatz-Trainingsstrategie vor, die sowohl annotierte gerenderte als auch nicht annotierte reale Videos nutzt. Umfangreiche Experimente zeigen, dass MemLearner frühere Videoweltmodelle hinsichtlich Szenenkonsistenz und Gedächtnis deutlich übertrifft, insbesondere in anspruchsvollen Okklusions- und Dynamikszenarien.

Textreiche Bildgenerierung ist eine der anspruchsvollsten Aufgaben in der Bildgenerierung, da Modelle gleichzeitig visuell realistische Bilder erzeugen und lesbare, semantisch korrekte sowie layoutkonsistente Texte darstellen müssen. Bestehende Datenpipelines folgen in der Regel einem statischen Crawl-Filter-Freeze-Paradigma: Sie sammeln Kandidatenstichproben, filtern sie einmalig und frieren die akzeptierten Daten für das Training ein. Abgelehnte Stichproben werden jedoch meist verworfen, obwohl sie oft nützliche Fehlersignale wie OCR-Fehler und semantische Missverhältnisse enthalten. Infolgedessen können spätere Konstruktionsrunden dieselben Fehlermuster wiederholen. Um diese Einschränkungen zu überwinden, schlagen wir DataEvolver vor, ein selbstentwickelndes Multi-Agenten-Framework für die Konstruktion textreicher Bilddaten. DataEvolver behandelt die Datenkonstruktion als feedbackgesteuerte Weiterentwicklung der Konstruktionsstrategie. Ein Retriever sammelt Kandidatenstichproben, ein Verifier weist Qualitätsbewertungen und Ablehnungsgründe zu, ein Critic fasst Feedback auf Rundenebene zu semantischem Feedback zusammen, und ein Generator vervollständigt unterabgedeckte Bereiche durch gezielte Synthese. Der aktualisierte Feedback-Speicher leitet dann die nächste Konstruktionsrunde. Experimente mit Benchmarks zur textreichen Bildgenerierung zeigen, dass DataEvolver bei gleichem Datenbudget nützlichere Trainingsdaten produziert als Basislinien mit festem Datensatz. Im Maßstab von 0,75 Mio. bei PixArt-alpha verbessert DataEvolver den OCR-F1-Wert gegenüber der stärksten Basislinie um 85,3 Prozent auf TextScenesHQ und um 35,3 Prozent auf LongTextBench. Die Verbesserungen sind konsistent über beide evaluierten Benchmarks hinweg und übertragen sich auch auf Show-o2, was darauf hindeutet, dass der Nutzen von DataEvolver nicht an einen einzelnen nachgelagerten Generator gebunden ist. Diese Ergebnisse legen nahe, dass abgelehnte Stichproben umsetzbares Feedback zur Verbesserung der Konstruktion textreicher Bilddaten liefern können.

Metakognition ist ein wesentlicher Bestandteil von Intelligenz und beschreibt die Fähigkeit, die eigenen kognitiven Prozesse zu überwachen und zu regulieren. Dennoch weisen LLMs systemische Defizite in zentralen metakognitiven Fähigkeiten auf: Sie halluzinieren mit hoher Konfidenz, erkennen Wissensgrenzen nicht und geben ihre interne Unsicherheit fehlerhaft wieder – was Vertrauenswürdigkeit und Zuverlässigkeit untergräbt. Da die Überwachung der Aufgabenleistung und die entsprechende Anpassung des Verhaltens zentral für Metakognition sind, gehen wir davon aus, dass Modelle, die ihre eigene Leistung genau beurteilen können, besser in der Lage sind, diese zu verbessern. Wir operationalisieren diese Idee durch zwei neuartige Mechanismen: Reinforcement Learning mit metakognitiver Rückmeldung (RLMF), ein Paradigma zur Verfeinerung von Bewertungsrangfolgen während der Präferenzoptimierung basierend auf der Qualität der Selbsteinschätzungen eines Modells bezüglich seiner Leistung, und metakognitive Datenauswahl, die ähnliche Selbsteinschätzungen nutzt, um hochwertige Trainingsbeispiele zu identifizieren und dabei naives aktives Lernen übertrifft. Wir wenden diese Innovationen auf das Problem der treuen Kalibrierung (FC) an, eine Aufgabe, die selbst grundlegend metakognitiv ist: Das Ziel besteht darin, die geäußerte Unsicherheit mit der intrinsischen Unsicherheit in Einklang zu bringen, was selbst für hochmoderne LLMs schwierig ist. Wir verfolgen einen zweistufigen, entkoppelten Ansatz, indem wir diese Methoden zunächst nutzen, um die Treue der selbstberichteten Konfidenzwerte der Modelle zu kalibrieren, und dann durch gezielte Ausgabebearbeitung auf natürliche, kontextangepasste sprachliche Unsicherheit abbilden. Umfangreiche Experimente zeigen, dass RLMF eine verallgemeinerbare, hochmoderne FC bei verschiedenen Aufgaben erreicht und gleichzeitig die Genauigkeit bewahrt. Darüber hinaus übertrifft RLMF das standardmäßige RL um bis zu 63 % und verbessert gleichzeitig die Fähigkeit der Modelle, ihre eigenen Leistungsgrenzen einzuschätzen und auszudrücken. Dies positioniert RLMF als vielversprechendes Paradigma zur Verbesserung der LLM-Metakognition im Hinblick auf gesteigerte Fähigkeiten und Ausrichtung und legt nahe, dass metakognitive Leistung ein effektives RL-Signal darstellt, um die Grenzen bisheriger intrinsischer Rückmeldungsmethoden zu überwinden.

Prozedurales Gedächtnis wird zunehmend genutzt, um LLM-Agenten bei wiederkehrenden Arbeitsaufgaben zu verbessern, doch seine Fähigkeit, wiederverwendbare Fähigkeiten zu erzeugen, ist noch wenig verstanden. Wir stellen AFTER vor, einen Benchmark mit 382 realistischen Unternehmensaufgaben aus sechs beruflichen Rollen und 22 prozeduralen Fähigkeiten, der darauf ausgelegt ist, zu evaluieren, wie Fähigkeiten über Aufgaben, Rollen und Modell-Backbones hinweg transferiert werden. Der Benchmark umfasst kontrollierte Evaluierungseinstellungen für lokale Verbesserung, aufgabenübergreifenden Transfer, rollenübergreifenden Transfer und modellübergreifende Generalisierung. Experimente zeigen, dass prozedurales Gedächtnis konsistente Gewinne in industriellen Arbeitsabläufen erzielt: Eine einzelne Verfeinerungsrunde verbessert die Gesamtleistung um 3,7–6,7 Punkte, während aus diversen Multi-Modell-Ausführungsspuren entwickelte Fähigkeiten eine modellübergreifende Testgenauigkeit von 73,1 % erreichen und damit alle Einzel-Modell-Spurenquellen übertreffen. Wir stellen ferner fest, dass einige Fähigkeiten breit über Aufgaben und Modelle generalisieren, während andere auf rollenspezifische Arbeitsabläufe spezialisiert sind und unter Transfer an Wirksamkeit verlieren. Diese Ergebnisse bieten praktische Leitlinien für die Entwicklung, Evaluierung und Bereitstellung von Systemen mit prozeduralem Gedächtnis in Produktionsagentenplattformen.

Vielfalt im mathematischen Denken großer Sprachmodelle (LLMs) ist für die Exploration entscheidend, doch gängige Diversitätsmetriken erfassen meist nur oberflächliche Variation statt Unterschiede in der Lösungsweise eines Problems. Wir schließen diese Lücke, indem wir Vielfalt auf Ansatzebene einführen: Variation in den Strategien über korrekte Lösungen desselben Problems. Mithilfe eines menschlich kalibrierten LLM-Bewerter-Frameworks zeigen wir, dass bisherige Diversitätsmaße unzuverlässige Proxy-Größen für Ansatzvielfalt sind und diese Diskrepanz auf diversity-bewusstes RLVR übergreift, wo Zielmetriken erhalten bleiben, während die Ansatzvielfalt abnimmt. Bei der Untersuchung, wann Ansatzvielfalt hilfreich ist und ob sie direkt induziert werden kann, stellen wir fest, dass ansatzdiverse Kandidatensets die Skalierung zur Testzeit verbessern. Die Optimierung eines LLM-Bewerter-Diversitätsrewards während des Trainings führt jedoch dazu, dass die Policy richter-spezifische Präferenzen ausnutzt, anstatt ihre Ansätze zu verbreitern, sodass die direkte Optimierung der Ansatzvielfalt ein offenes Problem bleibt. Zusammengenommen führt unsere Arbeit den Begriff der Vielfalt auf Ansatzebene ein und deckt eine systematische Divergenz zwischen oberflächlichen und ansatzbezogenen Signalen auf – ein Schritt hin zu LLMs, die auf wirklich vielfältige, menschenähnliche Weise denken.

Photomosaike sind große Bilder, deren lokale Bereiche als eigenständige Kacheln erscheinen, während ihre Gesamtanordnung eine kohärente Szene ergibt. Ihre Erzeugung in hoher Auflösung, bei der jede Kachel für sich überzeugend wirkt, ist rechenintensiv, da die Leinwand gleichzeitig viele detaillierte Kacheln enthalten muss. Wir stellen PhotoQuilt vor, ein trainingsfreies Framework, das Photomosaike in beliebiger Auflösung generiert. Diffusionsmodelle haben Schwierigkeiten, beide Maßstäbe gleichzeitig zu erfüllen, da eine direkte hochauflösende Generierung teuer ist und eher zu einem glatten Gesamtbild als zu einem Mosaik führt, während eine kachelbasierte Aufteilung lokale Details bewahrt, aber die globale Struktur verliert. PhotoQuilt löst dies mit einer bootstrap-basierten Kachel-Entrauschungsprozedur. Zunächst erstellen wir eine globale Komposition in niedriger Auflösung, um das Layout festzulegen, skalieren sie dann im latenten Raum hoch und fügen erneut Rauschen hinzu, um die generative Kapazität wiederherzustellen. Die Entrauschung erfolgt innerhalb festgelegter Kacheln, sodass jede ihr eigenes Bild formt, während die gemeinsame globale Struktur sie in einem Layout zusammenhält. Da die Kachelgenerierung separat erfolgt, skaliert PhotoQuilt auf große Leinwände ohne quadratische Aufmerksamkeitskosten. Experimente zeigen, dass PhotoQuilt sowohl hinsichtlich der globalen Struktur als auch der lokalen Realitätsnähe die derzeitigen Basislinien übertrifft.

Sprachfähige Modelle werden zunehmend in realen Anwendungen über verschiedene Sprachen hinweg eingesetzt. Dennoch sind ihre Sicherheit und Fairness jenseits englischsprachiger Umgebungen und unter naturalistischen Bedingungen noch unzureichend erforscht. Wir untersuchen die Sicherheitsberichterstattungspraktiken bei aktuellen Veröffentlichungen von Sprachmodellen und stellen fest, dass nur 8 % eine mehrsprachige Analyse dokumentieren. Um diese Lücke zu schließen, führen wir RedVox ein, einen mehrsprachigen Sicherheits- und Fairness-Benchmark für Audio und Sprache, der auf echten Stimmen basiert und unsichere sowie unfaire stereotype Anfragen in fünf Sprachen (Englisch, Französisch, Italienisch, Spanisch und Deutsch) abdeckt. Bei der Evaluierung von acht hochmodernen Modellen stellen wir fest, dass Schwachstellen selbst unter nicht-adversarialen Bedingungen bestehen bleiben, sich in nicht-englischen Sprachen verschlimmern und verstärkt werden, wenn die Anfrage von einer sprachlichen Eingabe stammt. Schließlich dokumentieren wir durch eine Befragung der Teilnehmer, die zu RedVox beigetragen haben, die besonderen persönlichen und datenschutzrechtlichen Herausforderungen bei der Erhebung von Sprachdaten mit menschlichen Teilnehmern und weisen auf breitere soziotechnische Herausforderungen in der naturalistischen Sprachsicherheitsforschung hin.

Mit der zunehmenden Größe und Aufgabenkomplexität von Videokorpora steigt der Bedarf an Ansätzen, die relevante Videos aus großen Korpora abrufen (Inter-Video-Schlussfolgerung) und anschließend feinkörnige, abfrageabhängige Aufgaben (Intra-Video-Schlussfolgerung) innerhalb der abgerufenen Inhalte durchführen, wie etwa das zeitliche Verankern. Bisherige Ansätze behandeln den Abruf jedoch typischerweise als Vorverarbeitungsschritt, sodass bei einem fehlgeschlagenen ersten Abruf kein Mechanismus zur Verfeinerung der Suche existiert, was zum Scheitern der anschließenden feinkörnigen Intra-Video-Schlussfolgerung führt. Darüber hinaus nehmen neuere agentische Frameworks, die das Videoverständnis vorantreiben, in der Regel an, dass das abfragerelevante Video bereits gegeben ist, und konzentrieren sich ausschließlich auf Intra-Video-Schlussfolgerungsaufgaben. Um diese Einschränkungen zu adressieren, schlagen wir VideoSearch-R1 vor, ein agentisches Framework für iterativen Videoabruf und -schlussfolgerung durch mehrfache Interaktion mit einer Videosuchmaschine. Insbesondere führen wir Soft Query Refinement (SQR) ein, um Suchabfrage-Token in einem kontinuierlichen latenten Raum zu verfeinern, anstatt Abfragen im diskreten Textraum umzuschreiben, was effizientere und feinkörnigere Anpassungen ermöglicht. SQR und sein Schlussfolgerungsprozess werden mithilfe von Group Relative Policy Optimization (GRPO) trainiert, geleitet von aufgabenbezogenen Belohnungssignalen, die aus Abruf- und nachgelagerten Aufgaben abgeleitet werden. Darauf aufbauend erzielt VideoSearch-R1 state-of-the-art Leistung über drei Datensätze beim Video Corpus Moment Retrieval (VCMR), indem es iterativ Videos aus großen Korpora abruft, Suchabfragen verfeinert und präzise abfrageabhängige zeitliche Verankerungen innerhalb der abgerufenen Inhalte durchführt. Unsere Analysen zeigen, dass SQR die ursprüngliche Abfrage effektiv verfeinert und dabei deutlich weniger generierte Token benötigt als explizite abfragetextuelle Verfeinerung. Code und Modell-Checkpoints sind öffentlich verfügbar unter mlvlab.github.io/VideoSearch-R1.

Grafische Benutzeroberflächen (GUI)-Agenten nutzen Vision-Language-Modelle, um Benutzeraufgaben in realen Anwendungen End-to-End durch Oberflächenaktionen wie Tippen, Wischen, Texteingabe und Navigation abzuschließen. Bestehende GUI-Agenten werden jedoch weitgehend auf Offline-Trajektorien, simulierten Umgebungen und standardisierten Benchmarks trainiert und evaluiert. Diese unterscheiden sich erheblich von realen Anwendungen hinsichtlich Layout der Benutzeroberfläche, Interaktionslogik und Verteilung von Anomaliezuständen und können die Ausführungsstabilität im realen Einsatz nicht getreu abbilden. In realen Umgebungen verändern Kontozustände, Berechtigungsdialoge, Zahlungsauthentifizierung und Risikokontrolle kontinuierlich die Zustandsverteilung und erzeugen eine anhaltende Lücke zwischen Benchmark-Ergebnissen und tatsächlicher Benutzbarkeit. Um diese Lücke zu schließen, schlagen wir Xiaomi-GUI-0 vor, einen nativen multimodalen GUI-Agenten für reale mobile Umgebungen, der innerhalb eines geschlossenen Kreislaufs mit echten Geräten trainiert und evaluiert wird. Kernstück ist eine hybride Infrastruktur mit Dominanz echter Geräte, bei der physische Geräte die primäre Ausführungsumgebung darstellen und Sandboxen unterstützende Hilfe bieten, sodass Datensammlung, Training, Rollout und Evaluierung eine Ausführungsverteilung aufweisen, die der realen Bereitstellung nahekommt. Wir konstruieren mehrquellige Trainingsdaten, die hochfrequente Hauptaufgaben, hochgeneralisierbare Daten für Long-Tail-Intents sowie Fähigkeitserweiterungsdaten für Reflexion und Gedächtnis umfassen, und führen ein fehlergesteuertes Daten-Schwungrad ein, das fehlgeschlagene Trajektorien in korrigierte Aktionen, reflexive Erklärungen und Wiederherstellungsdemonstrationen umwandelt. Das Modell wird durch eine progressive dreistufige Pipeline aus überwachtem Feintuning, schrittweisem Reinforcement Learning und agentischem Reinforcement Learning trainiert. Evaluiert auf öffentlichen Benchmarks und unserem internen RealMobile erreicht Xiaomi-GUI-0 72,0 % Erfolg auf RealMobile und 78,9 % auf AndroidWorld, bei gleichzeitiger deutlicher Verbesserung der Ausführungsstabilität und Erkennung von Anomaliezuständen in realen Aufgaben.

Mehrfingrige Roboter versprechen die Geschwindigkeit und Geschicklichkeit menschlicher Hände, doch herausfordernde Aufgaben wie präzise Montage blieben bisher unerreichbar. Diese Aufgaben sind kontaktintensiv, was die Datenerhebung für Imitation Learning erschwert, und spärlich belohnt, was direkte Exploration mit Reinforcement Learning (RL) undurchführbar macht. Daher haben frühere Arbeiten Fortschritte erzielt, indem sie das Problem mit spezialisierten Greifern, Werkzeugaufsätzen und Umgebungseinbauten strukturierten. In dieser Arbeit argumentieren wir, dass ein Roboter, bevor er die präzise Montage perfektionieren kann, zuerst das Spielen lernen muss. Wir stellen weiterhin die Frage: Welche Faktoren im Prozess des Spielenlernens sind für die präzise Montage relevant? Wir schlagen Play2Perfect vor, ein RL-Framework für aufgabenunabhängiges Vortraining durch Spielen mit verschiedenen Objekten und Zielen, das dann auf präzise Montage verfeinert wird. Das Ziel des Spielens ist der Erwerb wiederverwendbarer Manipulations-Priors, wie Greifen, Umgreifen in der Hand und Erreichen von Posen. Das Feintuning passt diesen allgemeinen Prior dann an die Montage an und konzentriert die Exploration auf die finalen kontaktintensiven, hochpräzisen Interaktionen, die für den Erfolg notwendig sind. Wir untersuchen systematisch zentrale Designentscheidungen beim Spiel-Vortraining, darunter Objektvielfalt, Trainingsziel, Trajektorienvielfalt und Zielgenauigkeit. Wir zeigen, dass unser Prior 33-mal probeneffizienter ist als RL-Training von Grund auf, selbst wenn dichte, mehrstufige Belohnungen bereitgestellt werden. Wir demonstrieren einen Sim-to-Real-Transfer ohne Feinabstimmung, der bei engen Einfügungen mit nur 0,5 mm Fügespiel eine Erfolgsquote von 60% und bei mehrteiligen Montagen über einen langen Zeithorizont sowie Schraubvorgängen über 50% erreicht.

Während große Sprachmodelle in letzter Zeit die Forschungslandschaft dominieren, bleiben kleine Sprachmodelle in verschiedenen Bereichen hochrelevant; dennoch erhalten sie weit weniger Aufmerksamkeit. In dieser Studie untersuchen wir, wie kleinere Sprachmodelle während der Generierungsphase in einem Retrieval-Augmented-Generation (RAG)-System abschneiden. Um diese Modelle effektiv zu bewerten, nutzten wir sowohl Open-Source- als auch proprietäre Datensätze, die verschiedene Themenbereiche und Fragetypen abdecken. Unsere Ergebnisse zeigen, dass ein RAG-System mit kleinen Sprachmodellen direkt auf dem Gerät ohne jegliche GPU-Hardware innerhalb einer angemessenen Zeit ausgeführt werden kann. Der experimentelle Code und Links zu den ergänzenden Materialien sind über das GitHub-Repository abrufbar: https://github.com/SibNN/SLM-RAG-EVAL.

LLM-Agenten agieren zunehmend über lange Zeithorizonte, bei denen ein einzelner Pfad hunderte oder tausende von Aktionen umfassen kann. In diesen Umgebungen liefern ausschließlich ergebnisbasierte Belohnungen zu spärliche Anleitung und versäumen es, das Modell über die Güte von Zwischenschritten zu informieren. Methoden der dichten Überwachung (Dense Supervision) zielen darauf ab, dieses Problem zu lösen, indem sie Zwischenschritte bewerten – von intrinsischer Konfidenz über Selbst-Destillation bis hin zu Einbettungsähnlichkeiten. Allerdings ist es üblich, sie durch die Messung der nachgelagerten Leistung (Downstream Performance) einer Trainingspipeline zu evaluieren, die sie integriert. Dies ist teuer, vermengt die Supervisionsqualität mit trainingsbedingten Störfaktoren und macht verschiedene methodische Familien, die unterschiedliche Trainingsumgebungen erfordern, unvergleichbar. Daher werden Methoden der dichten Überwachung selten auf einer gemeinsamen Grundlage bewertet. Wir stellen QVal vor, ein trainingsfreies Testbett zur direkten Evaluierung von Signalen der dichten Überwachung. Für ein gegebenes Zustands-Aktions-Paar misst QVal, wie gut die Bewertung einer Methode Q-ausgerichtet (Q-aligned) ist: ob sie Aktionen gemäß den Q-Werten einer starken Referenzstrategie (Reference-Policy) ordnet. Dies ermöglicht uns, Signale vor jedem Trainingsdurchlauf zu vergleichen und die Signalqualität von anderen technischen Entscheidungen zu trennen. Wir instanziieren QVal als QVal-v1.0 und benchmarken 21 Methoden der dichten Überwachung in vier verschiedenen Umgebungen und sieben methodischen Familien, mit über 1.200 Evaluierungsexperimenten über sechs Open-Weight-Modell-Backbones hinweg. Wir stellen fest, dass einfache Prompting-Baselines durchweg bessere Ergebnisse erzielen als neuere Methoden der dichten Überwachung aus der Literatur, und dass die Leistung stark nach Familien clustert. Diese Ergebnisse gelten über Modellgrößen, Umgebungen und Beobachtungsmodalitäten hinweg. QVal ist so konzipiert, dass es leicht auf neue Umgebungen und Methoden erweiterbar ist, sodass Forschende vor jedem Trainingsdurchlauf an Methoden der dichten Überwachung iterieren können.

Autoregressive Transformatoren dominieren die hochwertige Gittererzeugung, indem sie künstlerisch wertvolle Topologien produzieren. Allerdings verursacht ihre inhärente sequenzielle Dekodierung einen erheblichen Rechenaufwand und ist um Größenordnungen langsamer als parallele generative Modelle. Andererseits unterstützen kontinuierliche Diffusions- und Flow-Matching-Methoden zwar eine effiziente parallele Synthese in verschiedenen Bereichen, lassen sich jedoch nicht direkt auf Gitter (Meshes) anwenden: Die Konnektivität von Gittern ist inhärent diskret und mit standardmäßigen kontinuierlichen Rauschinjektions- und Entrauschungsoperationen nicht kompatibel. Um diese grundlegende Inkompatibilität zu beheben, führen wir einen kompakten Topologie-Einbettungsmechanismus ein, der diskrete Gitterknotenpositionen und Normalen in kontinuierliche knotenweise Einbettungen projiziert, aus denen die ursprünglichen diskreten Nachbarschaftsinformationen durch Raum-Zeit-Abstandsschwellenwerte zuverlässig rekonstruiert werden können. Nach dem Vortraining und Einfrieren dieser Einbettung kann jedes Rohgitter vollständig in einen kontinuierlichen knotenweisen Zustandsraum überführt werden, der Position, Normale und implizite topologische Attribute vereinheitlicht. Aufbauend auf dieser neuartigen kontinuierlichen Gitterdarstellung präsentieren wir PolyFlow, ein Transformer-basiertes Flow-Matching-Framework, das eine vollständig parallele knotenweise Zustandsentrauschung in Abhängigkeit von extrahierten Punktwolkenmerkmalen ermöglicht. Während der Inferenz generiert unser Modell schnell über einen ODE-Löser und unterstützt eine explizite, präzise Steuerung der Auflösung des Ausgabegitters durch direkte Angabe der Zielknotenanzahl. Umfangreiche Bewertungen auf dem Toys4K-Benchmark zeigen, dass PolyFlow sowohl in der Chamfer-Distanz als auch in der Hausdorff-Distanz die modernsten autoregressiven Basislinien übertrifft.

Die materialwissenschaftliche Literatur kodiert jahrzehntelange experimentelle Erkenntnisse in Abbildungen, doch diese visuelle Aufzeichnung bleibt verschlossen und für KI im großen Maßstab unzugänglich. Der Kern des Problems liegt in der Struktur: Die meisten wissenschaftlichen Abbildungen sind zusammengesetzt, wobei eine einzelne Bildunterschrift mehrere Teilfelder gleichzeitig beschreibt, was eine direkte Bild-Text-Zuordnung unzuverlässig macht. Wir stellen MatMMExtract vor, eine durchgängige Open-Source-Pipeline, die dieses Problem löst, indem sie zusammengesetzte Abbildungen in einzelne Teilfelder zerlegt und mit einem großen Sprachmodell, das durch eine kuratierte materialwissenschaftliche Taxonomie geleitet wird, strukturierte, fundierte Annotationen erzeugt. Angewandt auf 14.810 Open-Access-Artikel erzeugt MatMMExtract MatSciFig: 391.606 Bild-Text-Paare auf Feldebene aus 180.571 Abbildungen, jeweils annotiert mit einem Untertitel, einer zweistufigen Visualisierungskategorie, die 19 Klassen und über 100 Untertypen umfasst, und einer wissenschaftlichen Zusammenfassung. Um eine genaue Felderkennung zu ermöglichen, führen wir MaterialScope ein, einen domänenspezifischen Erkennungsdatensatz mit 2.811 manuell annotierten materialwissenschaftlichen Abbildungen, bei dem ein feinabgestimmter YOLO12-m-Detektor einen mAP_50 von 0,9227 erreicht. Unter sechs verglichenen Sprachmodellen liefert Gemini 3.1 Flash Lite den besten Kosten-Qualitäts-Kompromiss für die Annotationserzeugung, bei dem 82 % der Ausgaben als gut bewertet wurden und die Halluzinationsrate bei 4,8 % liegt. Eine Zwei-Encoder-Retrieval-Baseline auf MatSciFig erreicht eine 4,4-fache Verbesserung von R@1 gegenüber Zero-Shot-CLIP, was den unmittelbaren Nutzen des Datensatzes für das Bild-Text-Lernen demonstriert. Alle Ressourcen werden der Community offen zur Verfügung gestellt.

Agentisches Reinforcement Learning erfordert die Zuweisung von Krediten an umgebungsgerichtete Aktionen wie Suchen, Klicks, Bearbeitungen, Navigationsbefehle und Objektinteraktionen. Das standardmäßige GRPO nutzt das finale Verifikationsergebnis als einheitlichen Advantage über alle Aktions-Tokens hinweg. Dieses Ergebnis-Signal ist nützlich, aber strukturell unvollständig: Es bestraft nützliche Exploration in fehlgeschlagenen Rollouts und verstärkt redundante oder regressive Aktionen in erfolgreichen Rollouts. Wir schlagen TRIAGE vor, einen rollentypisierten Kreditzuweisungsrahmen, der eine semantische Rollenachse zum Ergebnis-Kredit hinzufügt. Ein strukturierter Bewerter klassifiziert jedes Segment als entscheidenden Fortschritt, nützliche Exploration, fortschrittslose Infrastruktur oder Regression, und eine feste rollenbedingte Regel ordnet diese Bezeichnungen begrenzten segmentbezogenen Prozessbelohnungen zu. Dies bewahrt die Verifikationsergebnisse als Quelle der Optimierungsrichtung, während die beiden Hauptblindstellen einer rein ergebnisbasierten Kreditzuweisung korrigiert werden. Wir zeigen weiterhin, dass rollenbedingter Kredit die optimale segmentbezogene Korrektur ist, die allein aus Rollenbezeichnungen ausgedrückt werden kann – eine Projektion des segmentweisen Advantage-Residuums auf die Rollenvariable –, sodass die festen Rollenkonstanten den Advantage-Schätzfehler immer dann reduzieren, wenn der Bewerter zuverlässig ist, und wir verbinden dies mit Policy-Gradienten niedrigerer Varianz. Über ALFWorld, Search-QA und WebShop hinweg verbessert TRIAGE die Erfolgsraten gegenüber GRPO für zwei Policy-Modelle und übertrifft sowohl eine skalare, von einem Bewerter abgeleitete Prozessbelohnung als auch eine ergebnisüberwachte gemeinsame Backbone-Wertbaseline. Ablationen zeigen, dass der Gewinn auf die Rollentypisierung zurückzuführen ist und nicht auf die bloße Hinzufügung dichter Belohnungen: Die zuverlässige Erkennung von Regression innerhalb erfolgreicher Trajektorien ist der dominante Beitrag, während Explorationskredit einen konsistenten sekundären Gewinn liefert; bei abgeschlossenen ALFWorld- und WebShop-Rollouts reduziert TRIAGE zudem die umgebungsgerichteten Aktionen um zusätzliche 10,4 % bzw. 14,8 % im Vergleich zu GRPO.

Die Modellierung der bidirektionalen Korrespondenz zwischen äußeren sensorischen Reizen und interner neuronaler Aktivität hat sich zu einem wichtigen Grenzbereich der Neurowissenschaften entwickelt. Allerdings behandeln bestehende Ansätze die Gehirn-Enkodierung und -Dekodierung überwiegend als isolierte Aufgaben, die stark auf unimodale Ausrichtung und externe Priors angewiesen sind, während sie die intrinsische Natur des Gehirns als multimodales Integrationssystem übersehen. Um diese Einschränkungen zu beheben, schlagen wir BrainJanus vor, das erste einheitliche Gehirnmodell, das Gehirn, Sehen und Sprache in einem einzigen Framework integriert. Insbesondere führen wir einen Unified Brain Tokenizer ein, um kontinuierliche neuronale Dynamiken in diskrete Tokens zu quantisieren, die mit visuellen und sprachlichen Repräsentationen in einem gemeinsamen Omni-Raum ausgerichtet sind. Darauf aufbauend nutzen wir eine All-in-One autoregressive Architektur, die Next-Token-Prädiktion verwendet, um eine nahtlose Any-to-Any-Generierung zu ermöglichen, die Bild-zu-Gehirn- und Text-zu-Gehirn-Enkodierung sowie Gehirn-zu-Bild- und Gehirn-zu-Text-Dekodierung umfasst. Umfangreiche Experimente zeigen, dass BrainJanus eine überlegene Leistung über verschiedene Benchmarks hinweg erzielt. Darüber hinaus zeigt unser Framework Zero-Shot-Generalization und bewahrt eine interpretierbare biologische Topographie, was sein Potenzial als Allzweck-Gehirnmodellierungsparadigma unterstreicht. Der Code ist verfügbar unter https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

Moderne große Sprachmodelle (LLMs) setzen beim Nachtraining auf bestärkendes Lernen, um bestimmte Fähigkeiten zu verbessern. Dennoch bleibt es schwierig, mehrere Fähigkeiten in einem Modell zu vereinen. Bestehende Methoden wie Off-Policy-Feintuning und Mix-RL sind entweder ineffizient oder verlieren an Leistung. In dieser Arbeit schlagen wir Multi-Teacher-On-Policy-Distillation (MOPD) vor, ein Nachtraining-Paradigma zur Kombination der Fähigkeiten mehrerer domänenspezifischer RL-Lehrer: Wir führen zunächst pro Domäne spezialisiertes RL durch, um eine Reihe von Domänenlehrern zu erhalten, und destillieren diese Lehrer dann auf den eigenen Rollouts des Schülers. Dies eliminiert Expositionsbias und liefert ein dichtes Optimierungssignal. Auf Qwen3-30B-A3B übertrifft MOPD die Baseline-Methoden Mix-RL, Kaskaden-RL, Off-Policy-Feintuning und Param-Merge und erbt nahezu alle Fähigkeiten jedes Lehrers. MOPD ermöglicht zudem die parallele, unabhängige Entwicklung von Domänenlehrern und beseitigt die für das Multi-Domänen-Nachtraining typische domänenübergreifende Kopplung. MOPD wurde im Nachtraining von MiMo-V2-Flash, einem industriellen Spitzenmodell, eingesetzt, was seinen praktischen Nutzen für die Fähigkeitsintegration in führenden LLMs demonstriert.

Die Audio-Video-Generierung hat in letzter Zeit eine beispiellose Forschungsaufmerksamkeit erlangt, mit dem Ziel, hochwertige Videoinhalte mit feinkörniger Synchronisation und semantischer Ausrichtung zwischen den auditiven und visuellen Komponenten zu synthetisieren. Die bisherigen Methoden nutzen überwiegend ein Zweig-Design mit separaten Tokenisierungs- und Generierungsmodulen pro Modalität, vernachlässigen dabei die Repräsentationslücke und erfordern intensive Rechenressourcen für ein ordnungsgemäßes Training. Inspiriert von jüngsten Fortschritten in der eindimensionalen visuellen Tokenisierung stellen wir AVTok vor, einen neuartigen einheitlichen Tokenizer, der für die ganzheitliche Audio-Video-Generierung konzipiert ist. AVTok verfügt über eine auf einem dualen Transformer basierende Architektur mit gemeinsam genutztem Encoder-Decoder und modalspezifischen lernbaren Abfragen, um ein Audio-Video-Paar effizient und effektiv in eine kompakte eindimensionale latente Repräsentation mit einem einheitlichen Codebuch zu kodieren. Um das heterogene Informationsungleichgewicht zu bewältigen, das AVTok daran hindert, ausgerichtete Audio-Visual-Informationen zu nutzen, entwickeln wir eine hierarchische Trainingsstrategie, um schrittweise Rekonstruktionsfähigkeiten für jede Modalität zu realisieren. Umfangreiche Experimente zeigen, dass AVTok sowohl bei der Audio-Video-Rekonstruktion als auch bei der Integration in nachgelagerte Pipelines für Audio-zu-Video, Video-zu-Audio und klassenbedingte gemeinsame Audio-Video-Generierung hervorragende Leistungen erbringt. AVTok ebnet den Weg für die Herausforderung der gemeinsamen Audio-Video-Tokenisierung und bietet eine potenzielle Richtung für den Aufbau einheitlicher großer multimodaler Modelle für die Audio-Video-Generierung.

Generative Modelle haben bemerkenswerte Fortschritte erzielt, doch ihre Anwendung auf Satellitenbilder bleibt herausfordernd. Anders als natürliche Bilder sind Satellitenszenen durch räumlich komplexe und semantisch unterschiedliche Geometrien strukturiert. Bisherige Arbeiten begegnen dieser Komplexität, indem sie Frameworks für natürliche Bilder mittels dichter Raster oder spärlicher Prompts anpassen, wobei sie einen Kompromiss zwischen Annotationskosten und -treue eingehen und die Kompatibilität mit den üblicherweise zur Repräsentation geografischer Informationen verwendeten Vektorprimitiven beeinträchtigen. Wir stellen TerraDiT-Ω vor, ein einheitliches Rahmenwerk zur räumlichen Steuerung, das Satellitenbilder direkt aus beliebigen nativen georäumlichen Primitiven erzeugt. Durch die gemeinsame Nutzung präziser Annotationen (Polygone, Polylinien) und gröberer Annotationen (Begrenzungsrahmen, Punkte) unterstützt das Modell steuerbare Layouts über unterschiedliche Annotationsbudgets hinweg und erweitert so die Anwendbarkeit auf Entwurfsaufgaben wie die Stadtplanung, während es auf natürliche Weise mit End-to-End-GeoAI-Workflows kompatibel bleibt. Um diese Primitiven während der Erzeugung effektiv zu nutzen, schlagen wir Geometry-Aware Local Attention vor, einen Konditionierungsmechanismus, der explizite geometrische Hinweise in den Aufmerksamkeitsraum einbringt. Bei allen Konditionierungsformaten übertrifft unser Ansatz sowohl auf dichter als auch auf spärlicher Steuerung basierende Basislinien. Darüber hinaus ermöglicht diese Flexibilität die kontrollierbare synthetische Datenaugmentierung mit einem einzigen generativen Modell, was die nachgelagerte Leistung bei Landbedeckungssegmentierung, Objekterkennung, Straßengraphextraktion und Szenenklassifikation verbessert. Code, Daten und Gewichte sind verfügbar unter https://github.com/mvrl/TerraDiT.

Grundlagenmodelle haben die Bild- und Sprachverarbeitung revolutioniert, indem sie reichhaltige, wiederverwendbare Repräsentationen bereitstellen, die auf verschiedene Aufgaben übertragbar sind. Notenblätter als visuelle Kodierung der musikalischen Sprache entbehren eines solch starken domänenspezifischen Backbones. Wir stellen MuSViT (Music Score Vision Transformer) vor: das erste grundlegende Bildverarbeitungsmodell für die Repräsentation von Notenblättern – ein ViT-Encoder, der mittels Maskierter Autoencoder auf 9,7 Millionen Seiten aus dem IMSLP vortrainiert wurde. Um der Komplexität realer Partituren gerecht zu werden, verfolgen wir ein zweistufiges Curriculum: ein synthetisches Aufwärmtraining an gesetzten Partituren, gefolgt von einem großangelegten Training auf dem gesamten IMSLP-Korpus. Wir evaluieren MuSViT an vier nachgelagerten Aufgaben – der Erkennung von Notenseiten und Einzelsystemen, der Erkennung von Musiksymbolen und der Klassifizierung des Schwierigkeitsgrads – unter zwei Szenarien: linearem Sondieren (eingefrorener Encoder) und Feinabstimmung. Beim linearen Sondieren übertrifft MuSViT konsequent moderne Bild-Encoder, was zeigt, dass allgemeine Repräsentationen unabhängig vom Maßstab bei den strukturierten symbolischen Eigenschaften der musikalischen Notation systematisch zu kurz kommen. Bei der Feinabstimmung verbessert MuSViT in der Regel die aufgabenspezifischen Methoden des Stands der Technik. Eine zusätzliche Analyse der Konsistenz von Einbettungen und Transkriptionen offenbart, dass MuSViT die symbolische musikalische Struktur direkt in seinem Repräsentationsraum kodiert – im Gegensatz zu anderen Encodern, deren Einbettungen nicht mit dem Inhalt der Notenschrift korrelieren. Diese Ergebnisse etablieren MuSViT als grundlegendes Backbone für das Verständnis von Notenblättern.

Aktuelle Betriebssysteme bieten Schnittstellen, die für menschliche Nutzer optimiert sind, jedoch nicht für KI-Agenten. Menschen profitieren von Pixeln, Symbolen, Fenstern, visuellen Gruppierungen, Mausbewegungen und Tastaturkürzeln; KI-Agenten benötigen dagegen kompakte semantische Zustände, fundierte Aktionen und zuverlässiges Feedback. Infolgedessen sind viele Computer-nutzende Agenten gezwungen, Screenshots, OCR-Ausgaben und visuelle Ausschnitte zu interpretieren, was zu hohen Token-Kosten, visueller Ambiguität, Latenz und Koordinatenunsicherheit führt. Dieses Papier stellt LUMOS (Language Model Unified Machine-Readable Operating-System Semantics) vor, eine semantische Interaktionsschicht zwischen KI-Agenten und Betriebssystemen. LUMOS wandelt native Barrierefreiheits-Metadaten und Browser-UI-Strukturen in maschinenlesbare semantische Blaupausen mit stabilen Identifikatoren, Rollen, Namen, Werten, Begrenzungen und Handlungsmöglichkeiten um. Es unterstützt zudem die live-semantische Zeigerverankerung, indem es das UI-Element unter oder nahe dem Cursor über Automatisierungs-APIs des Betriebssystems abfragt. Ein LLM handelt dann über eine barrierefreiheitsfundierte Beobachtungs-Handlungs-Schleife, die eingeschränkte sichtbare UI-Primitive anstelle anwendungsspezifischer Skripte verwendet. LUMOS erhebt nicht den Anspruch, visuelle Agenten zu ersetzen; vielmehr reduziert es die Abhängigkeit von Screenshots, wenn Betriebssysteme bereits semantische Strukturen bereitstellen. Diese Ergebnisse deuten einen Weg hin zu KI-nativen Betriebssystemen und maschinenlesbaren Interaktionsschichten an.

Wir stellen SWE-Interact vor, eine neue Testumgebung zur Bewertung von Codierungsagenten bei mehrschrittigen, interaktiven, benutzergesteuerten Softwareentwicklungsaufgaben. Bestehende führende SWE-Benchmarks liefern in der Regel vollständige Anforderungen im Voraus und bewerten Agenten hinsichtlich autonomer Implementierung. Im Gegensatz dazu platziert SWE-Interact Agenten in einem realistischen Entwickler-Workflow: Ein sorgfältig entworfener Benutzersimulator beginnt mit vagen oder unvollständigen Anweisungen, enthüllt schrittweise die Anforderungen, inspiziert den Arbeitsbereich des Agenten und gibt gezieltes Feedback, Überarbeitungen und neue Einschränkungen, bis das vollständige Aufgabenziel übergeben wurde. Gestützt auf groß angelegte Studien realer Interaktionen mit Codierungsagenten testet dieses Setup, ob Agenten die Benutzerabsicht erkennen, sich an sich entwickelnde Anforderungen anpassen und auf ihrer eigenen bisherigen Arbeit aufbauen können. In einer Reihe von führenden und offenen Modellen stellen wir fest, dass starke Leistungen bei einstufigen SWE-Aufgaben nicht zuverlässig auf mehrschrittige, benutzergesteuerte Workflows übertragbar sind: Die leistungsstärksten Modelle lösen etwa 50 % der einstufigen Basisaufgaben, aber nur 25 % der entsprechenden SWE-Interact-Aufgaben. Die stärksten Modelle unserer Evaluierung, darunter Opus 4.8 und GPT 5.5, starten selbst bei vagen Anfangsanweisungen stark, bleiben dran, bis alle Anforderungen vom Benutzer offengelegt sind, integrieren diese besser und schreiben sauberen Code. Dennoch leiden sie unter übermäßigem Agentenverhalten beim Codieren, dem Vergessen von Anforderungen und technischen Fehlern. Schwächere Modelle starten bei Unklarheiten schlecht, geben früh auf, vergessen oder ignorieren Anweisungen und überarbeiten ihren Code häufiger. Insgesamt misst SWE-Interact eine orthogonale, realweltliche Leistungsachse für die Entwicklung von Spitzenmodellen: interaktive Zielentdeckung und iterative Verfeinerung unter Einbeziehung des Benutzers.

Open-Source-Bibliotheken und -Werkzeuge werden häufig wiederverwendet, doch die Aufrechterhaltung der Kompatibilität ist teuer. Wenn Betreuer das Projekt verlassen, können nützliche Repositorys aufhören zu funktionieren, da Laufzeitumgebungen und Abhängigkeiten sich weiterentwickeln. Wir untersuchen, ob LLM-Agenten alte Repositorys an moderne Umgebungen anpassen können – eine Aufgabe, die wir als Kompatibilitätsrettung bezeichnen. Im Gegensatz zur Fehlerbehebung beginnt die Kompatibilitätsrettung mit einem Repository, das in seiner ursprünglichen Umgebung funktionierte, nach einer Veränderung des Ökosystems jedoch versagt. RepoRescue gibt den Agenten nur das Repository und seine fehlschlagende moderne Umgebung vor; der Agent muss den Fehler diagnostizieren, den betroffenen Code lokalisieren und eine Quellcode-Rettung durchführen, die die historische Testsuite wiederherstellt. Wir erstellen RepoRescue aus 193 Python- und 122 Java-Repositorys, von denen jedes nachweislich historisch funktioniert und nach der Modernisierung fehlschlägt. Wir evaluieren fünf eingesetzte Agentensysteme auf Python und drei auf Java. Über die Bestehensrate vollständiger Patches hinaus führen wir Patches erneut aus, nachdem wir Änderungen an Testdateien entfernt haben, um eine reine Quellcode-Reparatur zu messen, fügen ein laufzeitdurchgesetztes Regime hinzu, das Änderungen an Tests blockiert, und validieren den praktischen Nutzen für Repositorys, deren Testsuites nach der Rettung bestehen. Wir stellen fest, dass Claude-Code-Systeme manchmal fehlschlagende Tests bearbeiten, selbst wenn sie aufgefordert werden, dies nicht zu tun; mit Laufzeitblockierung rettet Kimi dennoch 41,5% der Repositorys. Die Systeme ergänzen sich: Ihre Vereinigungsmenge erreicht 62,7% und übertrifft das beste Einzelsystem um 10,9 Prozentpunkte. Die Schwierigkeit liegt in der systemübergreifenden Koordination: Bei 14 Repositorys, die koordinierte Änderungen am gesamten Codebestand erfordern, besteht GPT-5.2 durch Codex alle 14, während jedes Claude-Code-System höchstens zwei besteht. Schließlich ist eine bestehende Testsuite nur ein erstes Signal: Von 34 ungewarteten Python-Kandidaten, deren Testsuites nach der Rettung bestehen, funktionieren 22 in realistischen Szenarien und 12 bestehen eine Fehlersuche mit Patches, die den Kompatibilitätsfehler beheben. RepoRescue benchmarkt die Kompatibilitätsrettung mit reiner Quellcode-Prüfung, Laufzeiterzwingung, praktischer Validierung und Begründungsbeschriftungen.

Große Sprachmodelle (Large Language Models, LLMs) werden zunehmend eingesetzt, um in der realen Welt zu handeln und menschliche Entscheidungen zu unterstützen. Dennoch stützen sich die meisten Agenten auf parametrisches Wissen, feste nachtrainierte Daten, Abruf (Retrieval) oder Suche. Dieses Paradigma versagt in neuartigen Bereichen und bei komplexen Anfragen, die nicht allein aus vorhandenem Wissen beantwortet werden können. Die Kenntnis der physikalischen Gesetze allein befähigt LLMs beispielsweise nicht, Anfragen zu beantworten oder langfristige Aufgaben in einem komplexen physikalischen System zu bewältigen. Um dies zu adressieren, führen wir Hierarchical Experimentalist Agents (HExA) ein, ein im Kontext stattfindendes Selbstverbesserungs-Framework, das durch aktive Experimentierung lernt. HExA entwirft und verfeinert iterativ anfragenrelevante Experimente, erlernt eine wiederverwendbare Bibliothek zusammensetzbarer Fähigkeiten aus Erfahrungen und integriert experimentelle Belege, um Anfragen zu beantworten oder Aktionen durchzuführen. HExA ist trainingsfrei, mit jedem Black-Box-Modell kompatibel und benötigt keine externe Aufsicht, Orakel oder Offline-Daten. Zur Evaluierung aktiver Experimentierung führen wir Interphyre ein, einen Tool-Calling-Benchmark, der auf der prozeduralen 2D-Physikumgebung PHYRE aufbaut. Hierbei schlagen Agenten Interventionen vor und testen Hypothesen über Simulations-APIs. Experimente zeigen, dass aktuelle LLM-Agenten in diesen Umgebungen Schwierigkeiten haben, insbesondere auf den schwierigsten Leveln von Interphyre. Claude Sonnet 4.6 erreicht lediglich 2% Erfolg, während HExA dasselbe Modell auf bis zu 77% Erfolg verbessert. HExA verbessert zudem Open-Weight-Modelle und übertrifft agentische Basislinien wie ReAct und Reflexion. Darüber hinaus erreicht HExA allein durch Fähigkeiten, die auf leichteren Leveln erlernt und ohne aktive Experimentierung übertragen werden, 44% Erfolg – ein Beleg für die Wiederverwendbarkeit und Generalisierung seiner erlernten Fähigkeiten. Insgesamt zeigt HExA, dass Lernen durch aktive Experimentierung Agenten helfen kann, nützliches Wissen zu entdecken, wiederverwendbare Fähigkeiten zu erwerben und effiziente Fortschritte bei neuartigen langfristigen Aufgaben zu erzielen.

Wir präsentieren ein Zero-Shot-, trainingsfreies und optimierungsfreies Framework zur Erzeugung von 360°-Panoramabildern und -Videos, indem sphärische Priors direkt in vortrainierte Diffusions-Transformatoren injiziert werden. Bisherige Methoden sind entweder auf kostspieliges Feintuning mit begrenzten Panoramadaten angewiesen, was die Generalisierung einschränkt, oder nutzen mehrstufige Optimierung, die eine prohibitive Inferenzlatenz verursacht. Wir beobachten, dass moderne generative Modelle durch ihr groß angelegtes Training bereits von Natur aus gewisse Panorama-Priors aufweisen. Diese emergenten Fähigkeiten sind jedoch unzureichend, da die Modelle grundsätzlich nicht die strengen topologischen Einschränkungen erfüllen, die durch die äquidistante Zylinderprojektion (Equirectangular Projection, ERP) auferlegt werden. Wir führen einen Zero-Shot- und optimierungsfreien Ansatz ein, der diese Einschränkungen zur Inferenzzeit auflöst. Spherical RoPE ersetzt die standardmäßigen rotierenden Positionseinbettungen: Niederfrequente Kanäle werden als 3D-Kartesische Koordinaten reparametrisiert, um die sphärische Mannigfaltigkeit nativ zu kodieren, während hochfrequente Kanäle harmonisch quantisiert werden, um exakte Periodizität zu erzwingen. In Kombination mit einer komplementären Semantic-Distortion-Classifier-Free-Guidance (CFG), die explizit die Geometrie steuert, vermeiden wir ein erneutes Training und erben die gesamte kreative Bandbreite modernster Modelle. Unser Ansatz generalisiert über verschiedene Backbones und 360°-Generierungsmodalitäten hinweg. Wir demonstrieren dies für Text-zu-Panorama mit den Backbones Flux.1, Flux.2 und LTX-Video und erzielen eine wettbewerbsfähige Leistung im Vergleich zu Baselines, während wir dennoch trainingsfrei bleiben. Projektseite: https://orhir.github.io/SpheRoPE

Systeme der künstlichen Intelligenz werden üblicherweise anhand von Aufgabenleistung und Verhaltensnachahmung evaluiert, doch solche Evaluierungen lassen offen, ob ein künstlicher Agent neue lexikalische Bedeutungen aus verankerter Erfahrung erwerben, stabilisieren und nutzen kann. Dieses Papier führt den Lexikalischen Konsens ein, ein experimentelles Rahmenwerk zur Untersuchung des verankerten Wortlernens über ein strukturiertes Wahrnehmungssubstrat. Unter Verwendung eingefrorener visueller DINOv2-Embeddings, Nonsenswörter nach Carroll sowie interpretierbarer lexikalischer Lernverfahren und linearer Basislinien testen wir, ob Agenten künstliche Labels für visuelle Konzepte erwerben, bidirektional verallgemeinern und unter kontrollierten Bedingungen stabilisieren können. Das Hauptergebnis ist ein robuster Wahrnehmungskohärenz-Gradient: Native Kategorien sind am leichtesten zu erlernen, kohärente Überdehnungen bleiben erlernbar, disjunktive Konzepte mittlerer Reichweite verschlechtern sich, und weit disjunktive Konzepte nähern sich dem Zufallsniveau an. Ein vorregistriertes CIFAR-100-Dissoziationsexperiment bestätigt, dass dieser Gradient eher durch Wahrnehmungsdistanz als durch semantische Verwandtschaft bestimmt wird: Wahrnehmungsdistanz sagt die Erwerbsgenauigkeit vorher (partielles R² = 0,245, p < 1e-7), während semantische Distanz keine signifikante Erklärungskraft hinzufügt (partielles R² = 0,002, p = 0,660). Die bidirektionale Evaluierung zeigt, dass Benennung und Abruf unterschiedlich sind: Exemplarbasierte Mechanismen übertreffen Zentroid-Prototypen beim Label-zu-Bild-Abruf, was eine von der Benennungsgenauigkeit getrennte Gedächtnistreue-Dimension offenlegt. Falsifikationskontrollen, Evaluierungen mit homogenen Kandidatenpools und Nullergebnisse zur repräsentationalen Umstrukturierung deuten darauf hin, dass die eingefrorene Wahrnehmungsgeometrie sowohl die lexikalische Verankerung ermöglicht als auch begrenzt, was ohne repräsentationale Anpassung erworben werden kann.

Bestehende instruktionsbasierte Videobearbeitungsdatensätze konzentrieren sich üblicherweise auf die Einzelaufgaben-Bearbeitung des Erscheinungsbilds und erfüllen damit nicht die komplexen kreativen Anforderungen realer Szenarien. Um diese Lücke zu schließen, präsentieren wir Goku, einen umfangreichen Datensatz mit 2 Millionen hochwertigen, instruktionskonformen Videobearbeitungspaaren, der als erster die Aufgabengrenzen von der grundlegenden Erscheinungsbildbearbeitung auf Mehrfachaufgaben und strukturelle Manipulationen (z. B. präzise Steuerung von Subjektbewegungen) erweitert. Um den Herausforderungen der Datensynthese bei diesen komplexen Aufgaben zu begegnen, entwickeln wir eine effiziente Datensynthesepipeline, die komplexe Bearbeitungen in kontrollierbare Teilprobleme zerlegt, und führen ein progressives Filtersystem für die Datenzuverlässigkeit während des gesamten Prozesses ein. Darüber hinaus untersuchen wir die optimalen Netzwerkstrukturen auf Goku und schlagen Goku-Edit vor. Um komplexe Bearbeitungsanweisungen tiefgehend zu verstehen, nutzt Goku-Edit ein MLLM als Text-Encoder und übernimmt ein entkoppeltes Zweig-Design: Ein dedizierter Maskenzweig übernimmt die strukturelle Steuerung, während der Hauptzweig für die Erscheinungsbildrendering zuständig ist. Ein umfassender Videobearbeitungs-Benchmark, Goku-Bench, wird ebenfalls mit 1.000 manuell verifizierten Testfällen und 7 neuen bearbeitungsspezifischen Metriken vorgeschlagen. Bei der Evaluierung auf Goku-Bench erzielt Goku-Edit eine Verbesserung von bis zu +8 % gegenüber anderen Open-Source-Modellen hinsichtlich der Befolgungsgenauigkeit von Anweisungen.

Sprachmodelle für gesprochene Sprache (SLMs) erweitern LLMs um Spracheingabe und -ausgabe. Bestehende SLMs kodieren Sprache mit festen Bildwiederholraten (z. B. 25 oder 12,5 Hz) und ignorieren dabei die zeitlich variierende Informationsdichte der Sprache, sodass sie keine Flexibilität bieten, um während der Inferenz Qualität gegen Geschwindigkeit abzuwägen. Neuere Forschungsarbeiten zu Audio-Tokenizern haben eine dynamische Frame-Rate-Sprachcodierung vorgeschlagen, die diese Ungleichmäßigkeit ausnutzt und zwei neue Fähigkeiten ermöglicht: sehr niedrige durchschnittliche Frame-Raten sowie die Steuerbarkeit der Frame-Rate. Allerdings wurde diese Technik bisher nicht auf SLMs angewendet. Wir stellen das Flexible Spoken Language Model (FlexiSLM) vor, das erste SLM, das dynamische und steuerbare Frame-Raten sowohl bei Spracheingabe als auch bei Sprachausgabe unterstützt. Mithilfe dynamischer Frame-Rate-Repräsentationen übertrifft FlexiSLM Modelle mit festen Frame-Raten und 7B Parametern, darunter Qwen2.5-Omni und Kimi-Audio, an seinen Hochqualitäts-Arbeitspunkten. Wir bestätigen außerdem, dass FlexiSLM präzise bis auf 4,0 Hz heruntergesteuert werden kann; bei 6,25 Hz halbiert es in etwa die Inferenzzeit im Vergleich zu 12,5 Hz, während es eine hohe Sprache-zu-Sprache-Qualität beibehält. Audiobeispiele sind verfügbar unter https://flexislm.github.io .