Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Robotermanipulation in der offenen Welt erfordert nicht nur das Erkennen, wie eine Szene aussieht, sondern auch die Antizipation, wie sich ihre 3D-Struktur unter Interaktion bewegt. Wir argumentieren, dass synchronisierte RGB-, Tiefen- und optische Flussdaten (RGB-DF) eine physikalisch fundierte Repräsentation liefern, die die zugrunde liegende 4D-Dynamik einer Szene erfasst. Im Vergleich zu 2D-Pixelvideos schafft diese multimodale Synergie eine Ausrichtung von visueller Erscheinung mit geometrischer Struktur und zeitlicher Bewegung und erzeugt einen Repräsentationsraum, der den von Robotersystemen geforderten niederstufigen Endeffektor-Aktionen deutlich näher kommt, wodurch die Lücke zwischen Weltvorhersage und Politiklernen verkleinert wird. Aufbauend auf dieser Erkenntnis stellen wir RynnWorld-4D vor, ein generatives Modell, das aus einem einzelnen RGB-D-Bild und einer sprachlichen Anweisung in einem einheitlichen Diffusionsprozess gleichzeitig zukünftige RGB-Bilder, Tiefenkarten und optischen Fluss erzeugt. Dieses 4D-Weltmodell verfügt über eine Drei-Zweig-Architektur, die kreuzmodale Aufmerksamkeit mit frame-bezogenem 3D-RoPE integriert und so eine konsistente Entwicklung von Erscheinung, Geometrie und Bewegung gewährleistet. Um Trainingsdaten in großem Maßstab bereitzustellen, haben wir den Rynn4DDataset 1.0 kuratiert, einen massiven Datensatz mit über 254,4 Millionen Bildern aus egozentrischen Mensch- und Roboter-Manipulationsvideos mit hochwertigen Pseudo-Labels für Tiefe und optischen Fluss. Darüber hinaus schlagen wir RynnWorld-4D-Policy vor, einen inversen Dynamik-Head, der die internen 4D-Repräsentationen von RynnWorld-4D in einem einzigen Vorwärtsdurchlauf verarbeitet – ohne aufwändige mehrstufige Entrauschung – und so Roboteraktionen im geschlossenen Regelkreis ausgibt. Experimente zeigen, dass RynnWorld-4D zeitlich und räumlich kohärente 4D-Vorhersagen liefert und dass RynnWorld-4D-Policy bei realen geschickten beidhändigen Manipulationsaufgaben den Stand der Technik erreicht, insbesondere bei Aufgaben, die räumliche Präzision und zeitliche Koordination erfordern.
Spielwelten wurden traditionell durch arbeitsintensive Produktionspipelines erstellt, was sie teuer in der Entwicklung, schwierig anzupassen und nach der Bereitstellung kostspielig zu modifizieren macht. Jüngste Fortschritte bei Videoweltmodellen bieten ein grundlegend anderes Paradigma. Anstatt jede Komponente einer virtuellen Umgebung explizit zu erstellen, synthetisieren diese Modelle autoregressiv zukünftige Beobachtungen, die auf dem aktuellen Weltzustand und Benutzerinteraktionen basieren, wodurch spielbare Welten online generiert werden können. Trainiert auf sowohl Spielaufzeichnungen als auch realen Videos, können sie vielfältige visuelle Erscheinungsbilder und physikalische Dynamiken erfassen und eröffnen neue Möglichkeiten für interaktive Anwendungen über Spiele hinaus, einschließlich verkörperter Intelligenz. In diesem Paper präsentieren wir AlayaWorld, ein vollständiges Open-Source-Framework zum Erstellen interaktiver generativer Welten. AlayaWorld ermöglicht offene Echtzeitinteraktionen, die es Benutzern erlauben, frei zu navigieren und verschiedene Aktionen wie Kämpfe, Zaubersprüche und Monsterbeschwörung auszuführen. Das Framework vereinheitlicht die gesamte Entwicklung – von der Datenvorbereitung über die Modellarchitektur, das Modelltraining, die Inferenzbeschleunigung bis hin zur Bereitstellung – innerhalb einer modularen und erweiterbaren Architektur. Neben dem Framework veröffentlichen wir reproduzierbare Pipelines, Referenzimplementierungen, Evaluierungswerkzeuge und umfassende Dokumentation und schaffen damit eine praktische Grundlage für zukünftige Forschung und Echtzeitanwendungen generativer Weltmodelle.
Skalierendes Roboterlernen erfordert massive, vielfältige Trajektoriendaten, doch die Datenerfassung wird derzeit durch physische Teleoperation eingeschränkt, bei der jede Demonstration die Zeit des Bedieners an bestimmte Hardware und Arbeitsbereiche bindet. Wir führen die digitale Teleoperation ein, ein Paradigma, das die Datenerfassung von physischen Einschränkungen entkoppelt, indem der reale Roboter durch ein generatives Weltmodell ersetzt wird. In diesem Rahmen treibt der Handposenstrom eines Bedieners ein roboterzentrisches generatives Weltmodell an, um aus einem einzelnen Referenzbild hochgetreue egozentrische Videos zu synthetisieren. Der aufgezeichnete Posenstrom dient als verkörperungsagnostischer Aktionslabel, der über standardmäßiges Retargeting auf jeden Zielroboter übertragbar ist, und liefert vollständige Zustands-Aktions-Trajektorien für das Imitationslernen unabhängig von physischer Hardware. Wir setzen dieses Paradigma in RynnWorld-Teleop um, einem System, das tiefenbewusste Skelettkonditionierung, progressives Training vom Menschen zum Roboter auf einem Video-Diffusion-Transformer und stromende autoregressive Destillation integriert. Diese Pipeline komprimiert den generativen Prozess zu einer Single-Pass-Inferenz und ermöglicht so eine Echtzeit-Interactive-Generation mit über 40 FPS auf einer einzelnen H100-GPU. Richtlinien, die ausschließlich auf RynnWorld-Teleop-generierten Daten trainiert wurden, erzielen einen effektiven Zero-Shot-Sim2Real-Transfer über geschickte und vielfältige bimanuelle Aufgaben hinweg. Darüber hinaus verbessert die Anreicherung realer Datensätze mit unseren digital teleoperierten Daten durchweg die Erfolgsraten, was zeigt, dass RynnWorld-Teleop als hochgetreue, skalierbare Daten-Engine für die nächste Generation von Roboteragenten dient.
Die Skalierung moderner großer Sprachmodelle (LLMs) auf lange Kontexte wird durch die quadratischen Rechenkosten und die schlechte Längenextrapolation dichter Attention begrenzt. Chunkweise spärliche Attention bietet eine vielversprechende Alternative, doch alle bestehenden Methoden bleiben aufgrund ihrer ungenauen Chunk-Auswahl hinter der vollen Attention zurück. Wir stellen die hierarchische Landmark-Sparse-Attention (HiLS-Attention) vor, einen auf Chunk-Ebene spärlichen Attention-Mechanismus, der die Chunk-Auswahl Ende-zu-Ende unter dem Sprachmodellierungsverlust (LM-Verlust) erlernt. HiLS faktorisiert Attention hierarchisch: Jede Query führt unabhängig Attention mit jedem abgerufenen Chunk durch, um Chunk-spezifische Informationen zu extrahieren, und die resultierenden Ausgaben werden gemäß den Chunk-Retrieval-Scores fusioniert. Durch die Einbeziehung der Retrieval-Scores in die Vorwärtsberechnung der Attention optimiert HiLS diese direkt mit dem LM-Verlust, was ein Ende-zu-Ende-Retrieval-Lernen und natives spärliches Training ermöglicht. Experimentelle Ergebnisse zeigen, dass HiLS-Attention eine mit voller Attention vergleichbare und in einigen Fällen sogar bessere Leistung bei domäneninternen Kontextlängen erzielt. Gleichzeitig extrapoliert HiLS-Attention mehr als das 64-fache der Trainingskontextlänge mit 90% Retrieval-Genauigkeit, weit über die volle Attention hinaus. Darüber hinaus können bestehende Modelle mit voller Attention durch leichtes fortgesetztes Vortraining in HiLS-Attention umgewandelt werden, wobei die domäneninterne Leistung erhalten bleibt und gleichzeitig eine ultra-lange Kontextextrapolation erworben wird. Zusammen mit seinem spärlichen KV-Zugriff und seiner spärlichen Berechnung durchbricht HiLS-Attention den üblichen Effizienz-Leistungs-Kompromiss und ermöglicht langkontextige LLMs, die sowohl effizienter als auch effektiver bei allgemeinen Langkontextaufgaben sind als ihre Pendants mit voller Attention.
Wir formulieren Computer Vision als einheitliche multimodale Generierung, bei der heterogene visuelle Aufgaben in den nativen Text- und Bildgenerierungsräumen eines einheitlichen multimodalen Modells ausgedrückt werden, ohne aufgabenspezifische Architekturen. Unter dieser Formulierung verwendet SenseNova-Vision natürlichsprachliche Anweisungen und optionale visuelle Prompts, um Aufgaben, Zielregionen oder -ansichten sowie Dekodierungskonventionen festzulegen, und generiert Antworten als Text für symbolische Ausgaben, Bilder für dichte räumliche Vorhersagen oder gemischte Text-und-Bild-Ausgaben für kompositionelle Aufgaben. Um großflächiges Training zu unterstützen, wandeln wir verschiedene Computer-Vision-Annotationen in Instruktions-Antwort-Beispiele um, die mit diesen Generierungsräumen kompatibel sind, was zum SenseNova-Vision-Korpus führt, einem Computer-Vision-Instruktions-Antwort-Korpus, der Text-, Bild- und gemischte Ziele umfasst. Ausgehend von einem vorgegebenen vortrainierten einheitlichen multimodalen Modell wird SenseNova-Vision hauptsächlich auf diesem Korpus trainiert, wobei zusätzliche multimodale Daten als fähigkeitserhaltende Mischung verwendet werden; es sind keine aufgabenspezifischen Vorhersageköpfe oder architektonischen Modifikationen erforderlich. Das resultierende Modell deckt eine breite Palette von Sehaufgaben ab, darunter Detektion, OCR, Keypoint-Schätzung, Segmentierung, Tiefenschätzung, Oberflächennormalenvorhersage, Punktkarten und Kameraposenschätzung, während es sprachdefinierte Varianten unterstützt, die Kategorie, Farbe, Region und andere visuelle Hinweise kombinieren. Experimente zeigen, dass ein einziges einheitliches Modell führenden aufgabenspezialisierten Systemen in den Bereichen strukturiertes visuelles Verständnis, dichte geometrische Vorhersage, Segmentierung und Multiview-Visualgeometrie ebenbürtig sein kann. Diese Ergebnisse legen nahe, dass die einheitliche multimodale Generierung ein skalierbarer Weg zur Integration von Computer-Vision-Fähigkeiten in universelle Grundlagenmodelle ist. Das Modell und der Korpus sind öffentlich verfügbar.
Wir stellen Gemma 4 vor, eine neue Generation von offen gewichteten, nativ multimodalen Sprachmodellen der Gemma-Modellfamilie. Entwickelt, um Recheneffizienz und logisches Denken voranzutreiben, umfasst die Gemma-4-Modellreihe dichte und Mixture-of-Experts-Architekturen mit 2,3 bis 31 Milliarden Parametern. Neben verbesserten Bild- und Audio-Encodern für alle Modellgrößen schlagen wir für unser 12B-Modell eine einheitliche, encoderfreie Architektur vor, die rohe Audio- und Bild-Patches verarbeitet. Darüber hinaus integrieren wir einen Denkmodus, der es den Gemma-Modellen ermöglicht, vor der Antwortgenerierung Argumentationsspuren zu erzeugen. Durch kritische Designentscheidungen verbessern wir Inferenzgeschwindigkeit, Speicher- und Recheneffizienz sowie Fähigkeiten für lange Kontexte. Gemma 4 erzielt einen Leistungssprung bei Benchmarks in den MINT-Fächern, bei multimodalen und langen Kontexten und übertrifft in von Menschen bewerteten Aufgaben größere, führende Open-Weight-Modelle.
Agentisches Videoverständnis stattet Modelle mit einem Langzeitgedächtnis aus, um kontinuierliche, langfristige multimodale Ströme autonom zu verarbeiten und darauf zu reagieren. Fortschrittliche Videoagenten verlassen sich jedoch häufig auf eine „detektivartige“ iterative Argumentation zur Aktionssteuerung (z. B. Suche) und zur Aggregation von Beweisen, was mit unerschwinglichen Kosten und Latenzen verbunden ist. Wir argumentieren, dass eine solche umfangreiche Argumentation vor allem den Mangel an globalem Kontext und semantischer Fehlausrichtung beim Retrieval kompensiert. In diesem Beitrag wird Light-Omni vorgestellt, ein multimodales Agenten-Framework für reflexives und leichtgewichtiges Videoverständnis. Dies wird durch duale Kontextzustände erreicht, die den erforderlichen Kontext in einem einzigen Durchlauf sofort aufbauen. Erstens führen wir einen globalen Zustand, ein endlich großes multimodales Skript, das kontinuierlich aus dem episodischen Gedächtnis konsolidiert wird und als globaler Kontext für Light-Omni dient. Durch hierarchisches Zusammenführen werden aktuelle Details bewahrt, während vergangene Ereignisse zusammengefasst werden. Zweitens wird in Abhängigkeit von diesem globalen Kontext ein parametrischer latenter Zustand erzeugt, der autonome Aktionen direkt steuert und Retrieval-Embeddings mit minimaler Latenz liefert. Dank dieser gekoppelten Architektur erreicht Light-Omni semantisch abgestimmtes Retrieval und reflexive Antworten, ohne auf iterative Argumentation angewiesen zu sein. Umfangreiche Experimente bestätigen die Wirksamkeit von Light-Omni anhand mehrerer Video-Benchmarks. Insbesondere übertrifft es M3-Agent mit einer durchschnittlichen Genauigkeitssteigerung von 2,4 %, einer 12,1-fachen Beschleunigung und einer 2,6-fachen Verbesserung der GPU-Speichereffizienz. Darüber hinaus dient es als Gedächtnissystem zur Steigerung der Leistung und Effizienz bestehender MLLMs. Projektseite: https://clare-nie.github.io/Light-Omni.
Spekulative Dekodierung beschleunigt die Inferenz großer Sprachmodelle (LLMs), indem sie die Entwurfsgenerierung von der Zielverifikation entkoppelt. Während neuere parallele Entwerfer effizient lange Token-Sequenzen in einem einzigen Vorwärtsdurchlauf vorschlagen, leiden sie unter einem schnellen Akzeptanzabfall aufgrund fehlender Abhängigkeiten zwischen den Token. Darüber hinaus verschwendet die unterschiedslose Verifikation dieser erweiterten Blöcke kritische Batch-Kapazität an Token mit hohem Ablehnungsrisiko, was den Durchsatz in Systemen mit hohem Parallelitätsgrad stark beeinträchtigt. Wir führen DSpark ein, ein Framework für spekulative Dekodierung, das hochparallele Generierung mit adaptiver, lastbewusster Verifikation vereint. Um die Entwurfsqualität zu erhalten, nutzt DSpark eine semi-autoregressive Architektur, die einen parallelen Kern mit einem leichten sequentiellen Modul koppelt, um die Modellierung von Intra-Block-Abhängigkeiten zu ermöglichen und den Suffixabfall zu mildern. Zur Optimierung der Systemeffizienz verwendet DSpark eine konfidenzgesteuerte Verifikation, die die Verifikationslänge für jede Anfrage dynamisch anpasst, basierend auf geschätzten Überlebenswahrscheinlichkeiten des Präfix und durchsatzspezifischen Profilen der Engine. In Offline-Benchmarks aus verschiedenen Bereichen verbessert DSpark die akzeptierte Länge im Vergleich zu den modernsten autoregressiven und parallelen Entwerfern erheblich. Bei der Bereitstellung im DeepSeek-V4-Auslieferungssystem unter Live-Benutzerverkehr gelingt es DSpark, Verifikationsverschwendung zu vermeiden. Im Vergleich zur etablierten Produktionsbasislinie (MTP-1) beschleunigt DSpark die Generierungsgeschwindigkeiten pro Benutzer um 60 bis 85 Prozent bei gleichen Durchsatzebenen. Noch wichtiger ist, dass durch die Verhinderung schwerwiegender Durchsatzeinbußen unter strengen Interaktivitätsbeschränkungen Leistungsstufen ermöglicht werden, die zuvor unerreichbar waren, wodurch die Pareto-Front unseres Auslieferungssystems verschoben wird.
Während die Optimierung von Fähigkeiten für autonome Agenten an Bedeutung gewonnen hat, basieren bestehende Methoden auf komplexen Pipelines. Dies lässt eine grundlegende Frage unbeantwortet: Was ist eine minimal realisierbare Pipeline zur Optimierung von Fähigkeiten, bei der jede Komponente theoretisch oder empirisch gerechtfertigt ist? Wir formalisieren die Optimierung von Fähigkeiten mittels Optimierung nullter Ordnung (ZO) und ordnen klassische Gegenstücke (zentrale Differenz, Trust-Regionen) der neueren Literatur zu. Dabei stellen wir fest, dass Fähigkeitstrajektorien im Gegensatz zu blinden numerischen Störungen der klassischen ZO-Optimierung als interpretierbares Debugging-Feedback dienen. Basierend auf der Claude-Code-Philosophie und dem PAC-Lernen etablieren wir drei Prinzipien für Konvergenz und Generalisierung: dateisystembasierte Trajektorienerkundung, Konsens-Attribut-Mining und unabhängige Validierungssteuerung. Durch Eliminierung von Redundanzen schlagen wir SkillOpt-Lite vor. Dieses beschleunigt die Konvergenz und übertrifft das vollständige SkillOpt: Es verbessert LiveMath um +8,8 Punkte auf GPT-5.5 und um +25,4 Punkte auf GPT-5.4-nano, wodurch das Nano-Modell das standardmäßige, durch SkillOpt optimierte GPT-5.4 übertrifft. Abschließend integrieren wir unser Framework in Produktions-Codierungsagenten wie VSCode Copilot, sodass Entwickler Agentenfähigkeiten mit einer Zeile Vibe weiterentwickeln können. Da unser Framework alle Agentenkomponenten einfach als standardmäßigen editierbaren Code behandelt, verallgemeinert sich diese minimale Pipeline auf natürliche Weise zur vollständigen Harness-Optimierung (HarnessOpt). Auf SpreadsheetBench erreicht HarnessOpt mit GPT-5.4-nano eine Genauigkeit von 0,7758 und übertrifft damit das größere GPT-5.5, das Standard-Pipelines verwendet (0,7620). Der Code ist verfügbar unter https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite.
Dichte Videobeschriftung zielt darauf ab, zeitlich verankerte Beschreibungen von Videoereignissen zu erzeugen, was sowohl das ereignisbasierte Verständnis als auch die Generierung von Videos unterstützt. In diesem Bereich haben sich autoregressive große Videosprachmodelle aufgrund ihrer starken generativen und modalitätsübergreifenden Modellierungsfähigkeit als vorherrschendes Paradigma etabliert. Allerdings schränkt die Erzeugung dichter Beschriftungen unter dem Token-für-Token-Paradigma die Inferenzeffizienz erheblich ein und behindert die Skalierbarkeit mit zunehmender Videolänge und Ereignisdichte. In dieser Arbeit schlagen wir ein parallelisiertes autoregressives Framework vor, das nicht nur die Generierungseffizienz verbessert, sondern auch die Leistung bei der zeitlich verankerten Beschriftung steigert. Unser zentraler Ansatz besteht darin, die schwachen lokalen Abhängigkeiten zwischen zeitlich getrennten Ereignissen auszunutzen, um den Kausalabhängigkeitsgraphen umzustrukturieren und so eine verlustfreie parallele Generierung zu ermöglichen. Konkret können Token mit schwachen ereignisübergreifenden Abhängigkeiten parallel dekodiert werden, während eng gekoppelte Token innerhalb jedes Ereignisses sequenzielle Dekodierung beibehalten, um die lokale semantische Kohärenz zu bewahren. Zur Umsetzung dieses Ansatzes führen wir zwei Schlüsselkomponenten für die verlustfreie parallele Dekodierung ein: (1) einen latenten globalen Planungsmechanismus, der automatisch die Ereignisebene-Struktur erlernt und kompakte Tokens erzeugt, die die globale ereignisübergreifende Kausalität kodieren, während er adaptiv audio-visuelle Semantik auf Ereignisebene aggregiert und so die anschließende Abhängigkeitsumstrukturierung und parallele Dekodierung leitet; und (2) einen ereignisfaktorisierten parallelen Dekodierungsmechanismus, der lokalen Fokus mit globalem ereignisübergreifendem Bewusstsein effektiv ausbalanciert. Experimente auf verschiedenen Benchmarks zeigen den klaren Vorteil unseres Ansatzes sowohl in Effizienz als auch Leistung bei omni-modaler Ereignisverankerung und -beschriftung. Projekt-Website: https://github.com/showlab/PadCaptioner.
Trotz jüngster Fortschritte bei VLA-Foundation-Modellen behindert die Diskrepanz zwischen Laborbedingungen und realen Anwendungen weiterhin deren praktische Umsetzung. Um diese Lücke zu schließen, stellen wir LingBot-VLA 2.0 vor, das LingBot-VLA durch Verbesserungen in drei Funktionsbereichen weiterentwickelt. (1) Generalisierung über Aufgaben und Embodiments hinweg. Im Vergleich zur Vorgängerversion überarbeiten wir die Datenverarbeitungspipeline und bereiten etwa 60.000 Stunden Daten für das Pretraining auf, darunter 50.000 Stunden Robotertrajektorien über 20 Roboter-Konfigurationen und 10.000 Stunden egozentrische menschliche Videos. (2) Erweiterter Aktionsraum zusätzlich zu den Hardware-Plattformen mit zwei Armen. Unser System berücksichtigt insbesondere Freiheitsgrade für Köpfe, Taillen, mobile Basen und geschickte Hände, wodurch die Roboter in praxisnahen Szenarien komplexere Aufgaben bewältigen können. (3) Prädiktive Dynamikmodellierung zur verbesserten zeitlichen Argumentation. Konkret formulieren wir die Vorhersage zukünftiger Ereignisse als eine Ersatzaufgabe, unterstützt durch ein Videorepräsentationsmodell für semantische Prioris und ein Tiefenschätzmodell für geometrische Hinweise. Evaluationen auf dem GM-100-Benchmark, durchgeführt in einem generalistischen Setting, bestätigen den positiven Einfluss dieser vorgeschlagenen Modifikationen. Darüber hinaus demonstriert LingBot-VLA-2.0, begünstigt durch die erweiterten Pretraining-Daten, die die Ganzkörper-Freiheitsgrade abdecken, eine starke verkörperungsübergreifende langhorizontige mobile Manipulationsfähigkeit auf beiden Roboterplattformen.
On-Policy-Destillation (OPD) trainiert eine Schülerpolitik, indem sie einen stärkeren Lehrer auf den eigenen Trajektorien des Schülers abgleicht, und bietet damit einen vielversprechenden Rahmen für das Training von Sprachagenten. Ihre Anwendung auf langfristige agentische Aufgaben ist jedoch noch unzureichend erforscht. Wir identifizieren zwei wesentliche Ineffizienzen der einfachen Agenten-OPD: (1) Vollhorizont-Rollouts verschwenden oft Echtzeitressourcen für Endrunden, die eine schwache und verrauschte KL-Überwachung liefern, und (2) trajektorienweise KL-Ziele konzentrieren den Großteil des Verlusts auf flache Token, wodurch tiefere Entscheidungsrunden unzureichend trainiert bleiben, sobald das anfängliche Verhalten angeglichen ist. Um diese Herausforderungen zu bewältigen, schlagen wir TurnOPD vor, eine rundenweise Budgetierungsstrategie für effiziente On-Policy-Destillation von langfristigen Agenten. TurnOPD besteht aus zwei Budgetsteuerungen: adaptive Rollout-Tiefen-Budgetierung, die sondenbasierte Rundenstatistiken zur Bestimmung der Rollout-Länge verwendet, und progressive rundenormalisierte Verlustbudgetierung, die die KL-Gewichtung schrittweise von der Token-Ebene zur rundenausgeglichenen Überwachung verschiebt. Experimente auf ALFWorld, WebShop und Multi-Hop Search mit aufgabenspezialisierten Lehrermodellen zeigen, dass TurnOPD unter gleichen Echtzeit-Trainingsbudgets eine überlegene Validierungsgenauigkeit erreicht und die Genauigkeits-Zeit-Grenze über die einfache OPD hinaus verschiebt.
Wir stellen MentalThink vor, ein visuell-symbolisches Reasoning-Paradigma, das multimodale LLMs (MLLMs) mit einem ausführbaren Mechanismus zur „mentalen“ Visualisierung ausstattet. Der Kern von MentalThink ist eine Think-with-SVG-Pipeline, bei der das Modell lernt, Code für skalierbare Vektorgrafiken (SVG) zu generieren, zu rendern und als intermediate visuelle Repräsentation für mehrstufiges Reasoning zu interpretieren. Durch die Erstellung strukturierter Vektorskizzen kann das Modell räumliche Hypothesen externalisieren, sie mittels deterministischen Renderings überprüfen und in einem eingeschränkten geometrischen Raum Reasoning betreiben – und damit effektiv den menschlichen Prozess der mentalen Vorstellung nachahmen. Wir setzen dieses Paradigma in einem zweistufigen Trainingsrahmen um, der überwachte Feinabstimmung (SFT) für die syntaktische Ausrichtung von SVG mit mehrstufigem Verstärkungslernen (RL) kombiniert, um die iterative Inspektion, Überarbeitung und Verfeinerung von intermediären visuellen Hypothesen zu fördern. Umfangreiche Evaluierungen zeigen, dass MentalThink auf Benchmarks für räumliches Verständnis und Reasoning überlegene Ergebnisse erzielt (z. B. 55,1 % auf VSIBench, 76,0 % auf MindCube). Dies belegt, dass ausführbare Vektorgrafiken einen verifizierbaren visuellen Arbeitsbereich für dynamische Perspektivenübernahme, visuelle Reflexion und kompositorische Szenenkonstruktion bieten.
Bestärkendes Lernen (RL) zur nicht verifizierbaren Befolgung von Anweisungen stützt sich zunehmend auf LLM-Richter mit promptspezifischen Bewertungskriterien als Belohnungssignale. Während neuere Methoden diese Bewertungskriterien an die sich entwickelnde Policy während des Trainings anpassen, bleiben die Trainingsprompts selbst statisch und stammen aus festen Korpora. Dieser statische Ansatz führt häufig zu einer kritischen Fehlanpassung zwischen dem Schwierigkeitsgrad der Prompts und den Fähigkeiten der Policy, sodass der Richter kein diskriminierendes Belohnungssignal mehr gewinnen kann, wenn die Prompts keine Qualitätsvarianz zwischen den Rollouts hervorrufen. Um diese Fehlanpassung zu beheben, führen wir LLM-as-a-Tutor ein, ein Framework, das die Rolle des LLM vom Richter zum Tutor erweitert: Ein einzelnes Modell dient als Prüfer, der Policy-Rollouts paarweise vergleicht, um nicht herausfordernde Prompts zu erkennen, und als Generator, der ihnen atomare Beschränkungen hinzufügt. Dieses Nur-Anhängen-Design erhöht die Schwierigkeit monoton im Gleichschritt mit der Fähigkeit der Policy und erzeugt ein selbstkalibrierendes Trainingssignal ohne externe Schwierigkeitspläne. Bei drei komplexen Benchmarks zur Befolgung von Anweisungen übertrifft unsere Methode sowohl policy-unbewusste Baselines als auch frühere policy-adaptive Methoden, die Bewertungskriterien anpassen oder Prompts umschreiben, was darauf hindeutet, dass die Prompt-Adaption eine fehlende Achse der Policy-Bewusstheit im nicht verifizierbaren RL darstellt.
Die jüngsten Fortschritte bei großen generativen Modellen haben die Videogenerierung erheblich vorangetrieben, doch bestehende Methoden bleiben durch ein starres Inferenzparadigma eingeschränkt. Bidirektionale Diffusionsmodelle zeichnen sich durch globale Kohärenz und visuelle Treue aus, leiden jedoch unter langsamer Inferenz, während autoregressive Modelle eine effiziente und stromende Generierung bieten, allerdings auf Kosten der Konsistenz über lange Zeiträume und des Expositionsbias. Wir stellen Flex-Forcing vor, ein einheitliches Trainings- und Inferenzframework, das es einem Videodiffusionsmodell ermöglicht, nahtlos sowohl in bidirektionalen als auch in autoregressiven Generierungsmodi zu arbeiten. Die Kernidee ist ein flexibler Chunking-Mechanismus, der gemeinsam über die zeitliche Achse und die Entrauschungsschritte definiert wird. Dieses Design erlaubt dem Modell (1) flexibles Chunking entsprechend unterschiedlicher Gerätebudgets, (2) bidirektionale Inferenz über Chunks hinweg zur globalen Strukturplanung, während es innerhalb jedes Chunks autoregressiv Frames für eine effiziente und feinkörnige Synthese generiert, und (3) autoregressive Generierung in beliebiger Reihenfolge und zu beliebigen Zeitschritten ohne die strenge kausale Einschränkung. Umfangreiche Experimente mit mehreren Videogenerierungs-Benchmarks zeigen, dass Flex-Forcing im Vergleich zu starken Baselines mit starrem Inferenzplan eine durchweg bessere Videoqualität und Stabilität bei langen Videos erzielt und gleichzeitig eine schnellere Inferenz bietet.
Die komplexe Bildgenerierung und -bearbeitung erfordert oft mehr als ein einzelnes Generierungs- oder Bearbeitungsmodell. Eine Benutzeranfrage kann das Synthetisieren von Bildern, das Lokalisieren von Objekten, das Segmentieren von Regionen, das Bearbeiten ausgewählter Inhalte, das Compositing von Zwischenergebnissen, das Lesen von Text und die Verbesserung des Endergebnisses umfassen. Solche Aufgaben verlagern multimodale Agenten von wahrnehmungsgestütztem Denken hin zu manipulationszentrierter visueller Erstellung, bei der Werkzeuge aktiv visuelle Zustände verändern müssen, anstatt sie nur zu inspizieren. Allerdings sind bestehende multimodale Tool-Use-Agenten meist für Wahrnehmung, Suche oder domänenspezifische Bearbeitung optimiert und es fehlt ihnen an großflächiger Überwachung für ausführbare Bildgenerierungsverläufe. In dieser Arbeit stellen wir CanvasCraft vor, einen großflächigen multimodalen Tool-Use-Datensatz für komplexe Bildgenerierung und -bearbeitung, sowie CanvasAgent, einen werkzeuggestützten multimodalen Agenten, der lernt, heterogene visuelle Werkzeuge durch mehrstufige Interaktion zu orchestrieren. CanvasCraft enthält 140.000 vollständig annotierte ausführbare Verläufe und 10.000 RL-Aufgabenspezifikationen. CanvasAgent wird zunächst mit SFT trainiert, um ausführbare Reasoning-Action-Verläufe zu lernen, und dann mit GRPO unter Verwendung einer hybriden Belohnung optimiert, die Outcome- und Prozess-Level-Signale kombiniert. Während des Rollouts inspiziert CanvasAgent Zwischenergebnisse, verfolgt visuelle Assets und passt Werkzeugentscheidungen an den sich entwickelnden visuellen Zustand an. Experimente bewerten sowohl die endgültige Bildqualität als auch das Verhalten der Verläufe und demonstrieren die Wirksamkeit von CanvasAgent und des vorgeschlagenen Datensatzes für komplexe Multi-Tool-Bildgenerierungs-Workflows.
In der egozentrischen 3D-Szenengenerierung bestehen weiterhin Herausforderungen aufgrund einer begrenzten Überlappung der Ansichten und des dominanten Einflusses individueller Perspektiven auf die Szeneninterpretation. Diese Faktoren behindern die Erzeugung blickpunktkonsistenter und semantisch abgestimmter visueller Inhalte sowie die Konstruktion präziser geometrischer Strukturen. In diesem Beitrag stellen wir CGGS vor, ein Text-zu-3D-Framework, das darauf abzielt, das 3D-Inhaltsbewusstsein zu verbessern und geometrische Verzerrungen in der egozentrischen Szenengenerierung zu adressieren. Zunächst wird der Egozentrische Generator vorgeschlagen, indem ein Multi-View-Latent-Diffusionsmodell mit konsistenzgesteuertem Verlust feinabgestimmt wird, um konsistente, hochtreue 2D-Inhalte zu erzeugen, die mit Textbeschreibungen übereinstimmen. Dann nutzt der Layout-Dekorator optischen Fluss und Punktverfolgungskorrespondenz zur Tiefenschätzung und erzeugt somit dichte Punktwolken als grobe Layouts aus den egozentrischen 2D-Priors. Aufbauend auf dieser Initialisierung wird der Geometrie-Verfeinerer vorgeschlagen, um die 3D-Gauß-Rekonstruktion durch einen entropiebasierten Mutual-Information-Depth-Verlust (MID) in Kombination mit einem hierarchischen Optimierungsschema zur Verbesserung der visuellen Qualität und der geometrischen Struktur zu verbessern. Umfassende Experimente zeigen, dass CGGS frühere Methoden bei der Erzeugung kohärenter und genauer textgesteuerter 3D-Szenen übertrifft. Projektseite: https://cggs-26.github.io/cggs26/.
Stand der Technik bei der Einzelbild-3D-Rekonstruktion sind häufig komplexe hybride Architekturen und Verlustfunktionen oder die Kompression von Geometrie in latente Räume, um vortrainierte latente Diffusionsmodelle zu nutzen. In dieser Arbeit zeigen wir, dass solcher architektonischer Overhead und komplizierte Verlustformulierungen unnötig sind. Wir stellen einen minimalistischen Pixelraum-Diffusion-Transformer vor, der auf einem einfachen ViT basiert, direkt auf rohen 3D-Punktkarten-Patches arbeitet und durch Bildtokens eines vortrainierten DINOv3 konditioniert wird. Im Gegensatz zu bestehenden latenten Diffusionsansätzen trainieren wir unser Diffusions-Backbone vollständig von Grund auf, wodurch die Notwendigkeit von Punktkarten-Tokenisierern entfällt. Trotz seiner Einfachheit übertrifft unser Ansatz komplexe latente Diffusionsmodelle und bleibt dabei wesentlich simpler als hybride Alternativen. Besonders bemerkenswert ist, dass er schärfere geometrische Strukturen erzeugt und in stark ambigen Bereichen, wie etwa transparenten Objekten, robuster ist.
Wir stellen Nemotron-Labs-Diffusion vor, ein Dreimodus-Sprachmodell (LM), das AR, Diffusion und Selbst-Spekulations-Dekodierung in einer einzigen Architektur vereint. Trainiert mit einem gemeinsamen AR-Diffusionsziel, kann Nemotron-Labs-Diffusion zwischen den Modi wechseln, um hohen Durchsatz über verschiedene Bereitstellungsumgebungen und Parallelitätsstufen hinweg aufrechtzuerhalten. Unsere Studie zeigt, dass (1) AR- und Diffusionsziele komplementär sind: Diffusion verbessert die Vorausplanung, während AR links-nach-rechts-sprachliche Priors liefert. (2) Im Selbst-Spekulations-Modus erstellt Diffusion Entwürfe, während AR verifiziert, und übertrifft damit Methoden der Multi-Token-Vorhersage (MTP) sowohl in der Akzeptanzrate als auch in der Effizienz auf realen Geräten. (3) Eine Lichtgeschwindigkeitsanalyse zeigt zudem das langfristige Potenzial der Diffusion, mit bis zu 76,5 % mehr Tokens pro Vorwärtsdurchlauf als Selbst-Spekulation unter einem optimalen Sampler. Bei Skalierung auf 3B, 8B und 14B Parameter übertrifft unsere Nemotron-Labs-Diffusion-Familie, einschließlich Basis-, Instruktions- und Vision-Language-Modellen, durchweg hochmoderne Open-Source-AR- und Diffusions-Sprachmodelle sowohl in Genauigkeit als auch Geschwindigkeit. Beispielsweise dekodiert Nemotron-Labs-Diffusion-8B 6-mal mehr Tokens pro Vorwärtsdurchlauf als Qwen3-8B bei vergleichbarer Genauigkeit, was auf einem GB200 GPU mit SGLang auf SPEED-Bench zu einem 4-mal höheren Durchsatz führt.
Die Group Relative Policy Optimization (GRPO) ist wirksam, wenn die aktuelle Policy bereits nützliche Denktrajektorien sampelt, stagniert jedoch bei schwierigen Prompts, deren korrekte Lösungsmodi außerhalb des On-Policy-Trägers des Schülers liegen. Wir stellen TREK (Teacher-Routed Exploration via Forward KL) vor, ein einfaches stufenweises Verfahren, das Destillation nicht zur Nachahmung, sondern zur Erweiterung des Explorationsunterstützungsbereichs nutzt. Ein wesentlicher Vorteil von TREK ist seine Allgemeinheit: Da es ausschließlich verifizierte Ausgabepfade verarbeitet, kann es einen externen Black-Box-Lehrer, einen White-Box-Lehrer oder dasselbe Modell mit zusätzlichem Inferenzkontext verwenden und effizient identifizieren, welche Proben bei schwierigen Prompts am meisten einer Konsolidierung wert sind – selbst wenn keine internen Lehrerzustände verfügbar sind. TREK identifiziert zunächst Prompts, bei denen der ununterstützte Schüler eine sehr niedrige Erfolgsrate aufweist, fragt eine Vorschlagsquelle an, um verifizierte Kandidatenlösungen zu erzeugen, behält die nach aktueller Schülerwahrscheinlichkeit geordneten r besten Vorschläge, wendet eine kurze Forward-KL-Phase an, um diese verifizierten Modi in den Träger des Schülers zu ziehen, und kehrt dann zur standardmäßigen On-Policy-GRPO-Verfeinerung zurück. Beim mathematischen Reasoning verbessert TREK mit DeepSeek-V4-Vorschlägen die Leistung von Qwen3-Modellen auf allen getesteten Skalen bei AIME 2024 und AIME 2025; für Qwen3-8B steigt AIME 2025 von 36,9 auf 40,3 und AIME 2024 von 47,9 auf 51,1 (avg@16), während die Selbstkontext-Variante ohne externen Lehrer 38,5 bzw. 49,6 erreicht. Bei agentischen Aufgaben erhöht TREK die Erfolgsrate bei ALFWorld von 75,8 auf 82,8 und bei ScienceWorld von 12,5 auf 26,7; bemerkenswerterweise erzielt TREK bei den schwierigsten Aufgabentypen bereits früh im Training hohe Erfolgsraten, während das ununterstützte GRPO deutlich mehr Optimierungsschritte benötigt, um vergleichbare Werte zu erreichen.
Wir stellen Rank-Then-Act (RTA) vor, ein Framework zum Erlernen von Steuerungspolitiken aus Experten-Videodemonstrationen ohne Umgebungsbelohnungen. RTA trainiert ein Vision-Language-Modell (VLM) offline als einen fortschrittsbasierten ordinalen Bewerter, wobei ein Group-Relative-Policy-Optimization (GRPO)-Ziel über gemischte Framesequenzen verwendet wird. Dies zwingt das Modell, die zeitliche Ordnung aus visuellen Semantiken statt trivialen Zeitmerkmalen zu rekonstruieren. Entscheidend ist, dass wir den Bewerter nicht direkt als skalares Belohnungsmodell nutzen, sondern eine korrelationsbasierte Belohnungsfunktion für das bestärkende Lernen vorschlagen: In jedem Interaktionsfenster berechnen wir die Spearman-Rangkorrelation zwischen vorhergesagten Fortschrittsrängen und wahren zeitlichen Indizes, was ein beschränktes, skalierungsinvariantes Lernsignal liefert. Dieses Design entkoppelt das Belohnungslernen von absoluter Kalibrierung und ermöglicht eine stabile Übertragung zwischen Aufgaben und Umgebungen. Wir bewerten RTA an diskreten Steuerungsbenchmarks (PyBoy: Catrap, Kirby) und kontinuierlichen Steuerungsaufgaben (PointMaze, MetaWorld). RTA erreicht konsistent mindestens die Leistung früherer videobasierter Belohnungslernmethoden und rangbasierter Basislinien und zeigt dabei eine starke Wiederverwendung eines einzelnen vortrainierten Fortschrittsbewerters über verschiedene Aufgaben hinweg. Unsere Ergebnisse deuten darauf hin, dass korrelationsstrukturierte Überwachung über videobasierte ordinalsignale ausreicht, um Politiken zu erlernen, und eine skalierbare Alternative zur expliziten Belohnungsgestaltung darstellt.
Spätinteraktions-Retrievalmodelle, die die MaxSim-Ähnlichkeitsfunktion verwenden, haben eine starke empirische Leistung gezeigt und übertreffen oft Einzelvektor-dichte und dünnbesetzte Retrievalmodelle. Trotz dieser empirischen Befunde ist wenig über die theoretische Darstellungsfähigkeit von MaxSim und deren Vergleich zu anderen Retrievalansätzen bekannt. Diese Arbeit zeigt konstruktiv, dass die MaxSim-Ähnlichkeit das innere Produkt zwischen zwei nicht-negativen k-dünnbesetzten Vektoren mit möglicherweise unendlicher Dimension exakt replizieren kann, wobei nur O(k) Darstellungsraum benötigt wird. Darüber hinaus gibt es Ähnlichkeiten, die MaxSim ausdrücken kann, während standardmäßige Vektor-Innenprodukte mit demselben Darstellungsraum dies nicht können. Aufbauend auf unserem theoretischen Rahmen führen wir Signed MaxSim ein, das es Spätinteraktionsmodellen ermöglicht, jedes reellwertige innere Produkt exakt zu replizieren, was – wie wir beweisen – mit dem standardmäßigen MaxSim nicht möglich ist. Wir zeigen auch, dass MaxSim als Aggregation von Soft-ODER-Operationen und als Auswerter logischer Ausdrücke in positiver konjunktiver Normalform fungieren kann. Unsere Ergebnisse zeigen, dass MaxSim für beliebige nicht-negative Vektoren mindestens so leistungsfähig ist wie standardmäßige Vektor-Innenprodukte und unsere Erweiterung, Signed MaxSim, für beliebige Vektoren ebenso leistungsfähig ist. Beide Ähnlichkeiten besitzen zusätzliche Fähigkeiten, die das innere Produkt nicht replizieren kann, was eine der ersten theoretischen Rechtfertigungen und Quantifizierungen von Spätinteraktionsmethoden darstellt. Unsere theoretischen Ergebnisse werden empirisch gestützt: Bei einer Retrieval-Aufgabe mit Negationen enthaltenden Abfragen verbessert Signed MaxSim die Leistung außerhalb des Anwendungsbereichs (out-of-domain) signifikant im Vergleich zu einer Standard-ColBERT/MaxSim-Baseline, wobei der nDCG@10 unter einer Vokabularverschiebung von 0,597 auf 1,000 und bei nur Negationen enthaltenden Abfragen von 0,008 auf 0,788 ansteigt.
LLM-Agenten verlassen sich zunehmend auf Abrufpuffer, um vergangene Erfahrungen zu speichern und wiederzuverwenden, doch die Cache-Verwaltungsrichtlinien, die diese Puffer steuern, bleiben weitgehend ad-hoc. Wir formalisieren dies als ein Online-Problem des semantischen Cache-Ersatzes mit Wechselkosten, bei dem Elemente anhand der Einbettungsähnlichkeit abgeglichen werden und die Trefferqualität kontinuierlich statt binär ist. Durch Experimente mit zwei Datensätzen aus MemoryBench-Full (LoCoMo, DialSim) und 8 Ersatzrichtlinien zeigen wir ein überraschendes Ergebnis: Klassische Heuristiken (LRU, LFU) schneiden bei semantischen Arbeitslasten durchgängig schlechter ab als die naive FIFO-Baseline, bedingt durch das Fehlen zeitlicher Lokalität und Häufigkeitskonzentration. Wir schlagen SOLAR vor, ein lernunterstütztes Framework, das den Zeitpunkt der Modifikation aus der Bedauernsakkumulation ableitet (mit einer Modifikationsrate von etwa 17 %) und die Inhaltsauswahl durch Bayessches Online-Lernen über implizites Abruf-Feedback vornimmt. Wir beweisen, dass SOLAR ein konstantes Wettbewerbsverhältnis ≤ 3 erreicht, unabhängig von Cache-Größe und Horizont (im Vergleich zu Ω(K) für FIFO), sowie ein Verdrängungsbedauern von O(KT log T), was bis auf logarithmische Faktoren der unteren Schranke Ω(KT) entspricht. Experimente zeigen eine relative Verbesserung von 5–75 % gegenüber FIFO bei knappen Cache-Größen, mit einem klar charakterisierten Phasenübergang an der Arbeitsmengengrenze. Synthetische Experimente mit 5000-Element-Pools offenbaren zudem eine umgekehrte U-Beziehung zwischen Poolgröße und Abrufqualität, was Kapazitätsbeschränkungen eher als ein Abruf-Rausch-Phänomen denn als Speicherbegrenzung rechtfertigt.
Mathematisches Reasoning ist zu einer zentralen Aufgabe für die Evaluierung und das Feintuning von Reasoning Large Language Models (LLMs) geworden, dennoch sind bestehende Benchmarks stark auf ressourcenstarke Sprachen ausgerichtet, wobei Englisch und Chinesisch sowohl in den vortrainierten Korpora als auch in den Evaluierungssammlungen dominieren. Der kürzlich veröffentlichte Datensatz PolyMath (Wang et al., 2025) stellt einen wichtigen Fortschritt dar, dennoch ist seine Abdeckung auf nur 18 ressourcenstarke Sprachen beschränkt. Um diese Lücke zu schließen, führen wir PluraMath ein, eine Erweiterung von PolyMath auf 18 weitere unterrepräsentierte Sprachen aus 6 Sprachfamilien – von mittel- bis zu extrem ressourcenschwachen Umgebungen. Wir haben den Datensatz durch eine menschlich kuratierte Pipeline erstellt, bei der Muttersprachler vorberechnete Übersetzungen gründlich validiert haben. Mit PluraMath benchmarken wir dann 27 Reasoning-LLMs über vier Modellgrößen hinweg – kleine, mittelgroße, große und geschlossene Ensembles – und untersuchen die mehrsprachigen mathematischen Reasoning-Fähigkeiten von State-of-the-Art-Modellen unter verschiedenen sprachlichen Bedingungen. Unsere detaillierte Analyse bestätigt eine anhaltende Lücke in der mathematischen Reasoning-Leistung zwischen ressourcenstarken und unterrepräsentierten Sprachen, wobei stärkere Ergebnisse weitgehend mit einer besseren Fähigkeit zur Befolgung von Anweisungen verbunden sind. Wir stellen unseren Datensatz, die Datenakquise-Pipeline und den Evaluierungsrahmen vollständig als Open Source zur Verfügung, mit dem Ziel, die Hürde für die Entwicklung mehrsprachiger Benchmarks für unterrepräsentierte Gemeinschaften zu senken.
Multimodale große Sprachmodelle (MLLMs) generieren Antworten autoregressiv, indem sie visuelle und sprachliche Informationen in einem sich entwickelnden Kontext integrieren. Bisherige Arbeiten zur Interpretierbarkeit haben sich auf einzelne Schichten und Schaltkreise konzentriert (das „Wo“), während die token-bezogene Dynamik multimodaler Berechnung während der Generierung (das „Wann“) wenig erforscht ist. Wir schließen diese Lücke und untersuchen Aufmerksamkeitsverschiebungen nach semantischer Rolle; dabei verfolgen wir die Aufmerksamkeit des Modells auf Bilder, Text, Anweisungen und zuvor generierte Token, One Token at a Time (OTaT). Wir führen multimodale Aufgaben ein, die explizites Umschalten zwischen visuellem und textuellem Kontext innerhalb einer einzelnen Antwort erfordern. Über zwei gängige Modellfamilien und vier Open-Weight-MLLMs verschiedener Größen hinweg stellen wir konsistente Muster fest: Die Aufmerksamkeit auf Bilder erreicht bei Tokens, die bildbezogene Informationen erfordern, ihren Höhepunkt; Anweisungs-Tokens werden bei Aufgabenübergängen erneut aufgerufen; und die Aufmerksamkeit auf zuvor generierte Tokens nimmt mit fortschreitender Generierung zu. Kausale Aufmerksamkeitsblockierungsinterventionen bestätigen die funktionale Rolle dieser Tendenzen. Wir charakterisieren das Modellverhalten unter gestörter Aufmerksamkeit und beobachten, dass Antworten auf Sprachpriore zurückfallen oder modalitätsübergreifendes Durchsickern, Verweigerung oder Erholung aufweisen. Schließlich schlagen wir – gestützt auf die durch unsere neuartige Analyse gewonnenen Erkenntnisse über die Aufmerksamkeitsdynamik – eine einfache Testzeit-Intervention vor, um die Aufmerksamkeit zur richtigen Zeit auf die relevante Modalität zu lenken, was die Leistung bei multimodalen Aufgaben signifikant verbessert.
Hierarchische Vision-Language-Action (VLA)-Modelle entkoppeln die Planung auf hoher Ebene von der Steuerung auf niedriger Ebene, um die Generalisierung bei Robotermanipulationen zu verbessern. Neuere Arbeiten in diesem Paradigma nutzen von einem Vision-Language-Modell (VLM) vorhergesagte 2D-Endeffektor-Trajektorien als explizite Anleitung für eine nachgelagerte Policy. Allerdings operieren modernste Low-Level-Policies in einem 3D-metrischen Raum auf Punktwolken. Die Zuführung von 2D-Führung ohne Tiefeninformation zwingt dazu, jedem Wegpunkt die Tiefe der darunterliegenden Szenenoberfläche zuzuweisen, was geometrisch verzerrte Trajektorien erzeugt. Wir stellen 3D HAMSTER vor, ein hierarchisches Framework, das diese Lücke schließt, indem der Planer direkt metrisch zuverlässige 3D-Trajektorien ausgibt. Wir erweitern ein VLM um einen dedizierten Tiefenencoder und ein Ziel der dichten Tiefenrekonstruktion, um 3D-Wegpunktsequenzen vorherzusagen, die direkt in eine punktwolkenbasierte Low-Level-Policy integriert werden. In der 3D-Trajektorienvorhersage, Simulation und realen Manipulation übertrifft 3D HAMSTER durchgängig proprietäre VLMs und 2D-geführte Baselines, mit den größten Verbesserungen unter erscheinungsverändernden Verschiebungen sowie unbekannten sprachlichen, räumlichen und visuellen Bedingungen. Die Projektseite ist verfügbar unter https://davian-robotics.github.io/3D_HAMSTER/.
Wir präsentieren HunyuanOCR-1.5, ein leichtgewichtiges, auf OCR spezialisiertes End-to-End-Vision-Language-Modell. HunyuanOCR vereint Dokumentenparsing, Text-Spotting, Informationsextraktion, Text-Bild-Übersetzung und Multi-Bild-Dokumentenverständnis in einem einzigen End-to-End-VLM. Aufbauend auf der leichtgewichtigen Architektur von HunyuanOCR-1.0 wird das Backbone nicht neu gestaltet, sondern sowohl Effizienz als auch Leistungsfähigkeit systematisch verbessert. Für die Effizienz passen wir DFlash an die OCR-Dekodierung an, wodurch die Latenz langer strukturierter Ausgaben wie dichter Dokumente, Tabellen und Formeln signifikant reduziert wird, während die Ausgabeverteilung erhalten bleibt. Dank DFlash erreicht HunyuanOCR-1.5 eine 6,37-fache Transformer-Inferenzbeschleunigung und eine 2,14-fache Beschleunigung unter vLLM und bietet damit die schnellste Inferenz unter den leichtgewichtigen OCR-VLMs. Für die Leistungsfähigkeit schlagen wir Agentic Data Flow vor, ein agentengesteuertes Datenkonstruktionssystem, das Modellschwächen in ausführbare Datenanforderungen umwandelt und automatisch Materialsuche, Qualitätsverifikation und Pipeline-Entwicklung durchführt. Es verbessert substanziell die Long-Tail-Fähigkeiten in der OCR alter Schriften, der feinkörnigen Diagramm- und Tabellenauswertung, der textzentrierten Multi-Bild-QA, dem mehrsprachigen Parsing mit geringen Ressourcen und der Bewertung von Dokumentenhalluzinationen. HunyuanOCR-1.5 zählt zu den führenden End-to-End-OCR-Lösungen auf OmniDocBench v1.6 und erreicht neue Leistungsmeilensteine bei diesen Long-Tail-Aufgaben. In Kombination mit einem verbesserten Vor- und Nachbereitungsverfahren erweitert HunyuanOCR-1.5 seine Fähigkeiten auf hochauflösende, langkontextuelle und multitaskingfähige Szenarien. Experimente belegen schnellere Inferenz, eine breitere OCR-Fähigkeitsabdeckung und die Bereitstellungsvorteile eines leichtgewichtigen End-to-End-Modells. Wir werden die Modellgewichte und den Trainingscode veröffentlichen, um zukünftige Forschung und reale OCR-Anwendungen zu unterstützen.
Verstärkungslernen (Reinforcement Learning, RL) ist zu einer zentralen Komponente des Nachtrainings großer Sprachmodelle (Large Language Models, LLMs) geworden, dennoch ist wenig darüber bekannt, wie die RL-Adaption über die Transformer-Schichten verteilt ist. Bisherige Ansätze aktualisieren typischerweise alle Modellparameter einheitlich und gehen dabei implizit davon aus, dass jede Schicht in ähnlichem Maße zu den Verbesserungen beiträgt, die während des RL-Nachtrainings erzielt werden. In dieser Arbeit stellen wir diese Annahme durch eine systematische schichtweise Untersuchung des RL-Trainings infrage. Überraschenderweise stellen wir fest, dass das Training einer einzelnen Transformer-Schicht die meisten der durch vollparametrisches RL-Training erzielten Verbesserungen wiederherstellen und in manchen Fällen sogar übertreffen kann. Um dieses Phänomen zu quantifizieren, führen wir die Größe des Schichtbeitrags ein, die den Anteil der vollständigen RL-Verbesserung misst, der durch das Training einer isolierten Schicht wiederhergestellt wird. Über sieben Modelle aus zwei Modellfamilien (Qwen3, Qwen2.5), drei RL-Algorithmen (GRPO, GiGPO, Dr. GRPO) und mehrere Aufgabenbereiche, darunter mathematisches Denken, Codegenerierung und agentische Entscheidungsfindung, hinweg beobachten wir ein bemerkenswert stabiles Muster: Die RL-Verbesserungen konzentrieren sich stark auf eine kleine Teilmenge, in vielen Fällen sogar auf eine einzige, der Transformer-Schichten. Noch auffälliger ist, dass sich dasselbe strukturelle Muster durchgängig zeigt: Schichten mit hohem Beitrag konzentrieren sich in der Mitte des Transformer-Stapels, während Schichten nahe dem Eingabe- und Ausgabeende erheblich weniger beitragen. Die resultierenden Schicht-Rangfolgen bleiben über Datensätze, Aufgaben, Modellfamilien und RL-Algorithmen hinweg stark korreliert.
Code-Agenten generieren zunehmend Pull Requests (PRs) für reale Softwareprobleme, doch die einmalige PR-Erstellung bleibt ein offener Kreislauf: Der PR wird ohne systematische Überprüfung, Diagnose oder Überarbeitung vorgeschlagen. Wir stellen SWE-Review vor, ein Framework zur Schließung dieses Kreislaufs durch agentische Codeüberprüfung. Ausgehend von einem Problem und einem KI-generierten PR durchsucht ein Reviewer-Agent das Repository, entscheidet, ob der PR akzeptiert werden sollte, und liefert strukturiertes Feedback für Überarbeitungen. Wir evaluieren dieses Szenario mit unserem vorgeschlagenen SWE-Review-Bench, um sowohl die Korrektheit der Überprüfung als auch die Nützlichkeit der nachgelagerten Überarbeitung zu messen. Des Weiteren kuratieren wir den SWE-Review-Traj-Datensatz, um breitere Anwendungen agentischer Überprüfung zu untersuchen und die Datenknappheit für das offene Training von Reviewern zu schließen. Experimente zeigen, dass agentische Überprüfung PRs kontinuierlich durch eine Generieren-Überprüfen-Überarbeiten-Schleife verbessert, sowohl in der Entscheidungsgenauigkeit als auch in der Behebungsrate nach Überarbeitung übertrifft sie die einmalige Überprüfung mit festem Kontext, sie überträgt sich über die Überprüfung hinaus auf Modelle zur Problembehebung und ermöglicht effektive und effiziente Testzeit-Skalierung. Diese Ergebnisse positionieren agentische Codeüberprüfung als praktischen Mechanismus, um KI-Code-Agenten von der einmaligen PR-Erstellung hin zur geschlossenen Problemlösung zu bewegen.
Audiovisuelle Künste umfassen eine Vielzahl kreativer Disziplinen, darunter Filmkunst, bildende Kunst, Bühnenkunst und Spieldesign, bei denen künstlerische Bedeutung durch bewusste Kombinationen von visuellen, auditiven und narrativen Elementen entsteht (z. B. Verstärkung von Angst durch beengte Bildausschnitte oder Vermittlung von Trauer durch Stille und lange Nahaufnahmen). Ein echtes künstlerisches Verständnis geht über das Erkennen des Dargestellten hinaus und erfordert ein Nachdenken darüber, warum etwas durch bestimmte kreative Entscheidungen ausgedrückt wird. Trotz der großen Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) bleibt dieser entscheidende Aspekt des künstlerischen Verständnisses untererforscht, da bestehende Benchmarks hauptsächlich die Wahrnehmungserkennung messen, während das Verständnis kreativer Absichten vernachlässigt wird. Um diese Lücke zu schließen, führen wir Musebench ein, einen umfassenden Benchmark zur Bewertung von MLLMs hinsichtlich eines nuancierten künstlerischen Verständnisses. Er umfasst 4.016 Fragen aus den Bereichen Filmkunst, statische visuelle Kunst, darstellende Bühnenkunst und Spielekunst, die aus über 10.000 Kandidaten-Videoessays destilliert wurden, die professionelle Kommentare mit visuellen Darstellungen kombinieren. Um den offenen Charakter künstlerischer Analyse in großem Maßstab zu erfassen, kombiniert der Benchmark Einfachauswahl- und Mehrfachauswahlfragen mit variablen Optionen. Alle Fragen werden durch eine iterative Vier-Phasen-Pipeline generiert und verfeinert, die Shortcut-Filterung, adversarial Störreize und Expertenvalidierung umfasst. Eine umfassende Zero-Shot-Evaluierung von 28 hochmodernen MLLMs zeigt, dass selbst das leistungsstärkste Modell nur eine Genauigkeit von 48,29 % erreicht, deutlich unter der menschlichen Expertenleistung von 87,18 %, was eine erhebliche Lücke in der kreativen Domänenexpertise aktueller Modelle offenbart.
Vision-Language-Action (VLA)-Modelle werden typischerweise durch Imitation Learning auf großen Roboterdemonstrationsdatensätzen trainiert, wobei jedoch mehr Daten nicht zwangsläufig zu besseren Strategien führen, bedingt durch Redundanz, Rauschen und ungleichmäßige Abdeckung. Bestehende Datenauswahlmethoden bewerten Demonstrationen oft entweder auf Trajektorien- oder Zustand-Aktion-Ebene und übersehen dabei die wiederverwendbaren Strukturen, die langfristige Verhaltensweisen zusammensetzen. In dieser Arbeit schlagen wir SIEVE vor, eine strukturbewusste Datenauswahlmethode für VLA-Imitation Learning. SIEVE betrachtet Demonstrationen als Zusammensetzungen wiederverwendbarer Primitive und Übergangsschnittstellen. Zunächst werden visuo-motorische Primitive aus segmentierten Trajektorien entdeckt, dann werden Auswahlbudgets auf Kompositionsmuster verteilt, indem die wiederverwendungsbewusste strukturelle Exposition unter abnehmenden Erträgen maximiert wird. Schließlich werden Medoid-Trajektorien innerhalb jedes Kompositionsmuster-Buckets ausgewählt, um zentrale, stabile und imitationstaugliche Demonstrationen zu erhalten. Experimente mit mehreren Datensätzen, Benchmarks und VLA-Modellen zeigen, dass SIEVE durchgängig bessere Ergebnisse erzielt als konkurrierende Basislinien zur Datenauswahl. Bemerkenswerterweise kann SIEVE das vollständige Datentraining übertreffen, während nur 50 % der Demonstrationen und 50 % der Trainingsschritte verwendet werden. Dies deutet darauf hin, dass die wiederverwendbare Struktur, erfasst durch Primitive und Übergänge, ein wichtiges Signal für effizientes VLA-Imitation Learning darstellt.
Jedes chemische Sprachmodell, das SMILES liest, beginnt mit einem Tokenizer, doch das Feld hat die Byte-Pair-Encoding (BPE) aus der natürlichen Sprache mit wenig kritischer Prüfung übernommen. In der natürlichen Sprache ist bekannt, dass die wichtigste Alternative zu BPE, Unigram-LM, strukturell unterschiedliche Vokabulare aufbaut. Ob dieser Gegensatz in der Chemie bestehen bleibt, war offen. Wir berichten über einen kontrollierten Vergleich von BPE und Unigram-LM über eine feste chemische Basis von 165 Token bei kleinen Vokabulargrößen, bei denen Token-Embeddings lernbar sind, über drei Korpus-Typologien (divers, wirkstoffähnlich, Naturstoffe) und beide Pre-Tokenisierungs-Grenzregeln. Die beiden konvergieren nicht. In allen 22 angepassten Bedingungen erzeugen sie nahezu disjunkte Subwort-Vokabulare: Der Jaccard-Überlapp zwischen den Algorithmen für die gelernten Stücke überschreitet nie 0,161 und höchstens 0,05, wenn man ihn auf die hochfrequenten Stücke gewichtet, die ein Modell am meisten aktualisiert. Unigram-LM segmentiert zurückgehaltene Moleküle zudem in 29–41 % mehr Token; die Arme stimmen weitgehend darin überein, wo geschnitten wird, aber nicht wie tief, sodass die Segmentierung von BPE eine strikte Vergröberung der von Unigram-LM bei 80–99 % der Moleküle darstellt. Die Trennung besteht über Korpus, Grenze und Vokabulargröße hinweg und bleibt selbst bei der achtfachen Skala bestehen. Der Subwort-Algorithmus ist daher eine Modellierungsentscheidung, kein freier Standard. Die Studie trainiert keine Sprachmodelle.
Es bestehen erhebliche Unterschiede in der Diagnose und der klinischen Präsentation von Depressionen in verschiedenen Sprachpopulationen. Sprachbasierte Depressionserkennung funktioniert im einsprachigen Kontext gut, aber die cross-linguale Generalisierung bleibt eine offene Herausforderung. Ein wesentlicher Grund dafür ist, dass frühere Arbeiten segmentbasierte Zufallssplits ohne Sprechergruppierung verwenden, was zu einer Identitätsleckage führt, die die berichteten Metriken aufbläht. Wir schlagen CLeaD vor, ein Framework für überwachtes kontrastives Alignment, das WavLM-Einbettungen aus dem Englischen und Mandarin in einen gemeinsamen klinischen Raum abbildet – ohne parallele Daten oder Feintuning in der Zielsprache. Bei der Evaluierung von 52 Mandarin-Sprechern übertrifft das kontrastive Alignment die Baseline leicht (F1: 0,640 vs. 0,622) unter der Leave-One-Speaker-Out-Evaluierung. Es verbessert zudem den Depressions-Rückruf in mittleren Schichten (7–8), obwohl der kleine Testsatz die Generalisierbarkeit einschränkt. Zwei Ergebnisse bleiben robust: Die Skalierung des Modells verschlechtert die cross-linguale Leistung, während sie die einsprachig englische Leistung verbessert, und die Identitätsleckage des Sprechers hat zuvor berichtete Mandarin-F1-Werte künstlich auf 0,954 erhöht – ein Artefakt, das wir reproduzieren und quantifizieren.
Die akademische Ausgabe erfolgt über eine fragmentierte Werkzeugkette: Literaturrecherche in einer Anwendung, Referenzverwaltung in einer anderen, Schreiben in einem LaTeX-Editor, manuelle Formatierung entsprechend den Vorgaben der Konferenzplattform und Einreichung über ein weiteres Portal. Jede Grenze zwischen den Werkzeugen erzwingt einen Kontextwechsel, eine Formatkonvertierung oder einen manuellen Kopier-und-Einfüge-Schritt, und die kumulativen Kosten dominieren die Zeit, die Forscher für Tätigkeiten aufwenden, die keine Forschung sind. Wir stellen Bibby AI vor, eine editor-native Plattform, die diese Werkzeugkette zu einer einzigen Research-Write-Publish-Pipeline zusammenfasst, die auf einem Cloud-LaTeX-Editor aufbaut. Im Gegensatz zu Assistenten, die über eine Browsererweiterung an einen vorhandenen Editor angebunden werden, besitzt Bibby AI den vollständigen Dokumentzustand, die Kompilierungspipeline und den Revisionsverlauf, wodurch seine Agenten abrufgestützte Zitationseinfügungen, strukturelle Bearbeitungen und vorlagenkonforme Neuformatierungen als erstklassige, verifizierbare Operationen durchführen können, anstatt als Textvorschläge. Die Plattform integriert (i) Aufnahmepipelines, die PDF, DOCX und handgeschriebene Mathematik in sauberes LaTeX konvertieren; (ii) eine Abrufschicht über wissenschaftlichen Metadaten, angereichert mit Patent-zu-Publikations-Zitationssignalen, die aus USPTO PatentsView und dem Marx-Fuegi-Zitationskorpus gewonnen werden, und die translationale Wirkung von Referenzkandidaten sichtbar macht; sowie (iii) aufgabenspezifische Agenten für Literaturauswahl, Entwurf, Überarbeitung und Konferenzformatierung, die direkt an der abstrakten Syntaxdarstellung des Dokuments arbeiten. Bibby AI ist produktiv eingesetzt und bedient mehr als 5.000 aktive Forscher an über 50 abonnierenden Universitäten. Wir beschreiben die Architektur, die Designentscheidungen, die durch die Editor-Nativität ermöglicht werden, und das Framework zur Zeitersparnis auf Workflow-Ebene, das wir zur Bewertung der Plattform im Vergleich zu fragmentierten Baselines verwenden.
Wir stellen RuleChef vor, ein Framework, das große Sprachmodelle (Large Language Models, LLMs) nutzt, um ausführbare Regeln für NLP-Aufgaben wie Textklassifikation, Erkennung benannter Entitäten (Named Entity Recognition, NER) oder Relationsextraktion zu generieren. Die Regeln werden basierend auf einer Aufgabenbeschreibung und einer Reihe annotierter Beispiele erzeugt und dann iterativ sowohl anhand zusätzlicher Beispiele als auch durch menschliches Feedback zu bestehenden Regeln verbessert. RuleChef kann auch verwendet werden, um Regeln zu bootstrappen, indem die beobachteten Eingabe-Ausgabe-Paare eines vorhandenen Modells für eine bestimmte Aufgabe genutzt werden. LLMs werden nur zur Lernzeit eingesetzt, indem sie Regeln synthetisieren und diese basierend auf Fehlern, die auf einem zurückgehaltenen Datensplit gemessen wurden, iterativ anpassen. Das Ergebnis dieses Prozesses ist ein schnelles, deterministisches und überprüfbares Regelsystem. Eine vorläufige Evaluierung wird sowohl für Klassifikations- als auch für NER-Aufgaben durchgeführt. Wir veröffentlichen RuleChef als Open-Source-Software unter der Apache-2.0-Lizenz.
Geometrie-konditionierte 3D-Szenengenerierung ermöglicht die Erstellung von 3D-Umgebungen auf Basis benutzerdefinierter Geometrie und bietet direkte Kontrolle über die Szenenstruktur und das Objektlayout. Um solche 3D-Szenen zu erzeugen, verwenden aktuelle Methoden üblicherweise ein dreistufiges Design: Zunächst wird ein Ansichtsplan festgelegt, dann werden entlang der geplanten Ansichten Multiview-Beobachtungen synthetisiert und schließlich wird aus den generierten Bildern eine 3D-Repräsentation rekonstruiert. Die Festlegung des Ansichtsplans wird jedoch zu einem wesentlichen Engpass für Außenszenen, da große, unstrukturierte und unbegrenzte Geometrien es erschweren, Ansichten zu erhalten, die eine ausreichende Abdeckung bieten und gleichzeitig eine stabile Generierung unterstützen. Um diesen Engpass zu adressieren, präsentieren wir SceneFrom3D, ein Framework, das automatisch Ansichten aus Geometrien von Außenszenen plant. SceneFrom3D konstruiert einen gerichteten Generierungsgraphen, dessen Knoten Ankeransichten und dessen Kanten Interpolationstrajektorien darstellen, und legt fest, welche Ansichten synthetisiert, welche Ansichtspaare interpoliert und in welcher Reihenfolge die Generierung ablaufen soll. Über die automatische Ansichtsplanung hinaus verbessert SceneFrom3D die Kontrollierbarkeit durch objektbezogene Konditionierung, indem jedem Objekt ein Identitätsbild zur Erscheinungsführungsgabe und ein Geometrietreue-Parameter für die bereichsspezifische Kontrolle über die Eingabegeometrie zugewiesen wird. Experimente zeigen, dass SceneFrom3D den aktuellen Stand der Technik in der geometrie-konditionierten Generierung von 3D-Außenszenen erreicht und hochwertige Szenen mit kontrollierbarem Objekterscheinungsbild und Geometrietreue produziert.
Verkörperte Navigation zielt darauf ab, Agenten zu entwickeln, die multimodale Ziele interpretieren, im 3D-Raum reasoning können und in der realen Welt zuverlässig Zielorte erreichen. Der Fortschritt wird jedoch weiterhin durch den Mangel an skalierbaren, wirklichkeitstreuen und physikalisch verankerten interaktiven Umgebungen eingeschränkt. Realweltlich gescannte Datensätze bieten zwar visuelle Realitätstreue, sind aber in ihrem Umfang begrenzt. Im Gegensatz dazu lassen sich synthetische Simulatoren leichter skalieren, weisen jedoch oft große Sim-to-Real-Lücken auf. Wir stellen Image2Sim vor, ein neuronales Echtzeit-Simulationsframework, das aus mit Pose versehenen RGB-D-Bildsequenzen hochwertige interaktive Umgebungen erstellt. Die zentrale Idee ist die Entkopplung der 3D-Raumverankerung von der fotorealistischen Beobachtungssynthese. Für die Szenenkonstruktion verwendet Image2Sim ein Feed-Forward-Feature-Gauß-Modell, das mit Pose versehene RGB-D-Beobachtungen in einem Durchlauf in eine 3D-Feature-Gauß-Repräsentation überführt. Für das Rendern schlagen wir ein geometriebewusstes One-Step-Pixel-Flow-Modell vor, das spärliche und verrauschte Gauß-Projektionen in hochwertige panoramische RGB-D-Beobachtungen umwandelt. Image2Sim dient zudem als vollautomatisierte Daten-Engine für verkörperte Agenten, die in großem Maßstab hochwertige Beobachtungen, ausführbare Aktionen und vielfältige Navigationsanweisungen generiert. Es wandelt große Sammlungen von Videos und Bildern in fast 20.000 interaktive Szenen um und synthetisiert über 10 Millionen Navigations-Trainingsproben. Navigationsmodelle, die vollständig in diesen neuronalen Umgebungen trainiert werden, erzielen auf wichtigen Benchmarks deutliche Verbesserungen und übertragen sich effektiv auf reale Zero-Shot-Einstellungen. Diese Ergebnisse deuten darauf hin, dass skalierbare neuronale Simulation als praktisches Trainingssubstrat für verkörperte Navigation in großem Maßstab dienen kann.
In den letzten Jahren haben Joint Embedding Predictive Architectures (JEPAs) als vielversprechender Rahmen für selbstüberwachtes Repräsentationslernen in den Bereichen Computer Vision und maschinelles Lernen erhebliche Aufmerksamkeit erregt. Im Gegensatz zu maskierten Autoencodern, die Pixel rekonstruieren, lernen JEPA-Modelle Repräsentationen, indem sie latente Einbettungen maskierter Regionen vorhersagen. Bestehende JEPA-basierte Methoden wie I-JEPA und V-JEPA verwenden typischerweise einen einzelnen Encoder im Studenten-Netzwerk. Im Gegensatz dazu ist die Verwendung siamesischer Encoder für das Studenten-Netzwerk natürlicher mit hirn-inspirierten Repräsentationslern-Rahmenwerken verbunden, doch ihre Rolle in JEPA-Modellen bleibt weitgehend unerforscht. In dieser Arbeit untersuchen wir die Wirkung siamesischer Studenten-Encoder im JEPA-basierten Repräsentationslernen. Zu diesem Zweck schlagen wir SiamJEPA vor, maskierte siamesische Studenten-Encoder, die mit einem exponentiell gleitenden Mittelwert (EMA) Lehrer-Netzwerk ausgestattet sind. SiamJEPA kann auch als eine JEPA-Formulierung des hirn-inspirierten Repräsentationslernmodells PhiNet betrachtet werden. Durch umfangreiche Experimente mit Linearem Probing auf ImageNet zeigen wir, dass siamesische Encoder als effektiver Regularisierer für das JEPA-Ziel fungieren, die Trennbarkeit von Repräsentationen verbessern und das Lernen in frühen Trainingsphasen beschleunigen. Darüber hinaus übertrifft SiamJEPA durchgängig vergleichbare JEPA-Varianten mit einem einzelnen Encoder unter begrenzten Trainingsbudgets und erreicht eine höhere Lineare-Probing-Genauigkeit als Maskierte Autoencoder (MAE), die längeres Training erfordern. Unsere Ergebnisse zeigen, dass siamesische Studenten-Encoder nicht nur eine architektonische Wahl sind, sondern eine wichtige induktive Verzerrung für prädiktives Repräsentationslernen darstellen. Diese Erkenntnisse liefern neue Einblicke in das Design JEPA-basierter Modelle und legen nahe, dass die Integration siamesischer Studenten-Architekturen einen einfachen, aber effektiven Ansatz zur Verbesserung des selbstüberwachten Repräsentationslernens bietet.
Große Audio-Sprachmodelle (Large Audio-Language Models, LALMs) werden zunehmend in alltägliche Anwendungen integriert, dennoch sind ihre generativen Verzerrungen noch wenig erforscht. Bestehende Sprachfairness-Benchmarks basieren auf synthetischer Sprache und Multiple-Choice-Fragen (MCQs), die beide eine fragmentierte Sicht auf Fairness bieten. Wir stellen VIBE vor, ein Framework, das generative Verzerrungen durch offene Aufgaben wie personalisierte Empfehlungen unter Verwendung menschlich aufgenommener Sprache evaluiert. Im Gegensatz zu MCQs ermöglicht unsere Methode, dass stereotype Assoziationen ohne vorgegebene Optionen organisch auftreten, was sie leicht auf neue Aufgaben erweiterbar macht. Die Evaluierung von 12 modernsten LALMs zeigt systematische Verzerrungen in realistischen Szenarien. Sowohl Geschlechts- als auch Akzenthinweise lösen statistisch signifikante Verteilungsverschiebungen aus, und das Ausmaß der Verzerrung ist stark aufgabenabhängig.