Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Wir stellen ein axiomatisches Evaluierungsframework für latente Gedankenrepräsentationen in großen Sprachmodellen (LLMs) vor, das Metriken umfasst, die unabhängig von nachgelagerten Benchmark-Werten sind und Repräsentationsfehler aufdecken, die durch die Benchmark-Genauigkeit maskiert werden. Bestehende Evaluierungen vermischen die Repräsentationsqualität mit der Modellkapazität. Daher können Fehler nicht der Repräsentation zugeschrieben werden, sondern dem Modell, das sie verarbeitet. Wir formalisieren vier funktionale Axiome (Kausalität, Minimalität, Separierbarkeit und Stabilität) und definieren für jedes ein quantitatives Maß, das direkt an der Repräsentation berechnet wird, unabhängig von der nachgelagerten Genauigkeit. Wir prüfen Open-Weight-LLMs anhand von 23 Reasoning-Aufgaben (z. B. räumliches Denken, faktenbasierte Frage-Antwort-Aufgaben). Wir stellen fest, dass kein Kandidat alle vier Axiome gleichzeitig erfüllt, dass die Repräsentationen die Aufgabentypen zuverlässig unterscheiden, aber nicht zwischen zwei Fragen innerhalb derselben Aufgabe unterscheiden können, und dass die Repräsentationen nur wenig Information über das hinaus kodieren, was bereits in der Eingabeeinbettung vorhanden ist. Der Fehler tritt konsistent über dichte, reasoning-destillierte und mittels Reinforcement Learning trainierte Modellfamilien auf, was darauf hindeutet, dass die Lücke strukturell ist und keine Eigenschaft der Modellgröße oder des Trainingsverfahrens darstellt.
Videogenerierungsmodelle haben sich als vielversprechende Paradigmen für die verkörperte Weltsimulation etabliert. Allerdings können sowohl domänenübergreifende Videogeneratoren als auch roboterspezifische, feinabgestimmte Modelle weiterhin physikalisch unplausible Manipulationen erzeugen, darunter diskontinuierliche Bewegungsbahnen und inkonsistente Roboter-Objekt-Interaktionen, was ihre Zuverlässigkeit als Weltsimulatoren einschränkt. Durch umfangreiche Experimente stellen wir fest, dass eine solche physikalische Instabilität hauptsächlich auf zwei Faktoren zurückzuführen ist: die Verformung bewegter Objekte und unplausible räumlich-zeitliche Korrelationen zwischen interagierenden Entitäten, insbesondere während des Kontakts. Basierend auf dieser Beobachtung schlagen wir PhysisForcing vor, ein skalierbares Trainingsframework, das die physikalische Konsistenz stärkt, indem es die Supervision auf physikalisch informative Regionen durch gemeinsame Optimierung von Pixelebene- und semantischen Merkmalen konzentriert. Das Framework besteht aus einem Verlust zur Angleichung von Trajektorien auf Pixelebene, der DiT-Merkmale mithilfe von Referenzpunkttrajektorien überwacht, sowie einem Verlust zur Angleichung relationaler Semantik, der DiT-Merkmale mit Beziehungen zwischen Regionen abgleicht, die aus einem eingefrorenen Video-Understanding-Encoder extrahiert wurden. Umfangreiche Experimente auf R-Bench, PAI-Bench und EZS-Bench zeigen, dass PhysisForcing die verkörperte Videogenerierung im Vergleich zu starken Baselines konsistent verbessert. So werden die Basismodelle Wan2.2-I2V-A14B und Cosmos3-Nano auf R-Bench um 22,3 % bzw. 9,2 % (7,1 % bzw. 3,7 % gegenüber herkömmlichem Feintuning) verbessert, wobei die Cosmos3-Nano-Variante die beste Gesamtbewertung erzielt. Über die Generierung hinaus erhöht PhysisForcing als Weltmodell unter dem WorldArena-Aktionsplaner-Protokoll die Erfolgsrate im geschlossenen Regelkreis von 16,0 % auf 24,0 % und verbessert zudem den Erfolg nachgelagerter Politiken – ein Hinweis darauf, dass physikalisch abgeglichene Videomodelle stärkere Repräsentationen für robotische Manipulation liefern.
Wir präsentieren Qwen-Image-2.0-RL, eine Post-Training-Pipeline, die Verstärkungslernen durch menschliches Feedback (RLHF) und On-Policy-Destillation (OPD) anwendet, um sowohl die visuelle Qualität als auch die Fähigkeit zur Befolgung von Anweisungen des Qwen-Image-2.0-Diffusionsmodells zu verbessern. Um zuverlässige Belohnungssignale bereitzustellen, konstruieren wir aufgabenspezifische zusammengesetzte Belohnungsmodelle, indem wir Vision-Language-Modelle mit einem punktuellen Bewertungsschema und Ketten-von-Gedanken-Schlussfolgerung verfeinern. Für die Text-zu-Bild-Generierung decken die Belohnungsmodelle die Dimensionen Ausrichtung, Ästhetik und Portrait-Treue ab. Für Bildbearbeitungsaufgaben adressiert das Belohnungssystem die Genauigkeit der Befolgung von Anweisungen und die Erhaltung der Gesichtsidentität. Aufbauend auf diesem Belohnungssystem entwickeln wir ein skalierbares GRPO-basiertes RL-Trainingsframework, das eine hybride klassifikatorfreie Führungsstrategie (CFG) zur Bewahrung von vortrainiertem Wissen, eine Prompt-Kuration durch gruppeninterne Belohnungsbereichsfilterung und eine kategoriespezifische Belohnungsgewichtskalibrierung integriert. Um die aufgabenspezifischen RL-Policys für T2I und Bearbeitung zu vereinen, schlagen wir On-Policy-Destillation als letzte Trainingsstufe vor, die mehrere Lehrer über eine geschwindigkeitsbasierte Trajektorienanpassung in ein einziges Schülermodell konsolidiert. Umfangreiche Auswertungen zeigen, dass Qwen-Image-2.0-RL auf Qwen-Image-Bench eine Gesamtpunktzahl von 57,84 (+2,61 gegenüber dem Basismodell), Elo-Werte von 1193 in der Text-zu-Bild-Arena (+78) und 1349 in der Bildbearbeitungsarena (+93) erreicht, was konsistente Verbesserungen in ästhetischer Qualität, Befolgung von Aufforderungen und Bearbeitungsgenauigkeit belegt.
Wir untersuchen, ob neuartige Manipulationsfähigkeiten von menschlichen Aktionen auf einen zweihändigen Roboter mit Parallelgreifern übertragen werden können. Menschliche Aktionsdaten sind kostengünstig, reichhaltig und vielfältig, was sie zu einer der vielversprechendsten Ressourcen für die Skalierung des Roboterlernens macht. Dennoch bleibt die Übertragung von Fähigkeiten vom Menschen auf Roboter schwierig: Die meisten bisherigen Arbeiten behandeln den Menschen lediglich als eine weitere zweihändige 6-Freiheitsgrade-Verkörperung, bei der Handposenschätzungen verrauscht sind und sich die Kontaktmuster menschlicher Finger grundlegend von denen eines Parallelgreifers unterscheiden. Wir argumentieren, dass das Erlernen rotationsinklusiver Aktionssignale aus menschlichen Daten daher suboptimal ist, und schlagen stattdessen eine überbrückende Aktionsrepräsentation vor: die relative Handgelenkstranslation innerhalb des anfänglichen Kopfkamerabildes, einen Aktionsraum, der Menschen und Robotern gemeinsam ist. Um das potenzielle Fehlen bestimmter Aktionskomponenten in unterschiedlichen Verkörperungen zu bewältigen, entwickeln wir ein π_0-ähnliches Visuell-Sprach-Aktionsmodell mit verschachtelten Aktions-Tokens und Aufmerksamkeitsmaskierung. Bei einer Reihe neuartiger zweihändiger Manipulationsaufgaben überträgt unsere überbrückende Aktion menschliches Manipulationswissen weitaus effektiver auf Roboter als verrauschte 6-Freiheitsgrade-menschliche Aktionen und skaliert mit der Menge menschlicher Daten.
Foundation-Modelle in Sprache und Multimodalität erzielen starke Generalisierung, indem heterogene Daten unter einer einheitlichen Formulierung ausgerichtet und in großem Maßstab trainiert werden. In diesem Bericht untersuchen wir, ob dieses Skalierungsrezept auf die robotische Manipulation angewendet werden kann, um echte Generalisierung zu erreichen. Dies ist herausfordernd, da Manipulationsdaten im Gegensatz zu Text von Natur aus heterogen, teuer zu erfassen und in ihrer Diversität eingeschränkt sind, was sowohl Ausrichtung als auch Skalierung gleichzeitig erschwert. Wir stellen Qwen-RobotManip vor, ein generalisierbares Vision-Language-Action-Foundation-Modell, das auf Qwen-VL aufbaut. Qwen-RobotManip führt ein einheitliches Ausrichtungsframework über die repräsentationalen, bewegungsbezogenen und verhaltensorientierten Dimensionen der Manipulation ein, wodurch groß angelegtes, multi-quellenbasiertes Training kohärent und nicht widersprüchlich wird. Diese Ausrichtungsfähigkeit wiederum ermöglicht es Qwen-RobotManip, Manipulationsdaten in einem Umfang aufzunehmen, den frühere Trainingsregime nicht aufrechterhalten konnten. Eine Mensch-zu-Roboter-Synthesepipeline wandelt egozentrische Handdemonstrationen in Robotertrajektorien über 15 Plattformen um, und eine strenge Kuratierungspipeline harmonisiert heterogene Datensätze. Unter ausschließlicher Verwendung von Open-Source-Datensätzen und menschlichen Videos ohne proprietäre Datenerfassung konstruiert Qwen-RobotManip ein ~38.100-stündiges Vortrainingskorpus und zeigt emergente Generalisierungsfähigkeiten, darunter Zero-Shot-Befehlsbefolgung, Robustheit gegenüber Störungen, reaktive Fehlerbehebung und Cross-Embodiment-Transfer. Wir stellen fest, dass Standard-Benchmarks die Vortrainingsqualität nicht erfassen, und verwenden stattdessen OOD-Einstellungen (Out-of-Distribution) wie RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF und RoboTwin-XE. Qwen-RobotManip übertrifft frühere State-of-the-Art-Modelle, einschließlich π0.5, in allen OOD-Einstellungen deutlich, belegt mit einer relativen Verbesserung von 20 % den ersten Platz bei RoboChallenge und wird auf realen Roboterplattformen wie AgileX ALOHA, Franka, UR und ARX validiert.
Agentische Navigationssysteme benötigen ein Basis-Navigationsmodell, dessen Beobachtungsstrategie zur Inferenzzeit extern rekonfiguriert werden kann, da die Befolgung von Anweisungen, die Objektsuche, die Zielverfolgung und das autonome Fahren zwar dieselbe Wahrnehmungs-Planungs-Architektur nutzen, aber grundlegend unterschiedliche Strategien zur Verarbeitung des visuellen Stroms erfordern. Wir stellen Qwen-RobotNav vor, ein skalierbares Navigationsmodell, das auf Qwen-RobotNav aufbaut und dieses Problem durch eine parametrisierte Schnittstelle mit zwei komplementären Dimensionen adressiert: mehreren Aufgabenmodi, die das Navigationsverhalten auswählen, und steuerbaren Beobachtungsparametern (z. B. Token-Budget, kameraspezifische Gewichte), die festlegen, wie die visuelle Historie kodiert wird. Durch Randomisierung aller Parameter während des Trainings ist Qwen-RobotNav robust gegenüber jeder Inferenzzeit-Konfiguration, ohne dass architektonische Änderungen an der Qwen-RobotNav-Architektur erforderlich sind. Wir trainieren Qwen-RobotNav mit 15,6 Millionen Proben; das gemeinsame Training mit visuell-sprachlichen Daten verhindert den Zusammenbruch in reaktive Aktionssequenz-Mapper, der bei reinem Trajektorien-Training beobachtet wird. Die parametrisierte Schnittstelle macht Qwen-RobotNav zudem zu einem natürlichen Baustein für agentische Systeme: Für längerfristige Szenarien zerlegt ein übergeordneter Planer Ziele in Teilaufgaben und wechselt während einer Episode dynamisch den Aufgabenmodus und die Kontextstrategie von Qwen-RobotNav, wodurch komplexe Verhaltensweisen durch wiederholte Aufrufe desselben Modells zusammengesetzt werden. Umfangreiche Experimente zeigen, dass Qwen-RobotNav auf den wichtigsten Navigations-Benchmarks neue Spitzenergebnisse erzielt. Das Modell weist eine günstige Skalierung von 2B auf 8B Parameter auf; das gemeinsame Multi-Task-Training entwickelt ein gemeinsames räumliches Planungssubstrat, das über Aufgabenfamilien hinweg übertragbar ist, und zeigt eine starke Zero-Shot-Generalisierung auf reale Roboter in unterschiedlichen Umgebungen.
Sprachmodelle (LMs) repräsentieren Token mithilfe von Einbettungsmatrizen, die linear mit der Vokabulargröße skalieren. Um die Parameteranzahl zu begrenzen, schlägt frühere Arbeit vor, viele Token in einem einzigen Vektor innerhalb von Encoder-only-Modellen zu hashen. Obwohl dies Parametereffizienz bietet, verhindern Many-to-One-Kollisionen dessen Verwendung in kausalen LMs. In dieser Arbeit schlagen wir MultiHashFormer vor, ein neues Framework, das hashbasierte Autoregression ermöglicht. Jeder Token wird als eine eindeutige Hash-Signatur dargestellt – eine kurze Sequenz diskreter Hash-IDs, die von mehreren unabhängigen Hash-Funktionen erzeugt wird. Ein Hash-Encoder komprimiert diese Signatur zu einem einzigen latenten Vektor zur Verarbeitung durch einen Transformer-Decoder. Anschließend erzeugt ein Hash-Decoder die Hash-Signatur des nächsten Tokens, die dann zurück in Text abgebildet wird. Wir evaluieren unseren Ansatz bei den Parameterskalen 100M, 1B und 3B und zeigen, dass MultiHashFormer in mehreren Benchmarks durchweg besser abschneidet als standardmäßige Transformer-LMs. Darüber hinaus zeigen wir, dass unser Modell die mehrsprachige Vokabularerweiterung mit einer konstanten Parameteranzahl ohne jegliche Modifikationen bewältigt.
Vision-Language-Modelle (VLMs) werden zunehmend in Verbraucher-, Medizin-, Finanz- und Unternehmensanwendungen eingesetzt. Diese weit verbreitete Nutzung erweitert die Sicherheitsoberfläche: Risiken können aus multimodalen Frage-Antwort-Szenarien, Assistenzantworten und modalübergreifenden Kompositionen entstehen, während Moderationsrichtlinien je nach Produkt, Region und Einsatzphase variieren können. Die meisten bestehenden Guardrails basieren entweder auf festen Taxonomien oder zielen nur auf einen engen Satz von Interaktionsumgebungen ab, was ihre Anpassungsfähigkeit einschränkt, wenn sich Sicherheitsregeln zur Laufzeit ändern. Wir stellen SingGuard vor, eine richtlinienadaptive multimodale Guardrail-Modellfamilie zur Sicherheitsbewertung in multimodalen Gesprächen. SingGuard behandelt die aktive Richtlinie als Laufzeiteingabe: Anhand natürlichsprachlicher Regeln prüft es den Zielinhalt Regel für Regel gegen die aktive Richtlinie und sagt sowohl das Sicherheitslabel als auch die ausgelöste Regel voraus. Um Effizienz und Interpretierbarkeit in Einklang zu bringen, unterstützt SingGuard schnelle, hybride und langsame Inferenzmodi entlang eines Spektrums von schneller bis langsamer Schlussfolgerung, das von direkten Sicherheitsurteilen bis hin zu richtlinienbasierter Überlegung reicht. Dieses Verhalten optimieren wir weiter mit einem entkoppelten Fast-Slow-Reinforcement-Learning. Wir führen außerdem SingGuard-Bench ein, einen multimodalen Guardrail-Benchmark mit 56.340 Beispielen, die mehr als 80 feinkörnige Risikotypen in multimodalen QA-, adversariellen Angriffs- und dynamischen Regelbewertungsumgebungen abdecken, einschließlich modalübergreifender Verbundrisikofälle, bei denen jede Modalität für sich genommen harmlos ist, ihre Kombination jedoch auf unsichere Absichten hindeutet. In sechs Benchmark-Familien (35 Datensätzen) erreicht SingGuard in jeder Familie den durchschnittlichen F1-Spitzenwert. Die dynamische Regelbewertung zeigt zudem eine verbesserte Richtlinienbefolgungsgenauigkeit von 0,6465 auf 0,7415 bei Laufzeit-Richtlinienänderungen. Unser Code ist verfügbar unter https://github.com/inclusionAI/Sing-Guard.
Auf großen Sprachmodellen (LLMs) basierende Multi-Agenten-Systeme (MAS) bieten einen vielversprechenden Rahmen zur Lösung komplexer Aufgaben durch Rollenspezialisierung und strukturierte Interaktion. Ihre Leistung wird jedoch häufig durch Fehlkoordination und, grundlegender, durch das Fehlen einer feinkörnigen Zuschreibung von Verantwortlichkeiten (Credit Assignment) zwischen den Agenten eingeschränkt. Bestehende Ansätze verlassen sich typischerweise auf grobkörniges Feedback, was es schwierig macht, zu identifizieren, welche Agenten oder Interaktionsschritte für Fehler verantwortlich sind. Wir schlagen Gradient-Based Connections (GBC) vor, einen Ansatz zur feinkörnigen Attribution und Optimierung von Multi-Agenten-Systemen. GBC modelliert ein MAS als Berechnungsgraphen und führt gradientenbasierte Verbindungsgewichte ein, um den Einfluss der Ausgabe jedes Agenten auf nachgelagerte Agenten auf Token-Ebene zu quantifizieren. Durch die Konstruktion eines Attributionsgraphen und die Rückwärtspropagation aufgabenspezifischer Verlustsignale ermöglicht unsere Methode eine präzise Identifizierung von Fehlerquellen und eine gezielte Prompt-Optimierung. Wir entwickeln zudem AgentChord, eine effiziente Implementierung, die auf einer präfixbasierten Gradientenberechnung beruht. Experimente auf MultiWOZ und τ-bench zeigen, dass GBC die Leistung von Multi-Agenten-Systemen verbessert und starke Einzelagenten- und Multi-Agenten-Basislinien übertrifft, und dass eine höhere Attributionsqualität mit einer größeren Optimierungseffektivität einhergeht. Der Code ist verfügbar unter: https://github.com/yxc-cyber/AgentChord.
Roboter, die in offenen Umgebungen operieren, müssen Lokalisierung, räumliches Denken, Navigation und Planung über lange Zeithorizonte nahtlos integrieren. Während Spezialistenmodelle bei einzelnen Aufgaben hervorragende Leistungen erbringen, ist der Einsatz eines Multi-Modell-Stapels rechenintensiv und anfällig für Kaskadenfehler. Wir präsentieren Vesta, einen einheitlichen verkörperten Generalisten, der diese Fähigkeiten in einem einzigen Grundlagenmodell bündelt. Unser Ansatz kombiniert ein vielfältiges und massives, kuratiertes Korpus, das auf die Induktion räumlicher Verankerung ausgelegt ist, mit einer einfachen multimodalen Gedächtnisvorrichtung, die Schlussfolgerungen über erweiterte Zeithorizonte ermöglicht. Über verschiedene Benchmarks hinweg übertrifft Vesta einzelne aktuelle Spezialistenbaselines im Durchschnitt um >20 % und ein Ensemble aus pro Kategorie besten Baselines um >10 % – was zeigt, dass ein generalistisches Modell mit Spezialisten mithalten oder sie übertreffen kann. Bei realen Robotikaufgaben, die Gedächtnis und Schlussfolgerung erfordern, verbessert Vesta die Aufgabenerfolgsrate um >35 %. Unsere Arbeit zeigt somit, dass ein einzelner Generalist eine realisierbare, skalierbare und wohl vorzuziehende Alternative zur Kombination von Spezialisten darstellt.
Text-Entgiftung, die automatisierte Erkennung und Minderung von missbräuchlichen und schädlichen Inhalten, ist entscheidend für die Sicherheit von Online-Gemeinschaften und den Schutz der Nutzer. Allerdings haben ressourcenarme Sprachen wie Tatarisch bisher kaum Forschungsaufmerksamkeit erhalten. In diesem Artikel stellen wir Tatoxa vor, ein neuartiges State-of-the-Art-System zur Text-Entgiftung in der tatarischen Sprache. Vergleichende Experimente zeigen, dass der vorgeschlagene Ansatz bestehende Open-Source- und proprietäre kommerzielle Large Language Models (LLMs) in zentralen Qualitätsmetriken übertrifft. Wir führen außerdem einen neuen Datensatz für die Text-Entgiftung auf Tatarisch ein, der für die Feinabstimmung und Evaluierung in ressourcenarmen Umgebungen ausgelegt ist. Schließlich weisen crosslinguale Transferexperimente darauf hin, dass der Transfer aus anderen Sprachen, einschließlich des kulturell nahen Russischen, selbst bei Verfügbarkeit eines großen russischen Korpus deutlich schlechter abschneidet als das Training mit muttersprachlichen tatarischen Daten.
Wissensbasiertes visuelles Fragenbeantworten (KB-VQA) erfordert, dass Modelle Bildverständnis mit externem Wissen kombinieren. Die meisten bisherigen Methoden verwenden eine festgelegte Abruf-dann-Generierungs-Pipeline mit einer vorausgewählten Abrufkomponente und einer statischen Top-k-Einstellung, die während des Schlussfolgerns nicht adaptiv ist. Wir schlagen ProMSA vor, einen progressiven multimodalen Suchagenten für KB-VQA. Ausgehend von einem Bild-Frage-Paar wählt der Agent iterativ zwischen Bildsuche, Textsuche oder Stopp unter expliziten Tool-Aufruf-Budgets und mit Deduplizierung, um redundante Abrufe zu vermeiden. Für das Training verwenden wir zunächst Zurückweisungsstichproben-SFT, um gültige Tool-Nutzungsformate zu erlernen, und optimieren dann den Agenten mit TN-GSPO, einem sequenzebenenbasierten RL-Ziel, das die Aktualisierungen sowohl nach Generierungslänge als auch nach Tool-Interaktionstiefe normalisiert. Experimente auf E-VQA und InfoSeek zeigen konsistente Verbesserungen gegenüber starken RAG- und Agent-Baselines sowie eine verbesserte Abruf- und End-to-End-Genauigkeit. Der Code ist verfügbar unter https://github.com/DingWu1021/Promsa.
Sprachagenten stehen vor einem grundlegenden Dilemma: Die für leistungsfähige Foundation-Modelle erforderlichen Schritte des Reasoning, Retrieval und Tool Use sind iterativ und langsam, während die Konversation Antworten im Millisekundenbereich erfordert. Kleinere Echtzeitmodelle erfüllen die Latenzanforderungen, können aber bei komplexen Aufgaben nicht mit Foundation-Modellen mithalten, sodass aktuelle Sprachagenten entweder auf Reaktionsfähigkeit oder Leistungsfähigkeit verzichten müssen. Wir führen die konversationelle Einfügung (Conversational Infill) ein, bei der ein kleines Talker-Modell sowohl sofort kontextbezogene Antworten generiert, um die Latenz eines externen Reasoner-Modells zu verbergen, als auch während der Inferenz fließend gestreamtes Reasoner-Wissen in seine Antworten einbindet. Wir erstellen einen synthetischen Datensatz mit 290.571 Beispielen aus sechs Bereichen und zeigen, dass diese Aufgabe mit sieben weit verbreiteten kleinen Sprachmodellen (135 Mio. bis 1,7 Mrd. Parameter) erlernbar ist. Unsere Systemimplementierung ConvFill hält die Zeit bis zur ersten Antwort im Millisekundenbereich, während die Genauigkeitslücke auf unter 6,3 % der entsprechenden Frontier-Reasoner-Leistung geschlossen wird. In einer Live-Nutzerstudie (n=18) mit Talker-Bereitstellungen auf einem Apple M2 SoC bewerten die Teilnehmer ConvFill insgesamt als gleichwertig mit Frontier-Modellen, bevorzugen es für retrieval-intensive Aufgaben und stufen es als signifikant reaktionsschneller ein. Diese Ergebnisse zeigen, dass konversationelle Einfügung einen neuen Punkt auf der Latenz-Leistungsfähigkeits-Pareto-Grenze erschließt und einen praktischen Weg zu Sprachagenten bietet, die sowohl reaktionsschnell als auch hochleistungsfähig sind. Code, Modelle und Datensätze sind verfügbar unter https://github.com/vysri/conversational-infill.
Webagenten-Benchmarks messen überwiegend Tiefe – das Auffinden einer obskuren Antwort hinter einer Kette von Beschränkungen – während Breite, also die erschöpfende Aufzählung einer abgeschlossenen Menge und die Befüllung der Attribute jedes Elements, kaum bewertet wird, insbesondere außerhalb des Englischen. Breite ist auch schwer zu erstellen: Die Zertifizierung, dass ein Goldset vollständig und jede Zelle korrekt ist, ist weitaus aufwendiger als die Überprüfung einer einzelnen Antwort. Ich stelle Ko-WideSearch vor, einen koreanischen Breitensuche-Benchmark, der durch eine automatisierte Synthese-und-Verifikations-Pipeline erstellt wurde. Jede Aufgabe benennt eine Mengen-Eltern-Entität – eine TV-Staffel, eine Dynastie, eine Liga, eine Verwaltungsregion, eine Wahl – und fordert deren vollständige Mitgliedschaft sowie eine Attributtabelle pro Element, bewertet nach Item-, Spalten- und Zeilen-F1. Der Benchmark umfasst 228 Tabellen über 190 Entitäten und sechzehn Kategorien in drei Schwierigkeitsstufen, die durch zwei strukturelle Stellschrauben festgelegt werden, die ich unabhängig voneinander einstelle – Tabellenbreite und einen 2-D zusammengesetzten Schlüssel – sodass die Kreuzproduktzugehörigkeit über die Stufen hinweg von 0 % auf 100 % ansteigt. Ein einzelner normalisierungsbewusster Vergleicher wird sowohl für die Goldstandard-Erstellung als auch für die Bewertung verwendet, sodass stabile Datums- und Zählenspalten nicht allein aufgrund der Formatierung verworfen werden. Bei zwanzig Webagenten ist das Versagen konsistent: Die Agenten stellen die Menge wieder her, aber nicht die Zeilen (z. B. Item-F1 92,8 gegenüber Zeilen-F1 53,7), die Genauigkeit fällt mit zunehmender Härte der Stellschrauben stetig, und weder mehr Suche noch höhere Ausgaben schließen die Lücke. Aufgeschlüsselt nach Zellen liegt die Schwierigkeit im Finden des richtigen Werts, nicht in der Formatierung: Offene Freitextzellen versagen am häufigsten, während Zellen mit einer Standardantwort wie einem Datum oder einem Namen in der Regel korrekt sind.
Das Trainieren und Evaluieren von Roboterpolitiken in der realen Welt ist kostspielig und schwer skalierbar. Wir stellen SimFoundry vor, ein modulares und automatisiertes System zur Zero-Shot-Real-zu-Sim-Szenenkonstruktion aus einem Video. SimFoundry erzeugt simulationsbereite digitale Zwillinge und unterstützt die Bearbeitung von Objekten, Szenen und Aufgaben, was die automatisierte Generierung vielfältiger digitaler Cousins ermöglicht: afforderungserhaltende Variationen rekonstruierter realer Szenen. Mit SimFoundry-Daten trainierte Politiken übertragen sich Zero-Shot auf anspruchsvolle reale Aufgaben, die mehrschrittige Manipulation, Interaktion mit Gelenkobjekten und bimanuelle Interaktion umfassen, und ihre digitalen Cousins (Variationen der ursprünglichen Szene, Objekte und Aufgaben) erleichtern die Verallgemeinerung auf neue reale Bedingungen. Über 7 Manipulationsaufgaben und 5 Politikenarchitekturen hinweg sagen SimFoundry-Simulationsbewertungen die reale Leistung stark voraus, mit einer mittleren Pearson-Korrelation von 0,911 und einer mittleren maximalen Rangverletzung von 0,018. Bei der Zero-Shot-Evaluierung sim-trainierter Politiken in der realen Welt zeigen mit Objekt-, Szenen- und Aufgaben-Cousins in der Simulation trainierte Politiken durchschnittliche Verbesserungen der Aufgabenerfolgsrate von 17 %, 21 % bzw. 40 %. Weitere Details unter https://research.nvidia.com/labs/gear/simfoundry/ .
Damit Agenten während der Testphase kontinuierlich aus der Interaktion mit der Welt lernen können, müssen sie in der Lage sein, effektiv zu erkunden, neues Weltwissen und neue Fähigkeiten zu erwerben, relevante episodische Erfahrungen zu behalten und über lange Horizonte zu planen. Um diese Schlüsselfähigkeiten von Agenten für kontinuierliches Lernen zur Testzeit zu bewerten, stellen wir AgentOdyssey vor, ein neuartiges Bewertungsframework, das prozedural offene Textspiele mit reichhaltigen Entitäten, Weltdynamiken und langfristigen Aufgaben generiert. Entscheidend ist, dass AgentOdyssey über die konventionelle Annahme des maschinellen Lernens hinausgeht, dass Lernen während der Testphase nicht stattfindet, indem es die Agenten in eine kontinuierliche, langfristige Umgebung versetzt, die Lernen und Inferenz während des gesamten Einsatzes verschränkt. Wir schlagen außerdem eine vielschichtige Bewertungsmethodik vor, die nicht nur den Spielfortschritt misst, sondern auch diagnostische Tests zum Erwerb von Weltwissen, episodischem Gedächtnis, Erkundung von Objekten und Aktionen, Aktionsvielfalt und Modellkosten bietet. Wir evaluieren verschiedene Agentenparadigmen in den generierten Spielen. Unsere experimentellen Ergebnisse zeigen kritische Grenzen in den Schlüsselfähigkeiten der Agenten sowie Faktoren, die ihren sinnvollen Horizont beeinflussen. Obwohl die Leistung mit stärkeren Basismodellen skaliert, bleibt selbst der beste Agent weit unter der menschlichen Leistung, sodass ein erheblicher Spielraum für Verbesserungen besteht. Unter den Agentenmechanismen stellen wir fest, dass das Kurzzeitgedächtnis mehreren Agentenparadigmen zugutekommt und eine wichtige Komponente des Testzeittrainings von Agenten ist.
Künstliche Intelligenz treibt eine Revolution in der wissenschaftlichen Entdeckung voran und beschleunigt alles von der Hypothesengenerierung bis zum Beweis mathematischer Theoreme. Diese rasche Beschleunigung schafft jedoch eine systemische Herausforderung: Die traditionelle menschliche Peer-Review kann nicht Schritt halten mit der Flut KI-gestützter Wissenschaft. Um diese Spannung aufzulösen, müssen wir letztlich ebenfalls KI einsetzen, um den Verifikations- und Überprüfungsprozess selbst zu beschleunigen. Um die Diskussion über diesen Wandel zu strukturieren, schlagen wir eine Taxonomie vor, die aus vier progressiven Stufen der KI-Mensch-Zusammenarbeit in der wissenschaftlichen Evaluierung besteht, und erörtern verschiedene mit jeder Stufe verbundene Abwägungen. Als Schritt in diese Richtung stellen wir das Paper Assistant Tool (PAT) vor, ein agentisches KI-Framework, das für tiefgehende wissenschaftliche Überprüfung und Verifikation entwickelt wurde. PAT erfasst vollständige wissenschaftliche Manuskripte und erstellt eine umfassende Bewertung, bei der theoretische Ergebnisse überprüft, Experimente validiert, Verbesserungen vorgeschlagen und potenzielle Mängel identifiziert werden. Durch die Nutzung von Inferenz-Skalierungstechniken ist PAT in der Lage, tiefere Probleme zu identifizieren als ein einzelner Modellaufruf allein, und erzielt eine Verbesserung um 34% gegenüber dem Zero-Shot-Recall bei mathematischen Fehlern im SPOT-Benchmark. Pilot-Einsätze von PAT als Vor-Einreichungs-Tool für Autoren auf zwei großen Informatikkonferenzen – STOC und ICML – zeigen seine Fähigkeit, kritische Fehler zu identifizieren und substanzielle Verbesserungen an Forschungsarbeiten vorzuschlagen. Indem PAT Fehler frühzeitig erkennt, verringert es die kognitive Belastung der Gutachter, während es deren Kontrolle über die Ergebnisse des Begutachtungsprozesses bewahrt.
Visuell-sprachliche Handlungsmodelle (VLA-Modelle) können über verschiedene Manipulationsaufgaben hinweg generalisieren, doch ihre auf Imitationslernen basierenden Strategien bleiben aufgrund sich kumulierender Ausführungsfehler bei präzisen physikalischen Interaktionen anfällig. Kann eine rein in der Simulation trainierte Verstärkungslernstrategie die Robustheit realer VLA-Modelle ohne zusätzliches Training (Zero-Shot) verbessern? Residuales RL, das eine korrigierende Strategie auf Basis eines eingefrorenen VLA erlernt, bietet einen natürlichen Rahmen, doch bestehende Ansätze stehen vor einem grundlegenden Sim-to-Real-Dilemma: Methoden mit privilegierten Zuständen erfordern eine verlustbehaftete Destillation für den Einsatz; bildbasierte Methoden leiden unter der visuellen Domänenlücke; und reales RL ist kostspielig und unsicher. Wir schlagen ein objektzentrisches Residual-RL-Framework vor, das VLA-Aktionen mithilfe von Objektposen verfeinert und so einen kompakten Beobachtungsraum ermöglicht, der konsistent zwischen Simulation und Realität übertragen werden kann. Um die beiden Domänen anzugleichen, wiederholen wir zusätzlich dieselben Teleoperationsdemonstrationen in der Simulation, um ein Sim-Gegenstück des realen VLA zu trainieren. Die Residual-RL-Strategie wird ausschließlich in der Simulation mit Pose-Rausch-Injektion und Dropout trainiert und ohne zusätzliches Training (Zero-Shot) auf den realen Roboter übertragen. Über fünf Manipulationsaufgaben an einem realen Franka Research 3 (FR3)-Roboter verbessert unsere Methode die Erfolgsrate von 42 % auf 76 % im Zero-Shot-Verfahren, und die verbesserten Durchläufe können weiterverwendet werden, um das Basis-VLA ohne zusätzliche Teleoperation für eine Selbstverbesserung neu zu trainieren. Projektseite: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/
Ich beschreibe meine Lösung für die LeHome Challenge 2026, einen Wettbewerb des ICRA 2026 zum beidhändigen Kleidungsfalten. Das System belegte in der Online-Runde (Simulation) den 1. Platz von 62 Teams und im realen Finale den 2. Platz. Es verbessert eine Vision-Sprache-Aktion (VLA)-Politik durch eine Verstärkungslernschleife. Die Politik fungiert als ihre eigene Wertfunktion: Dasselbe Netzwerk, das Aktionen vorhersagt, sagt auch Erfolg, Fortschritt und einige aufgabenrelevante zukünftige Größen voraus, und diese Vorhersagen treiben die Vorteilsschätzung, die Live-Fehlererkennung und die Kandidatenauswahl an. Die Arbeit kombiniert hauptsächlich bestehende RL-Ideen mit ingenieurtechnischen und optimierenden Beiträgen, die entweder gemeinsam als ein Rezept oder einzeln verwendet werden können: AWR + RECAP kombiniert für Flussabgleich-VLA; eine asynchrone, verteilte Trainings-/Rollout-Pipeline über den HuggingFace Hub; Optimierung der Hyperparameter zur Inferenzzeit mittels Thompson-Stichprobenverfahren; ein Sim-to-Real-Rezept mit Kamera-Ausrichtungswerkzeugen, starker Datenaugmentierung und DAgger-ähnlicher HIL-Datenerfassung.
Die autoregressive (AR) Erzeugung mit kontinuierlichen Token im Bildraum modelliert Bilder direkt als Sequenzen roher Pixel-Blöcke und vermeidet so eine diskrete Tokenisierung oder einen separat vortrainierten Tokenizer. Sie steht jedoch vor zwei gekoppelten Herausforderungen: Die Erzeugung hochdimensionaler Blöcke führt zu großen Fehlern pro Schritt, und das Training mit Teacher-Forcing erzeugt eine Trainings-Inferenz-Lücke, die dazu führt, dass sich diese Fehler über die AR-Schritte hinweg akkumulieren. Existierende Lösungen wie die x-Vorhersage und die Rauschinjektion in die Eingabe mildern diese Probleme nur teilweise. Ein exaktes Rollout-Training passt besser zu den Inferenzbedingungen, ist jedoch aufgrund der prohibitiven Langsamkeit der sequenziellen Abtastung unpraktikabel. Wir schlagen die Parallele Rollout-Näherung (PRA) vor, ein skalierbares Rahmenwerk, das beide Herausforderungen gemeinsam angeht. PRA erzeugt anstelle hochdimensionaler Pixel-Blöcke niedrigdimensionale Zwischenzustände und bildet diese dann mit einem Pixel-Decoder wieder auf Pixelraum-Token ab, wodurch eine AR-Schnittstelle mit Pixel-Eingabe und Pixel-Ausgabe erhalten bleibt. Außerdem konstruiert es inferenzähnliche Pixel-Eingaben über denselben Weg vom Zwischenzustand zum Pixel wie bei der Inferenz, unabhängig über Positionen hinweg, und nähert so die Pixel-Rückkopplungsschnittstelle an, die während des Inferenz-Rollouts auftritt, während das parallele Teacher-Forced-Training beibehalten wird. Bei der klassenbedingten ImageNet-1K-Erzeugung mit einer Auflösung von 256×256 erreicht PRA-S mit 135 Millionen Parametern einen FID von 2,58 und übertrifft damit das bisherige milliardenschwere Pixelraum-AR-Ergebnis von 3,60. Die Skalierung auf PRA-L mit 511 Millionen Parametern verbessert den FID weiter auf 1,94 und etabliert einen neuen Stand der Technik unter den Pixelraum-AR-Modellen. Über die Erzeugung hinaus erreicht PRA eine höhere ImageNet-Klassifikations-Probing-Genauigkeit als andere AR- und Diffusions-Baselines, was auf sein Potenzial für eine vereinheitlichte Bildraumerzeugung und -verständnis hindeutet.
Der effiziente Einsatz großer Sprachmodelle (LLMs) in der Produktion erzwingt einen Kompromiss zwischen Genauigkeit und Kosten. Betreiber greifen oft auf ein einzelnes Modell zurück, das entweder für einfache Anfragen zu teuer oder für schwierige unzureichend ist. Um dieser Herausforderung zu begegnen, schlagen wir eine zweistufige kaskadierte Lösung vor. Stufe 1 clustert eingehende Anfragen und weist jedem Cluster sein kosteneffektivstes Modell zu. Das Kostenbudget für diesen Routing-Prozess wird durch einen interpretierbaren Hyperparameter festgelegt, der offline abgestimmt wird. Stufe 2 fügt eine Qualitätsschätzungskaskade (QE-Kaskade) hinzu; wenn eine Ausgabe von Stufe 1 als minderwertig eingestuft wird, wird die Anfrage an ein stärkeres Modell weitergeleitet. Dadurch wird sichergestellt, dass nur schwierige oder unsichere Fälle die teuren Modelle erreichen. In den Testdatensätzen behält das kaskadierte System 97-99 % der Genauigkeit des stärksten Modells bei, während es die Zeit pro Ausgabetoken (TPOT) reduziert. Es benötigt lediglich Aufgabenkorrektheitskennzeichnungen und passt sich Änderungen im Modellpool an, ohne manuelle Neukonfiguration.
Videogenerierungsmodelle streben danach, dynamische Umgebungen zu simulieren, und mehrere Benchmarks bewerten inzwischen die Gedächtniskonsistenz über Einzelbilder hinweg. Allerdings bewerten die meisten die Konsistenz nur, solange das Zielobjekt sichtbar bleibt, und die wenigen, die Objekte aus dem Sichtfeld zwingen, evaluieren statische Szenen, in denen sich während der Verdeckung nichts ändert. Um diese Lücke zu schließen, stellen wir MemoBench vor, einen diagnostischen Benchmark, der auf dem Paradigma des Verschwindens und Wiederauftauchens in sich dynamisch verändernden Umgebungen basiert: Ein Zielobjekt durchläuft einen physikalischen Prozess, verschwindet aus dem Blickfeld und muss bei seinem Wiederauftauchen korrekt in seinem aktualisierten Zustand wiederhergestellt werden. Wir kuratieren 360 Ground-Truth-Clips, die synthetische und reale Szenen umfassen, und entwerfen eine Evaluierungssuite, die automatisierte Metriken mit VQA-basierter Bewertung über vier diagnostische Säulen hinweg kombiniert. Die Evaluierung von acht hochmodernen Modellen offenbart zentrale Erkenntnisse und offene Herausforderungen in Bezug auf die Gedächtniskonsistenz unter dem Paradigma des Verschwindens und Wiederauftauchens.
Reinforcement-Learning (RL) Post-Training verbessert die Belohnungsausrichtung von flussbasierten Generatoren, führt jedoch oft zu einer Verschlechterung der Wahrnehmungsqualität, die vom Belohnungsproxy nicht erfasst wird. Wir identifizieren eine einfache strukturelle Signatur dieser Drift: Über drei Post-Training-Methoden (NFT, AWM, DPO) hinweg erhöht das RL-Feintuning die Norm der Geschwindigkeit pro Schritt |v_θ| um 5 % bis 15 % im Vergleich zur Referenz. Eine Form der Norminflation wurde im Rahmen des Classifier-Free Guidances (CFG) untersucht, bei der die Rückskalierung der Geschwindigkeit auf eine Referenznorm zur Inferenzzeit die resultierenden Artefakte mildern kann. Allerdings lässt sich diese Korrektur zur Inferenzzeit nicht sauber auf RL übertragen: Die Rückskalierung von v_θ auf |v_{ref}| zur Inferenzzeit verbessert weder die Belohnung noch behebt sie die Qualitätsverschlechterung, da die Inflation in die Modellgewichte koadaptiert ist. Darüber hinaus zeigt eine adjungierte Sensitivitätsanalyse, dass die Magnitudenrückskalierung der Geschwindigkeit auf Batch-Ebene kein kohärentes Belohnungssignal erster Ordnung trägt, was darauf hindeutet, dass die Unterdrückung der Norminflation wahrscheinlich keine konsistent belohnungstragende Komponente entfernt. Da die Renormierung zur Inferenzzeit fehlschlägt, während die Normunterdrückung keine Belohnungskosten verursacht, ist eine Intervention zur Trainingszeit die geeignete Strategie. Zusammen motivieren diese Erkenntnisse \methodname, eine Hinge-Strafe, die nur aktiviert wird, wenn |v_θ| |v_{ref}| überschreitet, und additiv mit jedem geschwindigkeitslokalen Basisverlust zusammengesetzt wird. Über zwei Basismodelle, drei Post-Training-Methoden und zwei Belohnungsproxys hinweg verbessert \methodname konsistent die von MLLM bewertete Bildqualität und den forensischen Realismus, während die Belohnung erhalten bleibt, wobei sich die Verbesserungen bei Inferenz mit wenigen Schritten verstärken und nicht durch frühes Stoppen erklärt werden.
LLM-basierte Code-Agenten navigieren durch Repositories mittels Stichwortsuche, übersehen dabei jedoch die strukturellen Beziehungen – wie Aufrufgraphen, Vererbungshierarchien und Konfigurationsabhängigkeiten – die definieren, wie Software tatsächlich funktioniert. Dies macht die Navigation der Agenten stochastisch und über verschiedene Läufe hinweg schwer reproduzierbar. Wir untersuchen, ob leichte statische Analyse deterministische Anker für diese Agenten liefern kann: stabile strukturelle Fakten, die als Klartext-Kommentare eingefügt werden und die probabilistische Erkundung einschränken sowie die Navigation vorhersagbarer machen. Ausgehend von einer starken Baseline, Codex von OpenAI, injizieren wir systematisch strukturelle Annotationen unterschiedlicher Granularität und messen deren Auswirkungen auf Lokalisierung, Trajektorienverhalten und Lauf-zu-Lauf-Stabilität. Unsere Studie identifiziert den von uns sogenannten deterministischen Verankerungseffekt: Statische Struktur hilft weniger, indem sie Agenten „intelligenter“ macht, sondern vielmehr, indem sie ihre Navigation diszipliniert und reproduzierbar gestaltet. Drei Beobachtungen stützen diesen Befund: (1) Verankerung funktioniert: Leichte Aufruf-/Vererbungstopologie verbessert die Lokalisierung auf Funktionsebene (+2,2 pp Func@5) und verkürzt Trajektorien (-1,6 Interaktionsrunden); (2) Verankerung ist skalensensitiv: Die optimale Granularität und Direktionalität hängen von den Repository-Eigenschaften ab, wobei dichtere Semantiken abnehmende Grenzerträge zeigen und hub-lastige Projekte von ausschließlich inversen Verknüpfungen profitieren, die „wer-ruft-mich-auf“ aufdecken, ohne Vorwärtskanten; (3) Verankerung stabilisiert: Tags erhöhen die Nachverfolgungsrate von Links von 0,15–0,18 auf 0,21–0,24, halbieren grob die Lauf-zu-Lauf-Varianz und verbessern die Zuverlässigkeit einzelner Läufe (Pass@1 +3,4 pp) bei mittelgroßen Repositories, bei Kosten von etwa 10 % mehr Eingabe-Tokens. Diese Beobachtungen legen praktische Richtlinien nahe: Standardmäßig leichte Topologie bei mittleren Projekten, Ausdünnen von Vorwärtskanten bei großen Repositories und Reservieren dichter Tags für Fälle mit impliziten Abhängigkeiten.
Sparse Attention kann die Kosten von Inferenzen mit langen Kontexten reduzieren, aber die meisten Varianten führen neue architektonische Komponenten ein. Wir stellen Simplified Sparse Attention (SSA) vor, einen einfacheren Ansatz für sparse Attention, der keine architektonischen Änderungen erfordert. Konkret führen wir zunächst fortgesetztes Vortraining auf Sequenzen durch, die mit Gist-Tokens durchsetzt sind. Wir optimieren wie üblich den standardmäßigen Next-Token-Verlust, aber die Gist-Tokens verwenden eine Aufmerksamkeitsmaske, um einzuschränken, auf welche Teile des Kontexts das Sprachmodell achten kann; dies lehrt das Modell, die wichtigen Informationen jedes Chunks in die Gist-Tokens zu packen. Zum Inferenzzeitpunkt bewertet SSA Chunks über die Aufmerksamkeit zwischen der aktuellen Abfrage und der kleinen Menge von Gist-Tokens, wobei es die Top-k-Chunks selektiv entfaltet, indem es ihre entsprechenden Roh-Tokens wieder einführt. Da die Abfrage nur gegen die Gist-Tokens bewertet wird, vermeiden wir die mit naiver Bewertung gegen den gesamten KV-Cache verbundenen Speicherbandbreitenkosten, ohne den von sparse-Attention-Methoden verwendeten Ansatz des Hilfs-KV-Caches zu benötigen. Auf LongBench übertrifft SSA konsequent Kompressions- und Inferenzzeit-Sparse-Attention-Baselines unter demselben Kompressionsverhältnis. Noch auffälliger ist, dass SSA in der retrieval-gestützten Generierung nach fortgesetztem Vortraining die volle Aufmerksamkeit sogar um über 5,7 Punkte übertreffen kann. Dies führen wir auf die Fähigkeit der selektiven Entfaltung von SSA zurück, die die Aufmerksamkeit auf die abfragerelevanten Chunks konzentriert und Rauschen effektiv herausfiltert. SSA erweitert sich weiter zu einer hierarchischen Gist-of-Gist-Variante (H-SSA), die eine log-lineare Dekodierungskomplexität erreicht, während sie die Genauigkeit bei hohen Kompressionsverhältnissen von bis zu 32x beibehält oder verbessert. Der Code ist verfügbar unter https://github.com/yuzhenmao/simplified-sparse-attention/.
Die Tokenisierung ist zentral für die Anpassung wissenschaftlicher Daten an transformer-basierte Foundation-Modelle, dennoch ist ihr Einfluss auf gelernte Repräsentationen noch wenig verstanden. Wir vergleichen vier Tokenisierungsstrategien – Affine, AIM, JetFormer und VQ-VAE – innerhalb eines einheitlichen Transformer-Rahmens für die astronomische Bildgebung. Unter Verwendung von 640.000 Galaxiebildern aus der DESI Legacy Survey und einer gemeinsamen AstroPT-Architektur bewerten wir jede Methode hinsichtlich der Rekonstruktionstreue und der Vorhersage physikalischer Eigenschaften. Unsere Ergebnisse zeigen Zielkonflikte zwischen den Ansätzen. Der flussbasierte JetFormer erzielt eine höhere Rekonstruktionsqualität, während VQ-VAE eine starke Sondenleistung für die physikalischen Eigenschaften von Galaxien liefert. Affine und AIM bewahren besser lokalisierte morphologische Informationen. Wir stellen fest, dass Rekonstruktions- und Repräsentationsqualität entkoppelt sind und keine einzelne Methode bei den hier betrachteten Aufgaben durchgängig am besten abschneidet. Indem wir unsere Bewertung auf unabhängig gemessene physikalische Größen stützen, hoffen wir, dass diese Studie das Potenzial wissenschaftlicher Daten als Grundlage für die Konstruktion interpretierbarer Benchmarks für Foundation-Modelle aufzeigt.
LLM-basierte Agenten zur Programmreparatur basieren zunehmend auf einem "Generieren-Ausführen-Überarbeiten"-Paradigma, bei dem Tests iterativ ausgeführt werden, um Patches zu bewerten und zu verfeinern. Dieser ausführungsbasierte Ansatz ist in modernsten Systemen zum Standard geworden. Allerdings können Ausführungen zeit- und kostenintensiv sein, und ihre Auswirkungen auf diese Agenten sind noch wenig erforscht. In dieser Arbeit führen wir eine zweistufige empirische Studie zum Ausführungsverhalten in der LLM-basierten Programmreparatur durch. Um das Ausführungsverhalten im großen Maßstab zu charakterisieren, analysieren wir zunächst 7.745 Agentenablaufverfolgungen aus SWE-bench-Leaderboard-Einreichungen. Zweitens evaluieren wir 3.000 End-to-End-Reparaturversuche über 200 SWE-bench-Instanzen und drei Agenten (Claude Code, Codex und den Open-Source-Agenten OpenCode) unter vier Ausführungsparadigmen, was einen detaillierten Vergleich von Leistung und Kosten ermöglicht. Unsere Analyse ergibt drei wesentliche Beobachtungen: (1) Codeausführung wird über alle untersuchten Agenten und Modelle hinweg eingesetzt, mit durchschnittlich 8,8 Testläufen pro Aufgabe. Das Ausführungsverhalten variiert erheblich zwischen Agenten und Modellen, mit einer Häufigkeit von 2 bis 19 pro Aufgabe, wobei Ausführungen in späteren Phasen durchweg höhere Erfolgsraten erzielen als solche in frühen Phasen. (2) Ausführungsbeschränkungen haben nur geringe Auswirkungen auf den Reparaturerfolg: Bei kommerziellen Agenten mit modernsten Modellen beträgt der Unterschied in der Lösungsrate zwischen "Verboten" und "Uneingeschränkt" nur 1,25 Prozentpunkte und ist statistisch nicht signifikant, während "Verboten" erhebliche Token- und Wanduhrkosten einspart. (3) Der Nutzen der Ausführung ist konzentriert und nicht gleichmäßig verteilt. Diese Muster deuten darauf hin, dass aktuelle Agenten Ausführungen unterschiedslos einsetzen und deren Kosten bei Instanzen tragen, bei denen sie nur geringen Nutzen bringen. Ausführung sollte daher als Ressource mit explizitem Kosten-Nutzen-Abwägung behandelt werden, nicht als Standardfähigkeit.
Omni-modale Modelle können Video, Audio und Text verarbeiten, doch allein der einheitliche Zugriff auf mehrere Modalitäten garantiert nicht, dass ein Modell die richtigen Beweise heranzieht. Diese Lücke zeigt sich besonders beim sozialen Video-Fragebeantworten, bei dem die Antwort von einer Geste, einem Stimmton, einem zeitlichen Hinweis oder einer Diskrepanz zwischen Gesagtem und visuell Ausgedrücktem abhängen kann. Wir führen CogniRoute ein, ein schema-gesteuertes Mixture-of-Experts-Framework für omni-modales soziales Schließen. CogniRoute nutzt ein nur während des Trainings verwendetes kognitives Schema, das jedes Beispiel nach cross-modaler Beziehung, Schlussfolgerungsanforderung und zeitlichem Umfang faktorisiert und während des überwachten Feintunings globale Routing-Signaturen an diese Struktur anpasst. Darüber hinaus führen wir routenbewusstes bestärkendes Lernen ein, das die Token-Generierung und Expertenzuweisung mittels Belohnungen für Antwortkorrektheit, modalitätskonsistentes Schließen und kognitive zeitliche Verankerung gemeinsam optimiert. Zur Unterstützung von Training und Evaluation erstellen wir OmniSocialBench, eine diagnostische Social-Video-QA-Ressource mit 118.000 strukturierten Trainingsbeispielen, grundierten Schlussfolgerungsspuren, Schema-Labels, zeitlichen Beweisspannen und einem manuell verifizierten Evaluationssplit. CogniRoute erzielt auf OmniSocialBench eine durchschnittliche Genauigkeit von 59,38 %, was einer Verbesserung von 15,33 Prozentpunkten gegenüber der stärksten proprietären Baseline und von 26,77 Punkten gegenüber der stärksten Open-Source-Omni-Baseline entspricht, wobei die größten Zugewinne bei Fragen erzielt werden, die audiovisuelle Koordination, Konfliktlösung und zeitlich verankerte soziale Inferenz erfordern.
Große Sprachmodelle (Large Language Models, LLMs) können wissenschaftliche Software benutzerfreundlicher machen. Ein allgemeines Modell weiß jedoch nicht automatisch, welche Messungen ein bestimmter Sensor unterstützt, welche Algorithmen in der aktuellen Software implementiert sind oder welche Schlussfolgerungen durch ein berechnetes Ergebnis gerechtfertigt sind. Diese Unterscheidungen sind besonders wichtig für die Elektroenzephalographie (EEG) mit wenigen Kanälen, wo eine spärliche räumliche Abdeckung und variable Signalqualität plausible, aber nicht abgesicherte Interpretationen leicht ermöglichen. Wir stellen den NeuraDock Agent vor, eine quelloffene Architektur, die eine deterministische lokale EEG-Engine von einer hardwarebewussten Sprachebene trennt. Die numerische Engine analysiert Aufzeichnungen, führt Qualitätskontrolle durch, führt überprüfte spektrale Workflows aus und schreibt maschinenlesbare Artefakte. Das LLM erhält nur eine kompakte, auf einer Positivliste stehende Zusammenfassung und ein versioniertes Kontextpaket. Der Kontext beschreibt die Hardware mit sieben Kanälen, überprüfte Workflows, Ergebnisfelder, Implementierungsgrenzen, wissenschaftliche Grenzen und Referenzfälle. Rohe EEG-Daten und dichte per-Sample-Arrays bleiben lokal. Wir evaluieren das System auf drei Ebenen. Erstens erzeugten 12 Aufzeichnungen über zehn numerische Wiederholungen hinweg identische strukturierte Ergebnisse, und ein vollständiger Rest/Task-Durchlauf erzeugte über drei Wiederholungen hinweg identische Hashes für Ergebnis, Bericht und Abbildung. Zweitens bestätigten Anfrage-Aufzeichnungs- und Fehlerinjektionsexperimente die getestete Datengrenze sowie die Erhaltung lokaler Artefakte unter HTTP-, fehlerhaften Ausgabe- und Verbindungsfehlern. Drittens testete ein Benchmark zur Grenzbewusstheit 36 gewöhnliche und adversarialische Fragen unter vier Kontextablationen und zwei LLMs, was 288 Ausgaben ergab. Diese Ergebnisse stützen eine hardware- und implementationsbewusste Verankerung als praktischen Mechanismus zur Kalibrierung dessen, was ein EEG-Agent akzeptiert, qualifiziert oder ablehnt; sie begründen jedoch weder klinische Validität noch einen validierten absoluten kognitiven Belastungsindex.