Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Wir stellen PerceptionRubrics vor, ein rubrikbasiertes Evaluierungsframework, das die Kluft zwischen gesättigten Benchmark-Ergebnissen und realer Fragilität adressiert. Durch die Verlagerung der Evaluierung von holistischem semantischem Abgleich hin zu strenger atomarer Prüfung verbindet PerceptionRubrics 1.038 informationsdichte Bilder mit über 12.000 instanzspezifischen Rubriken. Diese Kriterien werden aus goldenen Bildunterschriften abgeleitet, die mittels einer neuartigen zirkulären Peer-Review-Konsens-Pipeline erstellt und anschließend in ein duales System aus *Must-Right*-Rubriken (wesentliche Fakten) und *Easy-Wrong*-Rubriken (feinkörnige Details) destilliert werden. Entscheidend ist, dass PerceptionRubrics einen *Gated-Scoring*-Mechanismus implementiert: Im Gegensatz zu linearen Mittelwerten löst das Versagen bei obligatorischen visuellen Fakten scharfe binäre Strafen aus. Umfangreiche Evaluierungen liefern zentrale Erkenntnisse: (1) die *Zuverlässigkeitslücke*: Modelle überprüfen häufig fragmentierte Elemente korrekt, versagen jedoch bei strengen konjunktiven Bedingungen, was die Fragilität in dichten Bereichen offenbart; (2) die *Open-Closed-Schichtung*: Entgegen den Trends im Bereich des Denkens decken wir ein anhaltendes Wahrnehmungsdefizit von 8 % zwischen Open-Source- und proprietären Spitzenmodellen auf; und (3) die *menschenorientierte Strenge*: Unsere *Gated*-Metriken sind konventionellen Benchmarks deutlich überlegen, was bestätigt, dass strenge Wahrnehmungstreue die Voraussetzung für zuverlässige Generierung ist.
Streaming-Videogenerierung entwickelt sich zu einer neuen Serving-Workload, bei der Nutzer mit langlebigen Sitzungen interagieren, die Video schrittweise, Stück für Stück, erzeugen. Im Gegensatz zur Offline-Videogenerierung oder zum typischen LLM-Serving muss die Streaming-Videogenerierung den Sitzungszustand über aktive und inaktive Phasen hinweg bewahren, laufende Sitzungen wiederholt planen und jedes Stück unter einer strengen Latenzanforderung ausliefern. Dies führt in Umgebungen mit mehreren Nutzern und mehreren GPUs zu zwei zentralen Serving-Herausforderungen: Heterogenität der Sitzungsdauer, bei der langlebige Sitzungen Platzierungsentscheidungen im Laufe der Zeit suboptimal machen, und zeitliche Heterogenität der Nutzernachfrage, bei der die Anzahl aktiver Sitzungen zwischen Lastspitzen und Leerlaufzeiten stark schwankt. Wir stellen TurboServe vor, das erste Serving-System, das speziell für Streaming-Videogenerierungs-Workloads entwickelt wurde. TurboServe formuliert Serving als ein Online-Planungsproblem, das die Sitzungsplatzierung und GPU-Bereitstellung gemeinsam koordiniert. Sein Closed-Loop-Planungsalgorithmus kombiniert einen migrationsbewussten Platzierungs-Controller, der Sitzungen über GPUs hinweg neu ausbalanciert, um die maximale Latenz pro Stück zu reduzieren, mit einem lastgesteuerten Autoscaling-Controller, der das GPU-Budget an die Workload-Variation anpasst, um die Kosteneffizienz zu verbessern. Um diese Entscheidungen zur Laufzeit zu unterstützen, implementiert TurboServe zusammengelegte Chunk-Verarbeitung für das Batching gleichzeitiger aktiver Sitzungen auf derselben GPU, GPU-CPU-Auslagerung für das Anhalten und Fortsetzen von Sitzungen sowie NCCL-basierte GPU-GPU-Migration für die Online-Neuausbalancierung. Wir evaluieren TurboServe anhand realer Produktionstraces von Shengshu Technology über mehrere Modellgrößen und GPU-Cluster mit bis zu 64 NVIDIA B300 GPUs. Im Vergleich zu Basis-Serving-Konfigurationen reduziert TurboServe die Worst-Case-Latenz pro Stück um 37,5 % und die gesamten GPU-Betriebskosten um durchschnittlich 37,2 %. Unser Code ist öffentlich verfügbar unter https://github.com/shengshu-ai/TurboServe.
Beim disaggregierten LLM-Serving mit Prefill-Decode (PD) wird jede Anfrage nach dem Prefill einem Decode-Worker zugewiesen. Bestehende Decode-Router gleichen lediglich die Last aus; bei Mixture-of-Experts (MoE)-Modellen ist dies unvollständig: gleich ausgelastete Worker können sich in der Latenz unterscheiden, da jeder Decode-Schritt die Gewichte jedes einzelnen Experten lädt, den sein Batch aktiviert. Wir stellen ELDR vor, einen expertenlokalitätsbewussten Decode-Router für PD-disaggregiertes MoE-Serving. Aus den Prefill-Expertenaktivierungen einer Anfrage erstellt ELDR eine Expertensignatur, die die während der Generierung aktivierten Experten vorhersagt. Offline partitioniert ein balancierter K-Means den Signaturraum auf die Decode-Worker; online sendet Locality-Band-Routing jede Anfrage an den am wenigsten ausgelasteten Worker unter denen, die am besten zu ihrer Signatur passen. Ein Signatur-Cache, der gemeinsam mit dem KV-Cache auf KV-Block-Granularität indiziert wird, hält die Signaturen unter Prefix-Caching exakt. Implementiert in vLLM und auf Bereitstellungen von bis zu 40 GPUs evaluiert, reduziert ELDR den medianen TPOT um 5,9–13,9 % gegenüber der stärksten von vier Lastausgleichs-Baselines über drei MoE-Modelle und zwei Workloads hinweg, bei unveränderten Modellausgaben.
Das Gedächtnis hat sich zu einem Eckpfeiler moderner LLM-basierter Agenten entwickelt und unterstützt deren Entwicklung von Einzelinteraktionsassistenten hin zu langfristigen Kollaborateuren. Allerdings ist das Gedächtnis nicht immer vorteilhaft: Abgerufene Erinnerungen führen häufig zu einem kritischen Problem der Sycophancy, das dazu führt, dass Agenten sich übermäßig an den Benutzer anpassen – auf Kosten der faktischen Genauigkeit oder objektiven Argumentation. Trotz dieses aufkommenden Risikos bewerten bestehende Gedächtnis-Benchmarks hauptsächlich, ob Erinnerungen korrekt gespeichert, abgerufen oder aktualisiert werden, während sie übersehen, wie abgerufene Erinnerungen nachgelagerte Schlussfolgerungen und Entscheidungen beeinflussen. Um diese Lücke zu schließen, schlagen wir MemSyco-Bench vor, einen umfassenden Benchmark zur Bewertung gedächtnisinduzierter Sycophancy in Agentensystemen. MemSyco-Bench misst, wann das Gedächtnis eine Entscheidung beeinflussen sollte und wie gültige Erinnerungen genutzt werden sollten. Konkret umfasst es fünf Aufgaben, die bewerten, ob Agenten Erinnerungen als faktische Beweise ablehnen können, deren Anwendungsbereich respektieren, Konflikte zwischen Erinnerung und objektiven Beweisen lösen, Gedächtnisaktualisierungen nachvollziehen und gültige Erinnerungen zur Personalisierung nutzen können. Alle zugehörigen Ressourcen werden der Community unter https://github.com/XMUDeepLIT/MemSyco-Bench zur Verfügung gestellt.
Wir präsentieren Seed2.0, eine Modellserie, die einen bedeutenden Schritt zur Lösung komplexer, realer Aufgaben darstellt. Unser Ansatz beginnt mit der Identifizierung der tatsächlichen Bedürfnisse der Nutzer und dem Aufbau eines zuverlässigen, zukunftsorientierten Evaluationssystems, indem wir Benchmarks auswählen und abstrahieren, die auf diesen Bedürfnissen und realistischen, komplexen Szenarien basieren. Geleitet von diesem Evaluationssystem adressiert Seed2.0 zwei anhaltende Herausforderungen – Long-Tail-Wissen und die komplexe Befolgung von Anweisungen – und verbessert dadurch die Zuverlässigkeit des Modells bei komplexen, langfristigen Aufgaben erheblich. Darüber hinaus bietet Seed2.0 weltweit führende logische Intelligenz, visuelles Verständnis und Suchfähigkeiten, die die häufigsten Bedürfnisse einer breiten Nutzerbasis abdecken. Anhand umfangreicher realer Anwendungsfälle, die in dieser Modellkarte dokumentiert sind, zeigen wir, dass Seed2.0 beginnt, erste komplexe reale Aufgaben zu bewältigen und damit Hunderte Millionen Nutzern einen größeren Mehrwert zu bieten.
Multimodale große Sprachmodelle (MLLMs) werden oft durch einen Engpass im Sprachraum eingeschränkt, der komplexes visuelles Denken in diskrete Token zwingt, wodurch perzeptuelle Nuancen verloren gehen können. Eine vielversprechende Alternative ist das kontinuierliche latente Denken, bei dem das Ziel darin besteht, implizite Denkpfade zu entdecken, die die multimodale Anfrage mit der endgültigen Antwort verbinden. Dies führt jedoch zu einer schwerwiegenden Trainings-Inferenz-Diskrepanz: Ein Posterior während des Trainings, das von der Ground-Truth-Antwort abhängt, kann Antwortspezifische Abkürzungen ausnutzen. Standardmäßiges Variationstraining zwingt dann das Inferenz-Prior, ein Posterior zu imitieren, das auf Informationen zugreift, die zur Testzeit nicht verfügbar sind, was zu schlechter Leistung führt. Um dies zu adressieren, schlagen wir Asymmetrisches Wechselseitiges Variationslernen (AMVL) vor, ein Rahmenwerk, das diese Diskrepanz durch ein bidirektionales Kalibrierungsziel auflöst. Eine Vorwärts-KL-Divergenz trainiert das zielunabhängige Prior, das Posterior zu matchen, während eine neuartige Rückwärts-KL-Divergenz gleichzeitig das Posterior regularisiert, verhindert, dass es in inferenzinkompatible Bereiche kollabiert, und dieses "Antwort-Leak" abschwächt. Wir liefern eine theoretische Analyse, die dieses Leak als Kontamination des Priors formalisiert, und beweisen, dass unser duales KL-Ziel es reduziert. Wir setzen AMVL in einem latent-integrierten MLLM um und zeigen, dass es konsequent starke diskrete und latent-denkende Baselines übertrifft, die durchschnittliche Punktzahl auf dem komplexen BLINK-Benchmark um +10,83 verbessert und Zugewinne von bis zu +32,00 bei einzelnen Denkaufgaben erzielt, wobei Analysen eine verbesserte Stabilität des latenten Raums bestätigen.
Vision-Language-Action (VLA)-Modelle scheitern häufig daran, erlernte Aufgaben unter Umgebungsverschiebungen auszuführen, wie etwa Änderungen der Kameraposition oder dem Wechsel zu einem anderen, aber ähnlichen Roboter (z. B. von Panda zu UR5e). Die Anpassung dieser Modelle an die verschobene Umgebung (d. h. die Ziel-Domäne) erfordert in der Regel das Training mit mehreren Demonstrationen pro Aufgabe, deren Sammlung kostenintensiv ist. Um den Aufwand der Datenerhebung und des Trainings zu reduzieren, schlagen wir eine analogiebasierte Methode vor, die VLA-Modelle unter Umgebungsverschiebungen durch Gewichtsvektor-Arithmetik mit domänenspezifischer Informationsaddition anpasst – genannt **Domain ARiThmetic (DART)**. Im Gegensatz zu früheren Ansätzen erfordert DART lediglich die Sammlung einer einzigen Demonstration, was eine effiziente Anpassung ermöglicht. Um domänenspezifische Informationen zur Addition präzise zu isolieren, führt DART eine Unterraum-Ausrichtung zwischen singulären Komponenten in Gewichtsvektoren durch, um verrauschte Komponenten herauszufiltern. In sowohl simulierten als auch realen Experimenten übertrifft DART bestehende VLA-Anpassungsmethoden in One-Shot-Szenarien bei unterschiedlichen visuellen und verkörperten Verschiebungen (Embodiment-Shifts). Der Code ist verfügbar unter https://github.com/snumprlab/dart.
Im Training großer Sprachmodelle (LLMs) spielt die Datenmischung eine zentrale Rolle für die Modellleistung. Aktuelle Methoden optimieren Mischungsgewichte über Proxymodelle, basieren jedoch auf der Annahme statischer Datenverteilungen. Wenn sich der zugrunde liegende Datenpool verschiebt, erfordern diese Methoden daher kostspieliges erneutes Training von Grund auf. Diese Einschränkung verhindert eine nahtlose Skalierung von kleinen Umgebungen hin zu größeren Datenpools und Modellgrößen. In dieser Arbeit schlagen wir CausalMix vor, um diese Einschränkung zu beheben, indem wir die Optimierung von Datenmischungen als Problem der kausalen Inferenz betrachten. Wir formulieren die statistischen Merkmale des Datenpools als Kovariaten und die Domänenmischung als Behandlung. Nachdem wir ein kausales Modell auf 512 Läufen von Qwen2.5-0.5B zur Schätzung des bedingten durchschnittlichen Behandlungseffekts (CATE) angepasst haben, extrapolieren wir die optimale Mischung für einen 800K-Datenpool und wenden sie auf das Training eines 7B-Modells an. Darüber hinaus verallgemeinern wir das Framework erfolgreich auf lange Gedankenkettendaten (Chain-of-Thought) auf Qwen3-4B-Base. Durch die Nutzung kausaler Modellierung zur Isolierung von Störfaktoren (Confounding) leitet CausalMix dynamisch zustandsabhängige optimale Datenmischungen ab. Umfangreiche Experimente zeigen, dass die durch CausalMix geleitete Mischung die Leistung über mehrere nachgelagerte Aufgaben hinweg konsistent verbessert und RegMix sowie andere Basislinien übertrifft. Zusätzlich verwenden wir den CATE-Interpreter zur visuellen Analyse der erlernten Mischstrategie. Insgesamt bietet CausalMix ein kausales und interpretierbares Framework zur Optimierung von LLM-Datenmischungen.
Die traditionelle Roboterprogrammierung ist herausfordernd: Sie erfordert die Orchestrierung multimodaler Wahrnehmung, die Bewältigung physikalischer Kontaktdynamiken sowie den Umgang mit verschiedenen Konfigurationen und Ausführungsfehlern. Wir stellen ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) vor, ein kontinuierliches Lernsystem, das autonom Roboterkontrollprogramme in einem Code-as-Policy-Paradigma schreibt und verfeinert, während es Erfahrungen in einer wiederverwendbaren Fähigkeitsbibliothek bündelt. ASPIRE entdeckt Fähigkeiten, die über Aufgaben, Simulations- und reale Umgebungen sowie Verkörperungen hinweg bestehen bleiben. Es arbeitet in einer offenen Schleife mit drei Komponenten: (1) einer Robot-Ausführungs-Engine mit geschlossenem Regelkreis, die feinkörnige multimodale Spuren bereitstellt und so eine autonome Fehlerdiagnose, Reparatursynthese und Validierung ermöglicht; (2) einer sich ständig erweiternden Fähigkeitsbibliothek, die validierte Korrekturen in wiederverwendbares, übertragbares Wissen destilliert; und (3) einer evolutionären Suche, die vielfältige Aufgabenabfolgen und Kontrollprogramme generiert, um über die Verfeinerung einzelner Trajektorien hinaus zu explorieren. ASPIRE übertrifft frühere Methoden um bis zu 77% bei LIBERO-Pro-Manipulation unter Störung, 72% bei beidhändiger Robosuite-Übergabe und 32% bei langfristigen Haushaltsaufgaben aus BEHAVIOR-1K. Seine akkumulierte Bibliothek ermöglicht zudem eine Zero-Shot-Generalisierung auf unbekannte langfristige Aufgaben: Bei LIBERO-Pro Long erreicht ASPIRE 31% Erfolg gegenüber 4% für frühere Methoden, trotz deren Nutzung von Testzeit-Schlussfolgerungen und Wiederholungen. Schließlich liefern simulationsentdeckte Fähigkeiten erste Belege für den Sim-to-Real-Transfer, was den Programmieraufwand für reale Roboter bei unterschiedlichen Verkörperungen und Robot-APIs erheblich reduziert.
Feinkörniges visuelles Schlussfolgern bleibt für Sprach-Bild-Modelle eine Herausforderung, insbesondere wenn kleine, aber kritische visuelle Hinweise in hochauflösenden Bildern verborgen sind. Bestehende Ansätze basieren auf wiederholtem Zuschneiden oder testzeitlicher visueller Suche, um lokale Evidenz einzubringen, unterscheiden jedoch typischerweise nicht explizit zwischen Wahrnehmung und Schlussfolgerung. In dieser Arbeit schlagen wir Perceive-to-Reason (P2R) vor, ein einheitliches Framework, das feinkörniges visuelles Schlussfolgern als zweistufigen Prozess formuliert: Das Modell lokalisiert zunächst fragebezogene Evidenz als Perceiver und beantwortet dann die Frage als Reasoner basierend auf dem annotierten Bild und den zugeschnittenen Regionen. Um das Training besser an diese entkoppelte Formulierung anzupassen, führen wir zusätzlich Perception-Reasoning Alternating GRPO (PRA-GRPO) ein, eine rollenbewusste Verstärkungslernstrategie, die zwischen wahrnehmungsfokussierten und schlussfolgerungsfokussierten Aktualisierungen unter ausschließlicher Verwendung der Überwachung durch die endgültige Antwort wechselt. Aufbauend auf Qwen3-VL-Instruct-2B/4B/8B verbessert P2R konsistent die Leistung über alle Modellgrößen hinweg. Insbesondere erreicht P2R-4B 93,2 % auf V-Star, 81,9 % auf HR-Bench-4K und 80,5 % auf HR-Bench-8K und übertrifft damit das entsprechende Basisnetzwerk deutlich. Weitere Experimente zeigen, dass die Vorteile von P2R über hochauflösende Benchmarks hinaus auf breitere multimodale Schlussfolgerungsaufgaben ausgeweitet werden können. Diese Ergebnisse deuten darauf hin, dass die explizite Entkopplung von Wahrnehmung und Schlussfolgerung einen effektiven Rahmen für feinkörniges visuelles Schlussfolgern bietet.
Mobile Manipulation ist eine Schlüsselfähigkeit für Allzweckroboter, bleibt jedoch für aktuelle Methoden des verkörperten Lernens weiterhin herausfordernd. VLA-Policys sind typischerweise reaktiv und entbehren expliziter Weltmodellierung, während bestehende Weltaktionsmodelle (WAMs) noch schlecht an die Struktur mobiler Manipulation angepasst sind: Sie operieren auf groben Videosegmenten, modellieren verschränkte Navigations-Manipulations-Aktionen und trainieren inverse Dynamik unter einer Überwachung, die nicht mit der autoregressiven Inferenz übereinstimmt. Infolgedessen übersehen sie oft feinkörnige Kontaktdynamiken, leiden unter Aktionsverteilungskonflikten und häufen über langfristige Rollouts Fehler an. Wir schlagen ABot-M0.5 vor, ein neues WAM, das auf der Erkenntnis basiert, dass mobile Manipulation eine Ausrichtung auf drei Ebenen erfordert: zeitliche Granularität, Aktionsraum und Trainings-Test-Konsistenz. Zur Ausrichtung der zeitlichen Granularität führen wir intermediäre latente Aktionen ein, die lokale visuelle Zustandsübergänge erfassen und als Brückenaktionsraum zwischen Video-Latenten und körperspezifischen Steuerungen dienen. Zur Ausrichtung des Aktionsraums entwerfen wir eine zweistufige Mixture-of-Transformers-Architektur, die sowohl Modalitätsrepräsentationen als auch heterogene Aktionsunterräume wie Basisbewegung und Armmanipulation entflechtet. Zur Ausrichtung der Inferenzbedingungen schlagen wir die Dream-Forcing-Trainingsstrategie vor, die inverse Dynamik schrittweise auf modellvorhergesagten Videos trainiert und so die Trainings-Test-Ausrichtung und Robustheit während der autoregressiven Vorhersage verbessert. Experimente auf anspruchsvollen Benchmarks für mobile und feinkörnige Manipulation zeigen, dass ABot-M0.5 sowohl hinsichtlich des langfristigen Aufgabenerfolgs als auch der feinkörnigen Steuerungsgenauigkeit State-of-the-Art-Leistungen erzielt. Diese Ergebnisse unterstreichen die entscheidende Bedeutung einer granularitätsangepassten, aktionsentflechtenden und inferenzkonsistenten Weltaktionsmodellierung.
Das Trainieren von Sprachmodellen (SM) bleibt ein äußerst menschenintensiver Prozess, selbst wenn fortschrittliche Sprachmodell-Agenten zunehmend leistungsfähiger in der Softwareentwicklung und anderen langfristigen Aufgaben werden. Eine zentrale Herausforderung besteht darin, dass autonomes Nachtraining nicht nur ein Programmierproblem ist: Es erfordert vom Agenten, wiederholt Iterationen zu planen, Benchmark-konforme Daten zu erstellen, stabile Trainingsjobs auszuführen, Zwischenstände zu evaluieren und den Experimentzustand über viele Stunden Interaktion hinweg zu bewahren. Wir stellen AutoTrainess vor, einen SM-Agenten, der diese Operationen als ein Repository von Agenten-Computer-Schnittstellen für Planung, Datenvorbereitung, Training, Evaluierung und Protokollierung bereitstellt. Anstatt den Agenten in einer rohen CLI-Umgebung mit einem unterbestimmten Aktionsraum agieren zu lassen, externalisiert AutoTrainess bisherige menschliche Erfahrung als explizite Arbeitsabläufe, Regeln und Ausführungsbeschränkungen, die den Agenten zu effektivem und zuverlässigem Trainingsverhalten führen. Auf PostTrainBench übertrifft AutoTrainess durchgängig reine CLI-Baselines und erreicht einen Durchschnittswert von 26,94 mit GPT-5.4 (Codex) gegenüber 23,21 für reine CLI. Es generalisiert zudem über Modelle und Rahmenwerke hinweg und verbessert DeepSeek-V4-Flash (OpenCode) von 12,13 auf 19,58.
Transformer verwenden denselben Vorwärtsberechnungsstrom sowohl zur Vorhersage des nächsten Tokens als auch zur Speicherung nützlicher Zustände für zukünftige Token-Vorhersagen. Wir formulieren die State-Prediction-Separation-Hypothese: Die Entflechtung dieser beiden Rollen führt zu einer besseren Sprachmodellierungsleistung. Wir entwickeln eine Transformer-Variante, die zwei Berechnungsströme zur Trennung der beiden Funktionen nutzt, und führen Vortrainingsexperimente in verschiedenen Größenordnungen durch. Unsere Experimente zeigen, dass die State-Prediction-Separation konsistent eine bessere Daten- und Recheneffizienz bietet, die Validierungsverluste verbessert und Standard-Transformer bei nachgelagerten Aufgaben im Durchschnitt um 2–3 Prozentpunkte übertrifft. Zudem führen wir umfangreiche empirische Analysen durch, die potenzielle Störfaktoren ausschließen und den grundlegenden Unterschied in den Gradienten aufzeigen, die unser Design mit sich bringt.
Biomedizinische Forscher nutzen zunehmend KI-generierte Analysen und Berichte zur Interpretation von Signalen auf Proteinebene. Allerdings sind statische Ausgaben oft unzureichend für forschungsbasierte Entscheidungsprozesse, bei denen Benutzer Belege prüfen, Unsicherheiten bewerten, Mechanismen vergleichen und Hypothesen verfeinern müssen. Wir stellen BioInsight vor, ein Multi-Agenten-System, das von der statischen biomedizinischen Berichterstellung zur interaktiven, evidenzzentrierten Generierung von Benutzerschnittstellen übergeht. Auf Basis eines Krankheitsnamens, einer Proteinassoziationstabelle und optionaler Kohorten-Metadaten organisiert BioInsight krankheitsspezifische Evidenzen durch typisierte Zwischenartefakte, darunter geordnete Signalwege, Literaturbelegpakete, Notizen zur Argumentation auf Proteinebene, zitationsgestützte Berichte, Dashboard-Schemata sowie gerenderte interaktive Schnittstellen. Das System trennt den Evidenzabruf von der mechanistischen Argumentation, normalisiert Zitationen über deterministische Komponenten und wandelt die gleiche strukturierte Evidenz, die im Bericht verwendet wird, in eine interaktive Schnittstelle um. Wir evaluieren BioInsight anhand standardisierter biomedizinischer Frage-Antwort-Aufgaben, anspruchsvoller Protein-Funktions-Argumentation sowie durchgängiger biomedizinischer Evidenzsynthese. Die Ergebnisse zeigen, dass BioInsight die besten Leistungen erzielt, und legen nahe, dass biomedizinische KI-Systeme über rein textbasierte und statische Berichte hinausgehen sollten hin zu herkunftssichernden, interaktiven Evidenzartefakten.
Weltmodelle können die modellprädiktive Regelung (MPC) ermöglichen, erfordern jedoch eine Dynamikvorhersage, die sowohl schnell genug für den Online-Einsatz als auch ausdrucksstark genug ist, um unsichere Zukünfte darzustellen. Diffusionsmodelle bieten einen natürlichen Mechanismus zur Modellierung unsicherer Dynamiken, doch ihr iterativer Inferenzprozess erschwert ihren Einsatz für latente Planung mit geringer Latenz. Wir überbrücken diese Lücke mit Value Diffusion World Models (Valdi), indem wir end-to-end Online-Training für MPC mit einem latenten Diffusionsdynamikmodell kombinieren. In vorläufigen Experimenten in der CarRacing-Umgebung zeigen wir, dass Valdi mit einem einzigen Diffusionsschritt sowohl beim Training als auch bei der Inferenz mit einer deterministischen MLP-Baseline mithalten kann. Unsere Experimente offenbaren in diesem Aufbau einen Zielkonflikt zwischen prädiktiver Multimodalität und Regelleistung. Der Code ist verfügbar unter https://github.com/Kit115/ValueDiffusionWorldModels.
Leichtgewichtige Modelle des maschinellen Lernens werden aufgrund ihrer Eignung für die ressourcenbeschränkte Edge-Bereitstellung zunehmend zur Intrusion Detection in Netzwerken des industriellen Internets der Dinge (IIoT) vorgeschlagen. Die meisten berichteten Ergebnisse evaluieren diese Modelle nur innerhalb ihres Trainingsnetzwerks, sodass das Verhalten auf unbekannten Netzwerken ungeprüft bleibt. Diese Studie trainiert vier leichtgewichtige Architekturen auf einem IIoT-Datensatz und evaluiert sie ohne erneutes Training auf zwei strukturell unterschiedlichen IIoT-Datensätzen, wobei eine auf Attribute beschränkte Merkmalsrepräsentation verwendet wird, die in allen drei Quellen verfügbar sind. Die Erklärbarkeitsanalyse über die beiden leistungsstärksten Modelle zeigt, dass beide überwiegend auf grobe Portkategorien-Merkmale angewiesen sind; die einflussreichste Kategorie tritt im Angriffsverkehr der Quelldomäne mit einer 96- bis 435-fachen Rate im Vergleich zu den beiden Zieldomänen auf, was darauf hindeutet, dass die Vergröberung der Portauflösung eine dokumentierte Abkürzung verschiebt und nicht entfernt. Die Evaluierung unter natürlich unausgeglichenen Klassenverteilungen offenbart einen weiteren Effekt: Das verwendete Evaluierungsprotokoll kann umkehren, welches Zielnetzwerk die größere Generalisierungsherausforderung zu stellen scheint. Zudem werden die Robustheit gegenüber adversariellen Angriffen und die Erholung durch begrenzte Exposition in der Zieldomäne bewertet; die Robustheit gegenüber adversariellen Störungen ist unabhängig von der netzwerkübergreifenden Generalisierung und die Erholung durch Anpassung variiert erheblich je nach Architektur. Diese Ergebnisse legen nahe, dass die Einsatzbereitschaft mittels netzwerkübergreifender Evaluierung unter realistischen Klassenverteilungen bewertet werden sollte, anstatt allein durch bereichsinterne Genauigkeit.
Benchmark-Tests zur Leistungsoptimierung auf Repository-Ebene, wie GSO, SWE-Perf und SWE-fficiency, bewerten Codierungsagenten, indem sie Patches auf reale Repositories anwenden und die Laufzeit mit nicht optimierten Basislinien und offiziellen Referenz-Patches vergleichen. Ihre Leaderboard-Werte werden zunehmend als Beleg für Fortschritte bei Codierungsagenten verwendet, doch diese Werte können Laufzeitinstabilität, benchmarkspezifische Bewertungsregeln und die Tatsache vermischen, dass viele Aufgaben bereits von mindestens einer öffentlichen Einreichung gelöst wurden. Wir untersuchen diese Probleme in den drei Benchmarks. Erstens wiederholen wir die offiziellen Referenz-Patches für 740 Code-Optimierungsaufgaben auf vier gängigen Typen von Google-Cloud-Maschinen. Die meisten Benchmark-Aufgaben können wiederholt werden, aber ihre Referenz-Patches erfüllen bei jeder maschinenübergreifenden Wiederholung nur für 39/102 GSO-Aufgaben, 11/140 SWE-Perf-Aufgaben und 411/498 SWE-fficiency-Aufgaben die ursprünglichen Gültigkeitsregeln des Benchmarks; SWE-Perf ist besonders anfällig, da viele Referenz-Patches nahezu keine Laufzeitänderungen bewirken. Zweitens zeigen wir, dass die Rangfolge öffentlicher Einreichungen stark von der Bewertungsregel des Benchmarks abhängt. Von acht öffentlichen Einreichungen, die GSO und SWE-fficiency gemeinsam nutzen, weichen die offiziellen Rangfolgen bei 9 von 28 paarweisen Einreichungsvergleichen voneinander ab, und die Leaderboard-Bewertungsregel von SWE-fficiency weist den zehn schlechtesten Aufgaben übermäßig hohe Bewertungsgewichte von 58,5 % bis 82,8 % zu. Drittens stellen wir bei der Betrachtung von 10 öffentlichen Einreichungen pro Aufgabe fest, dass mindestens eine Einreichung bei 85,3 % (384/450) der wiederholungsgültigen GSO- und SWE-fficiency-Aufgaben den Referenz-Patch erreicht oder übertrifft und bei 99,8 % (449/450) den nicht optimierten Basiscode übertrifft. Unsere Studie ergänzt die Leaderboard-Werte, indem sie Aufgaben mit zuverlässigeren Leistungssignalen identifiziert, die beitragenden Punkte pro Aufgabe quantifiziert und die verbleibenden Leistungslücken aufzeigt, die durch aggregierte Rangfolgen verdeckt werden.
Die Beschleunigung der Materialentdeckung erfordert KI-Systeme, die wissenschaftlich valide Hypothesen durch mehrstufige, domänengebundene Argumentation generieren können. Standardmäßige große Sprachmodelle produzieren oft flüssige, aber schwach nachvollziehbare Antworten auf offene Materialdesignprobleme, was es erschwert zu bestimmen, ob finale Antworten durch kohärente Zwischenschlüsse gestützt werden. Wir entwickeln Graph-PRefLexOR, eine Familie von graphengerechten Argumentationsmodellen, die mit Group Relative Policy Optimization (GRPO) verfeinert wurden, um die Argumentation in explizite Phasen für Mechanismusexploration, Graphenkonstruktion, Musterextraktion und Hypothesensynthese zu organisieren. Dieses Design verbindet neuronale Sprachgenerierung mit symbolischer relationaler Struktur und ermöglicht es, kausale Verbindungen zu konstruieren, zu inspizieren und wiederzuverwenden. Bei 100 offenen Fragen aus der Materialwissenschafts- und Mechanikliteratur erzielt Graph-PRefLexOR 40–65% Verbesserungen gegenüber entsprechenden Basismodellen, wobei die größten Zugewinne in der Nachvollziehbarkeit der Argumentation liegen. Einbettungsanalysen zeigen eine breitere semantische Exploration und eine etwa 2- bis 3-mal größere semantische Vielfalt als Basislinien. Semantische Rückverfolgung und schichtweise Analysen versteckter Zustände zeigen zudem eine stärkere Übereinstimmung zwischen strukturierter Argumentation und endgültigen Antworten. Schließlich offenbart die testzeitliche Graphenerweiterung, dass zusätzliche Rechenleistung hauptsächlich die weitreichende konzeptuelle Rekombination innerhalb eines begrenzten semantischen Raums erhöht, anstatt lediglich die semantische Abdeckung zu erweitern. Diese Ergebnisse etablieren graphengerechtes Reinforcement Learning als Weg zu interpretierbaren KI-Systemen für die wissenschaftliche Hypothesengenerierung im Materialdesign und anderen wissenschaftlichen Anwendungen.
Traditionelle Metriken für die Erstellung medizinischer Berichte (Medical Report Generation, MRG) stützen sich überwiegend auf oberflächliche N-Gramm-Überschneidungen, was die klinische faktische Genauigkeit nicht erfasst und häufig katastrophale diagnostische Fehler übersieht. Wir adressieren diese grundlegende Einschränkung, indem wir AtomiMed vorschlagen – ein universelles, modalitätsunabhängiges Evaluierungsframework, das komplexe medizinische Erzählungen in eine standardisierte, mehrstufige Hierarchie atomarer klinischer Fakten (Atomic Clinical Facts) zerlegt, die Entitäten auf Krankheitsebene (Disease-level) sowie Attribute auf Merkmalsebene (Attribute-level) wie Lokalisation, Morphologie und Schweregrad umfasst. Durch die Implementierung einer agentischen Kreuzverifizierungsschleife (Agentic Cross-Verification Loop) zwischen Ground-Truth- und vorhergesagten Berichten simuliert AtomiMed einen Peer-Review-Prozess mehrerer Radiologen zur Überprüfung der klinischen Konsistenz und ermöglicht so die entkoppelte Bewertung von diagnostischer Detektion und deskriptiver Genauigkeit. Zur standardisierten Evaluierung führen wir MRGEvalKit ein, ein Open-Source-Toolkit für die automatisierte hierarchische Extraktion, und kuratieren OmniMRG-Bench, einen umfassenden multimodalen Benchmark, der Röntgen, CT, MRT und Ultraschall abdeckt. Umfangreiche Experimente mit mehreren Experten-annotierten Leserstudien zeigen, dass AtomiMed im Vergleich zu traditionellen und modellbasierten Metriken eine signifikant höhere Korrelation mit der Beurteilung durch menschliche Radiologen erreicht. Unser Code ist unter https://github.com/Venn2336/MRGEvalkit veröffentlicht.
Obwohl große Sprachmodelle (Large Language Models, LLMs) bei Tabellenaufgaben gute Leistungen erbringen, unterlaufen ihnen dennoch Datenreferenzierungsfehler (Data Referencing Errors, DREs), d. h. sie zitieren Tabellenwerte falsch oder lassen sie aus, obwohl sie die Tabellenstruktur verstehen. Über die Genauigkeit der endgültigen Antwort hinaus beeinträchtigen DREs direkt die Korrektheit und Zuverlässigkeit der Zwischenschritte bei der Argumentation. Bisherige Studien haben jedoch nur begrenzte Analysen in kleinem Maßstab geliefert. In dieser Arbeit präsentieren wir die erste systematische Bewertung von Datenreferenzierungsfehlern in Tabellen über verschiedene Modelle und Aufgaben hinweg. Unsere Ergebnisse zeigen, dass DREs in allen getesteten Modellen (1,7 bis 20 Milliarden Parameter) auftreten. Darüber hinaus demonstrieren wir, dass die Einbeziehung der Datenreferenzierung als Kritiker die Antwortgenauigkeit um bis zu 12,0 % verbessert, und zwar durch kritikerbasierte Filterung und Zurückweisungsstichproben. Schließlich trainierten wir ein leichtgewichtiges Kritikermodell mit 4 Milliarden Parametern, das einen durchschnittlichen F1-Wert von 78,2 % bei der Erkennung von sowohl innerhalb der Verteilung als auch außerhalb der Verteilung liegenden DREs erreicht und effektiv die Inferenz für größere Modelle unterstützt.
Benchmarks werden häufig verwendet, um die Aufgabenerfüllung durch große Sprachmodelle (LLMs) zu bewerten, jedoch führt dieser Ansatz zu akkumulierten Konstruktvaliditätsproblemen, und ein Bestehenswert kann nicht belegen, ob die angeforderte Aufgabe tatsächlich erbracht wurde. Wir untersuchen beide Probleme. In einem kontrollierten Code-als-Spezifikation-Setup implementieren zwei produktive Copilot-CLI-Agenten (claude-opus-4.7, gpt-5.5) eine React-Fluent-UI-Datentabelle in Angular als wiederverwendbare Bibliothek unter einem versteckten Playwright-Orakel mit 222 Tests über 18 Durchläufe und drei Orakelverfügbarkeitsbedingungen hinweg. Neben dem Bestehenswert führen wir eine mechanische Bibliotheksprüfung durch und überprüfen jedes Urteil mit einer No-Op-Ablation. Ohne das Orakel ist die Bibliothek vorhanden, aber unvollständig, was die Bestehenswerte zeigen. Mit dem Orakel im Kreislauf erreicht der Bestehenswert nahezu Perfektion, aber ein Demo, das das getestete Verhalten direkt abbildet, zeigt, dass die Bibliothek tot oder abwesend zurückbleibt. Wir nennen dies „Bauen zum Test hin“; die zugrundeliegende Disposition hinter beiden Phänomenen nennen wir „Validierungsselbstwahrnehmung“. Der Agent validiert von sich aus nicht, was er ausliefert, so wie es ein Nutzer tun würde. Die Verbreitung bleibt eine offene Frage über andere Agenten, Signale und Modellfamilien hinweg. Über Benchmark-Scores hinaus verdienen Dispositionen wie Validierungsselbstwahrnehmung wissenschaftliche Aufmerksamkeit.
Folienentwurf erfordert die Personalisierung sowohl von Präsentationsdesigns als auch von Seitenlayouts. Doch aktuelle KI-Agenten-basierte Methoden haben Schwierigkeiten mit detailliertem, seitenebenen Design. Sie verlassen sich ausschließlich auf vorgegebene Vorlagen oder ausführliche Benutzeranweisungen und sind daher nicht in der Lage, latente Designabsichten zu erfassen, sodass die Personalisierung von Folien auf Seitenebene (Page-level Slide Personalization, PSP) ungelöst bleibt. Um diese Lücke zu schließen, wird in dieser Arbeit PSP als inverses Planungsproblem formuliert. Wir schlagen vor, eine Designabsicht zu lernen, ohne Kenntnis der verwendeten spezifischen Ausführungswerkzeuge (z. B. PowerPoint, Beamer) vorauszusetzen. Allerdings macht der Verzicht auf die Kontrolle über diese Werkzeuge das Problem der End-to-End-Optimierung unlösbar. Um dies zu überwinden, schlagen wir SPIRE vor, ein prinzipienbasiertes Framework zur approximativen Lösung von PSP. Durch absichtliches Verfälschen der visuellen Strukturen sauberer Folien schafft SPIRE eine überprüfbare Aufgabe, die Verfälschung zu bereinigen, wobei zwei Agenten lernen, ausführbare Designs durch Verstärkungslernen (RL) kollaborativ zu verfeinern. Wir präsentieren einen Beweis, dass strukturelle Entrauschung ein konsistentes Ersatzproblem für PSP darstellt und dass die Multi-Agenten-Formulierung die Policy-Gradient-Varianz im RL strikt reduziert. Umfangreiche Experimente belegen die Überlegenheit von SPIRE.
Während Text-zu-Bild-Modelle (T2I) bemerkenswerte Erfolge bei der Erzeugung fotorealistischer visueller Inhalte erzielt haben, tun sie sich dennoch schwer mit der strengen semantischen Abstimmung und logischen Argumentation, die für wissenschaftliche Bilder erforderlich sind. Inspiriert von Peirces Semiotischer Triade führen wir Scientific Image Reasoning (SciIR) ein, eine umfassende Ressource für Training und Evaluation der Erzeugung wissenschaftlicher Bilder. Wir formalisieren wissenschaftliches Denken in drei Kerndimensionen: Entitätsstruktur (Ikon), Wissenschaftlicher Prozess (Index) und Wissenschaftliches Gesetz (Symbol). Insbesondere erstellen wir zur Überwindung der Knappheit an Trainingsdaten bei der Erzeugung wissenschaftlicher Bilder sorgfältig SciIR-82k, einen groß angelegten Datensatz mit über 80.000 qualitativ hochwertigen wissenschaftlichen Bild-Text-Paaren aus hochmodernen Publikationen. Der Datensatz ist entsprechend den semiotischen Dimensionen hierarchisch organisiert und enthält eine Scientific Reasoning Chain-of-Thought (Sci-RCoT), um die zugrunde liegende visuelle Logik explizit zu modellieren. Für die Evaluation schlagen wir SciIR-Bench vor, das sich an diesen drei semiotischen Ebenen orientiert und eine atomare Checkliste verwendet, um die ergebnisorientierte wissenschaftliche Genauigkeit in prozessorientierte, überprüfbare, feinkörnige Fragen umzuwandeln. Unsere umfangreichen Experimente zeigen erhebliche Defizite in den wissenschaftlichen Denkfähigkeiten aktueller Modelle auf. Darüber hinaus haben wir durch Feintuning auf dem SciIR-82k-Datensatz das Modell Qwen-Image-SciIR entwickelt, das auf dem SciIR-Bench eine deutliche Verbesserung erzielt und die Endbewertung von 35% auf 43% steigert, womit eine solide Grundlage für zukünftige Fortschritte bei der Erzeugung wissenschaftlicher Bilder gelegt wird.
Autonome wissenschaftliche Entdeckungssysteme haben das Potenzial, die Forschung zu beschleunigen, indem sie den Prozess der Hypothesengenerierung und -validierung automatisieren. Allerdings arbeiten aktuelle Systeme innerhalb eingeschränkter Suchräume oder erfordern vordefinierte Forschungsfragen, was ihre Fähigkeit zur wirklich offenen Forschung einschränkt. Darüber hinaus fehlt ihnen, obwohl sie Hypothesen iterativ generieren, weitgehend die Fähigkeit, ihre eigenen gesammelten Erkenntnisse explizit zu synthetisieren, um komplexe, miteinander verbundene Phänomene aufzudecken. Wir stellen DiscoPER vor, ein autonomes, auf großen Sprachmodellen basierendes Framework, das offene Forschung betreibt, indem es dynamisch Code generiert und ausführt, um Datensätze ohne vorgegebene Forschungsziele zu untersuchen. Um eine strenge wissenschaftliche Validität zu gewährleisten, muss jeder vorgeschlagene Fund statistischen Tests standhalten. Um die Einschränkungen isolierter Suche zu überwinden, führt unser Framework einen Mechanismus zum Denken zweiter Ordnung ein, der periodisch seine eigenen gesammelten Entdeckungen analysiert. Indem es frühere Entdeckungen als empirische Daten behandelt, identifiziert DiscoPER strukturelle Muster, Verwechslungen und epistemische Lücken und lenkt die Hypothesenforschung aktiv in unerforschte Regionen des Suchraums. Der Suchraum wird durch die Einbeziehung von Werkzeugnutzung weiter erweitert, sodass das System Hypothesen jenseits strukturierter Metadaten erforschen kann, indem es nützliche Informationen aus multimodalen Quellen wie Bildern nahtlos verarbeitet und extrahiert. Bewertet auf iNatDisco, einer neuen multimodalen ökologischen Wissensbenchmark mit auf Muster-Ebene aus begutachteter Literatur gewonnenen Ground-Truth-Daten, findet DiscoPER 8 von 9 bekannten Mustern mit einer Hypothesenstützungsrate von 72,7 % und übertrifft sowohl klassische kausale Entdeckungs- als auch durch große Sprachmodelle gesteuerte Basislinien. Ablationsstudien zeigen, dass DiscoPER mit mehr Daten skaliert und bestätigen die Vorteile der Metareflexion zweiter Ordnung.
Vision-Language-Datensatzdestillation (VLDD) komprimiert einen großen Datensatz aus Bild-Text-Paaren in eine kleine Menge synthetischer Paare, die unter strengen Daten- und Rechenbudgets effizient kontrastive Vision-Language-Modelle trainieren können. Die meisten existierenden Methoden gleichen Expertenverläufe oder modalitätsübergreifende Statistiken ab, erzwingen jedoch weiterhin eine vollständige Dimensionsanpassung in einem euklidischen Einbettungsraum. Dies ist aufgrund rangdefizitärer Bild-Text-Korrelation oft übermäßig restriktiv, da die gemeinsame Semantik in einem niedrigdimensionalen Bereich konzentriert ist und die verbleibende Variation über einen schwach korrelierten Residuenunterraum verteilt ist. LoRS lockert die Ausrichtung auf Ähnlichkeitsebene durch Niedrigrangfaktorisierung, kontrolliert jedoch nicht explizit die dominante Ausrichtungskapazität und -struktur im Darstellungsraum. Daher schlagen wir eine rangbewusste hyperbolische Ausrichtung (RAHA) vor, die hierarchische Geometrie mit expliziter Kontrolle der Ausrichtungskapazität kombiniert. RAHA hebt multimodale Darstellungen in den hyperbolischen Raum an und optimiert destillierte Paare mit asymmetrischen Zielen, die eine geodätische Ausrichtung im gemeinsamen Bereich erzwingen, während der Residuenunterraum regularisiert wird, um modalitätsspezifische Diversität zu bewahren und die Transferrobustheit zu verbessern. Experimente auf Benchmark-Datensätzen zeigen, dass RAHA unter festen Budgets wettbewerbsfähiges cross-modales Retrieval und verbesserte Transferindikatoren aufweist.
KI-Übersetzungen literarischer Werke werden zunehmend üblich. Zwar mag der Inhalt angemessen wiedergegeben werden, doch wissen wir nicht genug darüber, wie Leser diese in Bezug auf Immersion und literarische Wirkung erleben – Aspekte, die von automatischen maschinellen Übersetzungsmetriken oder menschlichen Bewertungen, die auf Flüssigkeit und Angemessenheit abzielen, nur unzureichend erfasst werden. Wir bitten 15 begeisterte Leser, kürzlich veröffentlichte menschliche Übersetzungen (HT) mit maschinellen Übersetzungen (MT) zu vergleichen, die mit einer Pipeline auf Basis eines agentischen großen Sprachmodells (LLM) erstellt wurden, und zwar für 15 neuere Romane auf Französisch, Polnisch und Japanisch, die ins Englische übersetzt wurden. Die Leser bewerteten etwa 8.000 Wörter umfassende Auszüge unter zwei Bedingungen: immersives Lesen des gesamten Auszugs (30 Vergleiche) und genaues Lesen von 386 aufeinander abgestimmten HT-MT-Abschnittspaaren (772 Vergleiche), mit zwei Lesern pro Buch und in abwechselnder Präsentationsreihenfolge. Insgesamt empfinden die Leser MT als "in Ordnung", bevorzugen jedoch HT (auf Auszugsebene leicht mit 19/30, auf Abschnittsebene deutlicher mit 522/772) aufgrund ihrer Leichtigkeit, Klarheit und immersiven Natur. Die Hervorhebungen der Leser zeigen, dass die Qualität von MT innerhalb eines Buches stärker variiert als die von HT. Entscheidend ist, dass Leser die beiden nicht zuverlässig unterscheiden können (17/30 erraten richtig) und dazu neigen, die Version zu bevorzugen, die sie für menschlich halten. Automatische Metriken, einschließlich LLM-als-Richter-Ansätzen, können die Leserpräferenzen nicht abbilden und begünstigen MT. Wir veröffentlichen LAIT (Literary AI Translation), einen leserzentrierten Evaluierungsdatensatz mit 1.000 Leserkommentaren, 2.000 Beurteilungen und Präferenzbewertungen sowie 7.200 annotierten Textabschnitten, zusammen mit unserem Evaluierungsprotokoll und der unterstützenden Benutzeroberfläche.
Diese Arbeit untersucht mehrstufiges visuelles Schlussfolgern und stellt fest, dass MLLMs wiederholt daran scheitern, das Ziel zu lokalisieren, was zu langen, redundanten Trajektorien führt. Wir führen dieses Scheitern auf die Vermischung von Schlussfolgern und Wahrnehmung in einem einzigen Modell zurück: Das MLLM schlussfolgert und lokalisiert gleichzeitig, und eine ungenaue Lokalisierung löst zusätzliche Schlussfolgerungsschritte aus, die die Trajektorie aufblähen. Um dieses Problem zu lösen, schlagen wir PixelEyes vor, einen Agenten für mehrstufiges visuelles Schlussfolgern, der Schlussfolgern und Wahrnehmung explizit entkoppelt: Der Schlussfolgerer entscheidet, wonach gesucht werden soll, während ein spezialisiertes Wahrnehmungswerkzeug beantwortet, wo es sich befindet. Konkret führt PixelEyes 1) eine maskengeführte visuelle Suche ein. Ein Referring-Segmentierungsmodell wird aufgerufen, um eine maskengenaue Lokalisierung zu liefern, wodurch der Schlussfolgerer nicht mehr die Ungenauigkeit der Verankerung ausgleichen muss. 2) eine Breitensuche über semantische Regionen (Semantic-region BFS). Um redundante Schleifen zu vermeiden, die durch wiederholtes Zuschneiden falscher Unterregionen entstehen, organisieren wir die Erkundung als Breitensuche über semantische Regionen. Um diese Fähigkeiten zu verinnerlichen, erstellen wir den Datensatz PixelEyes-6K, indem wir Experten-Trajektorien aus vorhandenen Daten neu synthetisieren. Dies bettet unsere maskengeführte Suche und BFS-Logik explizit in das Modell ein. Wir führen ferner Pinpoint-Bench ein, einen Benchmark für visuelle Suche ohne Hinweise, d.h. es werden keine Ortsangaben in der Frage gegeben, mit Instanzmasken und Begrenzungsrahmen, die Lokalisierungsfehler von Schlussfolgerungsfehlern trennen und eine detaillierte Analyse von Fehlermodi wie Unaufmerksamkeitsblindheit ermöglichen. Aktuelle hochmoderne MLLMs und visuelle Schlussfolgerungsagenten lassen auf Pinpoint-Bench großen Verbesserungsspielraum, was dessen Qualität und Schwierigkeit belegt. Code und Modelle werden als Open Source bereitgestellt.
Klassische Ansätze zur Generierung von 3D-Szenengraphen sind nicht in der Lage, in Echtzeit zu arbeiten, da die Umgebungskartierung rechenintensiv ist und zudem die Erzeugung von Punktwolken als Zwischenrepräsentation erforderlich ist. Um dieses Problem zu entschärfen, verzichtet eine aktuelle Arbeit auf Punktwolken und verwendet stattdessen eine leichtgewichtige Gaußverteilung für jedes Objekt. Diese Näherung beschleunigt die Inferenz drastisch und ermöglicht eine Echtzeit-Generierung von 3D-Szenengraphen. Allerdings weist die Repräsentation zwei entscheidende Schwächen auf: 1) Jedes Objekt wird durch eine einzige 3D-Gaußverteilung angenähert, was zu einem erheblichen Verlust an 3D-Geometriedetails führt. 2) Die Diskrepanz zwischen dieser Näherung und der tatsächlichen Objektgeometrie verschärft das Problem der fehlerhaften Zusammenführung von Objektkandidaten während der Online-Inferenz. Um diese Probleme zu beheben, schlagen wir NoPA vor, das jedes Objekt als separate nicht-parametrische Verteilung repräsentiert. Diese Formulierung bewahrt die 3D-Geometrieinformationen und erhält gleichzeitig die Echtzeit-Inferenz der parametrischen Gaußformulierung. Aufbauend auf unserer neuartigen Objektrepräsentation schlagen wir eine maßgeschneiderte Zusammenführungsstrategie vor, um kohärente Objektinstanzen zu rekonstruieren. Insbesondere nutzen wir die Maximum-Mean-Discrepancy auf Kernel-Dichteschätzungen, um eine robuste Zusammenführung von Objektkandidaten während der Online-Exploration zu ermöglichen und gleichzeitig den zusätzlichen Rechenaufwand zu minimieren. Der Schlüssel liegt in der Beibehaltung einer festen Partikelmenge pro Objekt. Um ferner den durch fehlklassifizierte Objekte verursachten Relationsverlust zu beheben, propagiert NoPA Beziehungen zwischen Objekten mit hoher Affinität. Experimente zeigen, dass NoPA aktuelle Methoden deutlich übertrifft, ohne die Echtzeit-Inferenzgeschwindigkeit zu beeinträchtigen.
Da KI-Agenten zunehmend zu komplexen langfristigen Überlegungen fähig werden, ist eine strenge und ganzheitliche Bewertung unerlässlich, um Fortschritte in Richtung realer medizinischer Anwendungen zu messen. Wir stellen HealthAgentBench vor, eine Sammlung von 54 agentischen Aufgaben im Gesundheitswesen aus 7 Kategorien, jede mit ihrer eigenen Umgebung. Die Benchmark-Suite umfasst unterschiedliche Arbeitsabläufe während des gesamten Patientenpfads sowie ein breites Spektrum an Modalitäten. Jede Aufgabe ist darauf ausgelegt, einen durchgängigen klinischen Arbeitsablauf abzubilden: Bei minimalen Anweisungen muss ein Agent rohe Gesundheitsdaten erkunden, in einer komplexen Umgebung operieren und mehrstufige Lösungen ausführen, die über naives Prompting hinausgehen. Als einheitliche, interpretierbare Kennzahl für die Gesamtleistung jedes Agenten in HealthAgentBench wird eine finale Aufgabenerfolgsrate angegeben. Bei der Bewertung von Spitzen-KI-Agenten auf HealthAgentBench stellen wir fest, dass die Gesamterfolgsquote der Aufgaben weiterhin niedrig ist, was die Schwierigkeit der Suite unterstreicht. Der stärkste und kosteneffizienteste Agent, Codex GPT-5.5, erreicht nur etwa eine Erfolgsrate von 42 %. Über die aggregierte Leistung hinaus zeigt HealthAgentBench differenzierte Stärken und Schwächen in den Aufgabenkategorien auf. Spitzen-KI-Agenten zeigen vielversprechende Ansätze bei der automatischen Entwicklung von Forschungsmodellierungs-Pipelines auf Basis von EHR-Daten, jedoch bleibt die medizinische Bildgebung besonders herausfordernd, insbesondere für Claude-Code-Modelle, während Codex GPT-5.5 eine aufkommende Fähigkeit aufweist. Aufgaben, die große Suchräume mit kompositionellen Denkanforderungen kombinieren, bleiben für alle derzeitigen Agenten schwierig. Zusammengenommen deuten diese Ergebnisse darauf hin, dass HealthAgentBench einen anspruchsvollen und realistischen Benchmark mit erheblichem Raum für zukünftige Fortschritte darstellt. Wir veröffentlichen unseren Benchmark unter https://github.com/microsoft/HealthAgentBench.
Drei der gängigsten Methoden zum Training von Sprachmodellen für logisches Schließen wirken wie drei verschiedene Tricks. Das sind sie nicht. Alle drei passen eine einzelne Zahl an: die Standardabweichung, die widerspiegelt, wie stark die abgetasteten Antworten einer Eingabe voneinander abweichen. Wenn ein solches Modell trainiert wird, beantwortet es jedes Problem mehrfach, und ein automatischer Prüfer bewertet jede Antwort als richtig oder falsch. Die Standardabweichung dieser Bewertungen misst die Uneinigkeit: Am größten ist sie, wenn die Antworten gleichmäßig zwischen richtig und falsch aufgeteilt sind, und null, wenn sie alle übereinstimmen. Die Group Relative Policy Optimization (GRPO) dividiert durch diese Zahl, GRPO Done Right (Dr. GRPO) lässt die Division weg, und die Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) verwirft die Gruppen, in denen sie null ist. Jede wird als eigene Lösung präsentiert, doch diese Arbeit beweist, dass es sich um drei Einstellungen eines einzigen Reglers handelt. Dieser Regler ist keine kosmetische Angelegenheit: Bei Belohnungen, die nur richtig oder falsch kennen, ist die Uneinigkeit exakt die Größe des Trainingsupdates – die Gruppen-Standardabweichungs-Identität. Eine gespaltene Gruppe lehrt am meisten, während eine einstimmige Gruppe nichts lehrt und verstummt. Das gleiche Ergebnis zeigt, welche Probleme das größte Gewicht verdienen und wie viele Versuche jedes benötigt. Diese Arbeit bestätigt die Intuition anhand eines großen realen Schwierigkeitsdatensatzes (Big-Math) sowie in einer kontrollierten Trainingsdurchführung. Was wie ein harmloser Normalisierungsschritt aussieht, ist der Regler, der bestimmt, wo Lernen stattfindet und wie stark.
Blindes Bilddeblurring erfordert die Wiederherstellung hochgetreuer Details und kohärenter Strukturen aus komplexen, unbekannten Störungen. Aktuelle Methoden des blinden Bilddeblurrings haben Schwierigkeiten mit realen, räumlich variierenden Störungen und entbehren das semantische Bewusstsein, das notwendig ist, um zuverlässig echte Texturen von Artefakten zu unterscheiden. Um diese Lücke zu schließen, schlagen wir CogSENet vor, ein dynamisches, semantisch ausgerichtetes Rekonstruktionsframework, das vom visuellen System des Adlers inspiriert ist. Durch die Nachahmung des aktiven sakkadischen Scannens des Adlers entwickeln wir ein semantisch gesteuertes Zustandsraummodul (SDSSM) mit semantisch bewusster Token-Neugruppierung durch differenzierbares Routing, was eine prompt-konditionierte Modellierung von Langstreckenabhängigkeiten ermöglicht. Um eine physikalisch interpretierbare Wiederherstellung von Texturen und Strukturen zu gewährleisten, spiegelt ein BiFreqFusionsBlock (BFFB) die funktionale Differenzierung der Netzhaut des Adlers wider, indem er Merkmale mithilfe von Wavelet-Transformationen in hohe und niedrige Frequenzen zerlegt. Schließlich schätzen wir ein kontinuierliches Unschärfefeld (CBF) aus dem unscharfen Bild und fusionieren es mit semantischen CLIP-Prioritäten, um die tiefsten latenten Merkmale zu modulieren, wobei die fokale Anpassung nachgeahmt und eine adaptive Wiederherstellung bei räumlich nicht gleichmäßiger Unschärfe ermöglicht wird. Umfangreiche Experimente zeigen, dass CogSENet die modernsten Entblurrungsmethoden sowohl in der visuellen Qualität als auch in der strukturellen Wiedergabetreue bei weniger Parametern übertrifft, während es auch bei Aufgaben der Entnebelung, Entregnung und Entrauschung gute Ergebnisse erzielt.
In kollaborativen Dialogen garantiert geteilte Wahrnehmung keine geteilte Interpretation. Gegenseitiges Verständnis muss durch Interaktion hergestellt werden. Wir untersuchen, ob Vision-Language-Modelle (VLMs) unterscheiden können, was zwischen Dialogteilnehmern geteilt werden könnte von dem, was tatsächlich geteilt wurde – mittels Grounding. Wir formulieren dies als Interpretationsabgleich-Aufgabe auf 13.077 annotierten Referenzausdrücken aus HCRC-MapTask-Dialogen und evaluieren VLMs unter systematisch kontrollierten Manipulationen des Dialogkontexts und des Zugriffs auf Karteninformationen. Unsere Ergebnisse zeigen, dass die Bereitstellung authentischer Kartenbilder die Gesamtleistung verbessert, die Modelle jedoch dazu neigt, eine Überschätzung von Alignment vorherzusagen. Textuelle Beschreibungen desselben Karteninhalts reproduzieren diese Verzerrung, während nicht-informative Bilder Alignments-Vorhersagen vollständig unterdrücken; dies deutet darauf hin, dass die Verzerrung durch aufgabenrelevante Karteninhalte und nicht durch den visuellen Kanal verursacht wird. Diese Verbesserung geht zu Lasten einer verminderten Genauigkeit bei nicht alignierten Fällen. Kalibrierungsanalyse und Referenzkettenverfolgung legen zudem nahe, dass die Modelle eher auf statischen referenziellen Hinweisen auf den Karten beruhen, als darauf zu verfolgen, wie sich Grounding im Dialogverlauf entfaltet. Diese Muster beobachten wir am deutlichsten in Qwen3-VL-8B-Instruct und, in unterschiedlichem Ausmaß, in vier weiteren Modellen aus zwei Architekturfamilien. Bei Modellen, die die Verzerrung aufweisen, wird Karteninhalt – ob visuell oder textuell präsentiert – als Beleg für gegenseitiges Verständnis behandelt, wobei potenzieller und etablierter gemeinsamer Grund vermischt werden.
Menschen neigen zum Überdenken, Sprachmodelle zum Über-Sampeln – und der zusätzliche Aufwand kann beide zu einer schlechteren Antwort führen. Schlussfolgerungssysteme beantworten eine schwierige Frage, indem sie sie mehrfach sampeln (Skalierung zur Testzeit); je häufiger sie ziehen, desto öfter taucht irgendwo eine korrekte Antwort auf. Die Abdeckung – der Anteil der Probleme mit mindestens einem korrekten Versuch – steigt und erscheint als Fortschritt. Ein eingesetztes System muss jedoch eine einzige Antwort liefern, und deren Auswahl – ohne zu wissen, welcher Versuch richtig ist – ist die Selektion. Die Selektion ist begrenzt; ab einem bestimmten Punkt führen zusätzliche Stichproben nur dazu, dass das Modell sich eines selbstbewussten Fehlers immer sicherer wird, selbst wenn jeder Durchlauf Kosten verursacht. Die Kluft zwischen steigender Abdeckung und stagnierender Selektion – die Identifizierbarkeitslücke – ist die Antwort, die ein Modell erzeugen, aber nicht auswählen kann. Die eigentliche Frage ist also nicht, ob man sampeln soll, sondern wie weit, und die Antwort lautet: nicht weit. Für die Auswahl einer Antwort hat sich die Abstimmung bereits nach einigen Dutzend Durchläufen stabilisiert – die modale Obergrenze; für die Bewertung eines Benchmarks noch früher – die Korrelationsobergrenze. Darüber hinaus kosten zusätzliche Durchläufe Rechenzeit, bringen nichts und können die Antwort sogar verschlechtern. Dieser Artikel fasst die Grenze zu einer einzigen Zahl zusammen: der effektiven Anzahl von Stichproben, die jeder Sampling-Durchlauf bereits offenbart. Der Engpass liegt im Erkennen einer richtigen Antwort, nicht im Erzeugen einer solchen.