Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Vision-Language-Modelle (VLMs) haben auf Benchmarks zum visuellen Dokumentverständnis wie DocVQA, ChartQA und MMLongBench-Doc starke Ergebnisse erzielt. Allerdings kombinieren reale Dokumente mehrere Faktoren wie Länge, Layoutkomplexität, Modalität und Frageschwierigkeit, was es erschwert, Modellfehler auf spezifische Ursachen zurückzuführen. Wir stellen SynthDocBench vor, einen vollständig synthetischen Benchmark für das visuelle Dokumentverständnis im Langkontext, der systematisch Faktoren wie Dokumentlänge, Layoutstruktur, modale Zusammensetzung und Fragetyp kontrolliert. Der Benchmark wird mittels eines kombinatorischen Designs erstellt, wobei jeder Faktor über die generierten Dokumente hinweg unabhängig variiert wird, was eine kontrollierte Analyse des Modellverhaltens ermöglicht. Dokumente werden Ende-zu-Ende mit einer LLM-Pipeline über sechs Layout- Archetypen hinweg generiert, wobei eine 40-prozentige zufällige Überschreibung verhindert, dass Modelle von Scheinkorrelationen profitieren. Darüber hinaus umfasst SynthDocBench Langkontext-Dokumente mit wesentlich größerer Länge und struktureller Vielfalt als bestehende Benchmarks. Bei der Evaluierung von sieben führenden VLMs decken wir drei Fehlermodi auf, die bestehende Benchmarks nicht sichtbar machen können: eine starke Verschlechterung mit der Dokumentlänge, eine systematische positionsbezogene Empfindlichkeit, bei der das mittlere Drittel eines Dokuments für fünf von sechs Modellen am schwierigsten ist und fünf von sechs Modellen einen negativen Früh-zu-Spät-Trend aufweisen (stärkster Rückgang: 8,3 Prozentpunkte), sowie ein Versagen des Diagrammverständnisses in Langkontext-Settings. Diese Ergebnisse deuten darauf hin, dass aktuelle Modelle möglicherweise eher auf Benchmark-Artefakte überangepasst sind, als dass sie ein robustes visuelles Dokumentverständnis im Langkontext erreichen.
In diesem Beitrag stellen wir SpectraReward vor, eine trainingsfreie Belohnungsfunktion, die vortrainierte MLLMs zu einsatzbereiten Belohnungsmodellen für das Reinforcement Learning zur Bilderzeugung macht. Anstatt das MLLM ein generiertes Bild bewerten oder zerlegte Verifikationsfragen beantworten zu lassen, misst SpectraReward, wie gut der ursprüngliche Prompt aus dem generierten Bild durch einen einzelnen bildbedingten, lehrergesteuerten Vorwärtsdurchlauf wiederhergestellt werden kann. Wir verwenden die durchschnittliche bildbedingte Prompt-Log-Wahrscheinlichkeit als Belohnung und nutzen dabei direkt die vortrainierte Fähigkeit des MLLM zur Bild-Text-Ausrichtung, ohne Präferenzlabels oder eine Feinabstimmung des Belohnungsmodells. Darüber hinaus führen wir Self-SpectraReward ein, einen Spezialfall für vereinheitlichte multimodale Modelle, bei dem der eigene Verständniszweig der Policy als Belohnungsmodell für deren Generierungszweig dient. Dies bildet ein rückgekoppeltes selbstverbesserndes Framework ohne externe Belohnungsmodelle oder externes Wissen. Umfangreiche Experimente validieren SpectraReward durch eine breite RL-Studie zur Bilderzeugung, die zwei Diffusionsmodelle, drei RL-Algorithmen, neun Belohnungs-MLLM-Backbones aus vier MLLM-Familien mit 4 bis 235 Milliarden Parametern sowie fünf Out-of-Distribution-Text-zu-Bild-Benchmarks umfasst. Die Ergebnisse zeigen, dass sowohl SpectraReward als auch Self-SpectraReward die Generierungsleistung signifikant und konsistent verbessern und frühere auf MLLM basierende Belohnungstrainingsmethoden übertreffen. Weitere Analysen zeigen, dass größere Belohnungs-MLLMs nicht immer besser sind, während Self-SpectraReward mit deutlich größeren externen Belohnungsmodellen mithalten oder diese sogar übertreffen kann. Dies deutet darauf hin, dass die Ausrichtung von Belohnung und Policy ein Schlüsselfaktor für effektives Reinforcement Learning zur Bilderzeugung ist. Projektseite: https://huangrh99.github.io/SpectraReward/
Visuelle Generatoren zeichnen sich durch ihr Rendering aus, aber sie erfinden selbstbewusst, was sie nicht wissen. Die Anfragen der Nutzer sind unbegrenzt, entwickeln sich weiter und weisen eine starke Long-Tail-Charakteristik auf: neue Figuren, trendige Entitäten, Ereignisse nach dem Stichtag und vieles mehr. Dieser Weltwissens-Engpass ist strukturell bedingt: Generatoren werden auf festen Textkorpora trainiert, aber die visuelle Welt ist offen. Wir stellen SearchGen-20K und SearchGen-Bench mit 20.839 Eingabeaufforderungen (Prompts) vor, die zwölf Fehlerkategorien und zweiundzwanzig Domänen abdecken, gepaart mit einem vorab ausgeführten multimodalen SearchGen-Corpus-1M zur Unterstützung offline durchführbarer, reproduzierbarer Forschung. Auf SearchGen-Bench erzielen führende offene Generatoren lediglich 21 bis 28 von 100 Punkten – ein 40-Punkte-Einbruch, der bei bestehenden Benchmarks unsichtbar bleibt. Die naheliegende Abhilfe ist der Einsatz von Suchwerkzeugen, die eine agentische visuelle Generierung ermöglichen. Wir stellen jedoch fest, dass naive Suche scheitert: Sie ruft wahllos ab, injiziert Rauschen in Eingabeaufforderungen, die der Generator bereits beherrscht. Wir führen die Ursache auf eine generatorspezifische, sich entwickelnde Wissensgrenze zurück: die Grenze zwischen dem, was ein Generator durch Training verinnerlichen kann, und dem, was im externen Kontext verbleiben muss. Obwohl diese Grenze im Voraus schwer zu spezifizieren ist, zeigen wir, dass sie durch ein Teach-then-Search-Co-Training-Framework entdeckt werden kann. Selbst eine minimale Version dieser Co-Training-Strategie erzeugt eine monotone Verbesserung und legt damit das Fundament für eine rekursive Selbstverbesserung in der visuellen Generierung, die weltwissensbasierte Anfragen erfüllen kann. Wir veröffentlichen den vollständigen Datensatz, das Co-Training-Korpus und das Suchkorpus als wiederholbares Testgerüst für werkzeugunterstützte, weltwissensbasierte visuelle Generierung.
Moderne KI-Modelle erzielen auf vielen etablierten Benchmarks eine starke Leistung, scheitern jedoch weiterhin an Aufgaben, die von Menschen als nahezu trivial empfunden werden, wie etwa das Bearbeiten einer Zeichenkette oder das Zeichnen eines Hundes mit fünf Beinen. Diese Beispiele deuten darauf hin, dass bestehende Benchmarks möglicherweise persistente blinde Flecken in aktuellen Systemen unzureichend messen. Wir stellen blind-spots-bench vor, einen Benchmark, der darauf ausgelegt ist, solche blinden Flecken durch Aufgaben aufzudecken, die für Menschen einfach erscheinen, aber für moderne KI herausfordernd bleiben. Wir sammeln rohe Fragen von Studierenden eines KI-Kurses, bereinigen sie und versehen sie mit strukturierten Referenzlösungen, und schlagen eine Aufgaben-Taxonomie vor, die auf den resultierenden Datensatz von 235 Proben zugeschnitten ist. Darüber hinaus entwickeln wir eine automatisierte Bewertungspipeline, um eine breite Palette von Modellen zu evaluieren, darunter Open-Weight- und Closed-Source-Sprach-, Vision-Sprach- und Bildgenerierungsmodelle. Unsere Analyse auf blind-spots-bench zeigt, dass Closed-Source-Frontier-Modelle Open-Weight-Modelle mit einer Spanne von sogar etwa 10 % deutlich übertreffen können, selbst wenn sie auf bestehenden Benchmarks vergleichbare Leistungen erzielen. Eine detailliertere Analyse zeigt, dass kein einzelnes Modell bei allen Aufgabentypen dominiert und dass einige Aufgaben für alle evaluierten Modelle herausfordernd bleiben. Diese Ergebnisse unterstreichen den Wert von blind-spots-bench als diagnostischen Stresstest zur Identifizierung konkreter Schwächen in aktuellen modernen Modellen.
Coding Agents müssen externe Tool-Rückgaben in laufende Überlegungen integrieren – eine Fähigkeit, die das standardmäßige links-nach-rechts Pre-Training auf Code nur in seiner Vorwärtsrichtung offenbart. Wir beobachten, dass die Aktions-Beobachtungs-Fortsetzungsschleife eines Coding Agents strukturell isomorph zu einer Funktionsaufrufstelle ist, bei der ein Aufrufer Argumente bindet, eine aufgerufene Funktion einen anderswo berechneten Wert zurückgibt und nachgelagerter Code diesen Wert verbraucht. Diese Konditionierungsstruktur existiert in gewöhnlichem Code in Internetmaßstab. Wir nutzen sie durch funktionsbewusstes Fill-in-the-Middle (FIM) Mid-Training: ein selbstüberwachtes Ziel, das ausgewählte Funktionen mittels Programmabhängigkeitsgraph-Analyse und einem Doppelkriterium aus Komplexität und Inferabilität maskiert. Wir trainieren Qwen2.5-Coder-Instruct (7B/14B) und Qwen3-8B auf einem 2,6B-Token großen, dekontaminierten Korpus aus 968 GitHub-Repositories und wenden dann bestehende agentische Post-Training-Pipelines an. Mid-Training verbessert SWE-Bench-Verified um +2,8/+3,0 bei 7B/14B und um +3,2 bei Qwen3-8B; die Gewinne bei SWE-Bench-Lite betragen +3,7/+4,0/+5,4 für dieselben Modelle. Die Verbesserung bleibt über zwei Post-Training-Pipelines (R2E-Gym, SWE-Smith) und auf einer Nicht-Qwen2.5-Basis (Qwen3-8B mit SWE-Lego) bestehen. Über die domäneninternen Gewinne hinaus mildert Mid-Training auch die Fähigkeitserosion, die agentisches Post-Training sonst bei nicht-agentischem Codieren (z. B. LiveCodeBench) und nicht-codierenden Tool-Use-Benchmarks (tau-bench, BFCL) verursacht: Obwohl der Mid-Training-Korpus nur Python-Code enthält, überlebt die Funktionsaufruf-Induktionsvoreingenommenheit das Post-Training und erzielt konsistente Verbesserungen.
Auf LLMs basierende Codierungsagenten haben die automatisierte Behebung von Softwareproblemen erheblich vorangebracht, sind jedoch weiterhin stark anfällig für Sachfehler, die durch ein unzureichendes Repository-Verständnis verursacht werden. Neuere Methoden versuchen, diese Einschränkung durch eine reparaturvorbereitende Repository-Erkundung zu mildern; jedoch durchsuchen ihre fix-getriebenen Strategien das Repository, ohne die Wissenslücken des Agenten zu identifizieren, und liefern oft ungenaue Kontexte, die das zugrunde liegende Verständnisdefizit nicht beheben. In dieser Arbeit schlagen wir ACQUIRE vor, ein QA-gestütztes Framework zur Behebung von Softwareproblemen. In Anlehnung daran, wie erfahrene Entwickler zunächst unbekannten Code verstehen, bevor sie eine Korrektur versuchen, erwirbt ACQUIRE explizit Repository-Wissen vor der Reparatur. Das Framework entkoppelt die Wissensakquise von der Patch-Generierung durch zwei Phasen: In der ersten Phase arbeiten ein Fragesteller und ein Antworter zusammen, um strukturiertes Repository-Wissen zu erwerben, wobei der Fragesteller gezielte Fragen stellt und der Antworter durch autonome Erkundung evidenzbasierte Antworten erstellt; in der zweiten Phase nutzt der Resolver das resultierende QA-Wissen, um informierte Patches zu generieren. Indem implizite Wissenslücken in explizites, faktisch zuverlässiges Verständnis umgewandelt werden, beschleunigt ACQUIRE wissensintensive Reparaturphasen und ermöglicht eine genauere Lösung. Experimente auf SWE-bench Verified zeigen, dass ACQUIRE repräsentative Reparatur-vorbereitende Methoden durchgängig übertrifft und Pass@1 um bis zu 4,4 Prozentpunkte bei moderaten zusätzlichen Kosten und Zeitaufwand steigert.
Bestehende Methoden zur automatischen Musiktranskription sind häufig auf Einzelinstrumentaufnahmen beschränkt oder versagen bei komplexen, realen Musikmischungen. Obwohl frühere Arbeiten synthetische Trainingsdaten nutzen, generalisieren die resultierenden Modelle schlecht, was zu weitgehend unbrauchbaren Transkriptionsergebnissen in realistischen Mehrinstrumenten-Umgebungen führt. In dieser Arbeit analysieren wir die Wirksamkeit synthetischer Daten für das Vortraining, kombiniert mit Feintuning anhand realer Musikaufnahmen und Nachtraining mittels bestärkendem Lernen. Darüber hinaus führen wir eine Konditionierung auf Instrumentenpräsenz ein, um Transkriptionen anzupassen. Schließlich veröffentlichen wir MuScriptor, ein Open-Weight-Modell zur Mehrinstrumenten-Musiktranskription, das auf realen Musikaufnahmen aus einer Vielzahl von Musikgenres funktioniert.
Mainstream-visuelle-Encoder werden auf natürlichen Bildern vortrainiert und können ohne dokumentorientierte Anpassung nicht effektiv auf Dokumentbilder angewendet werden, da dichter Text und feinkörnige Zeichenstriche eine zeichenebene visuelle Wahrnehmung erfordern. Wir stellen MonkeyOCRv2 vor, ein visuell-textuell vortrainiertes Modell für Dokumenten-KI. Zunächst erstellen wir MonkeyDoc v2, nach unserem Wissen das größte Dokumentenbild-Vortrainingskorpus, das 113 Millionen Bilder in 17 Sprachen umfasst. Zweitens schlagen wir eine Vortrainingsstrategie vor, die gemeinsam Bild-zu-Text-Generierung und pixelebene Dokumentenrekonstruktion lernt: Ersteres gleicht visuelle Repräsentationen mit textuellen Inhalten ab, während Letzteres Zeichenstriche und Layoutdetails bewahrt. Umfangreiche Experimente werden an fünf repräsentativen Dokumentenanalyseaufgaben durchgeführt, darunter Texterkennung, Formelerkennung, Textdetektion, Dokumentenmanipulationserkennung und Segmentierung überlappender Texte. Das Ersetzen der ursprünglichen Encoder durch MonkeyOCRv2 verbessert die Leistung durchgängig bei allen fünf Aufgaben. Schließlich validieren wir seine Wirksamkeit als visueller Encoder von multimodalen großen Sprachmodellen bei den anspruchsvolleren Aufgaben der Dokumentenparsung und des Dokumentenverständnisses. Eingefroren und mit einem leichten Sprachmodell gekoppelt, ergibt es ein 0,7B-Dokumentenparsungsmodell, das auf MDPBench einen neuen Open-Source-State-of-the-Art setzt – einem aktuellen Benchmark, der digital erstellte und fotografierte Dokumente in 17 Sprachen umfasst – und das bisher beste 3B dots.mocr um absolute 2,8% übertrifft, bei einem etwa 11-mal kleineren visuellen Encoder. Der eingefrorene Encoder treibt auch ein Dokumentenverständnismodell an, das unter identischen Trainingsbedingungen auf acht Benchmarks die auf CLIP, DINO und SAM basierenden Gegenstücke übertrifft. Diese Ergebnisse legen nahe, dass dokumentorientiertes visuelles Vortraining als eigenständige Grundlage für die Dokumentenintelligenz dienen kann.
Ausgehend von der Nutzung tiefer neuronaler Netze zur Approximation der Zustands-Aktions-Wertfunktion, die zum Sieg in einem der anspruchsvollsten Spiele führte, bis hin zu algorithmischen Fortschritten, die es ermöglichten, Probleme zu lösen, ohne die Regeln der jeweiligen Herausforderung explizit anzugeben, stand die Forschung im Bereich des bestärkenden Lernens im Mittelpunkt bemerkenswerter wissenschaftlicher Fortschritte des letzten Jahrzehnts. In dieser Arbeit konzentrieren wir uns auf die wesentlichen Bestandteile dieses Forschungsfortschritts und analysieren die kanonischen Evaluations- und Entwurfsparadigmen im bestärkenden Lernen. Wir führen die theoretischen Grundlagen von Skalierungsgesetzen im bestärkenden Lernen ein und zeigen, dass die asymptotische Leistung von Algorithmen des bestärkenden Lernens keinen monotonen Zusammenhang zwischen Leistungsbewertungen und Datenregimen aufweist. Wir führen großangelegte Experimente durch, und unsere Ergebnisse belegen, dass eine Reihe von Forschungsarbeiten im bestärkenden Lernen unter den kanonischen Entwurfs- und Evaluationsparadigmen zu falschen Schlussfolgerungen geführt hat. Unsere Analyse und Ergebnisse liefern eine grundlegende Untersuchung der Skalierung, Kapazität und Komplexität des tiefen bestärkenden Lernens.
Large-Language-Modell-Agenten beginnen damit, das Machine-Learning-Engineering (MLE) zu automatisieren, indem sie Planung, Codeausführung, Fehlerbehebung und empirisches Feedback koppeln. Die Übertragung dieser Fähigkeit auf die medizinische Bildgebung bleibt schwierig, da jede Aufgabe modalitätsspezifische Experimente sowie strenge Anforderungen an Validierungsprotokolle und Vorhersageartefakte stellt. Hier stellen wir AMID vor, ein autonomes Multi-Agenten-Framework für die Entwicklung medizinischer Bildgebungsmodelle. AMID schlägt zunächst eine datenabhängige Methodenplanung (Data-Conditioned Method Planning) vor, die grobe aufgabenbezogene Suchräume in ausführbare, parallelisierbare Methodenpfade verfeinert, die auf aufgabenspezifischer Datenanalyse und ausführbaren medizinischen Bildgebungsressourcen basieren. Anschließend entwickelt es eine verifikationsgeführte zweistufige Optimierung (Verification-Guided Two-Stage Optimization), die von einer breiten frühen Exploration verschiedener Methodenpfade zu einer selektiven Nutzung vielversprechender Kandidaten übergeht, während während der gesamten Optimierung eine strenge Verifikation der Validierungsprotokolle, Metrikberechnung und Vorhersageartefakte durchgesetzt wird. Bei 20 medizinischen Bildgebungs-Challenge-Aufgaben, die verschiedene Modalitäten und Vorhersagetypen umfassen, übertraf AMID die evaluierten universellen MLE-Systeme und näherte sich bei mehreren Aufgaben starken menschlich entworfenen Challenge-Lösungen an oder erreichte sie. Diese Ergebnisse deuten darauf hin, dass AMID die aufgabenspezifische Entwicklung von Modellen für die medizinische Bildgebung von einer maßgeschneiderten manuellen Entwicklung in einen agentischen Workflow verwandeln kann, der leistungsstarke und prüfbare Modellartefakte für heterogene Aufgaben produziert.
Diese Arbeit führt eine einheitliche Formulierung für Vision-Modelle ein, bei der verschiedene Formen visueller Informationen jenseits natürlicher Bilder – wie Masken, Tiefenkarten und andere strukturierte visuelle Signale – sämtlich als RGB-Bilder dargestellt werden, während allgemeine visuelle Aufgaben in ein gemeinsames RGB-zu-RGB-Bildbearbeitungsproblem überführt werden können. In diesem Paradigma teilen verschiedene Arten visueller Informationen intern dieselbe Kodierungs- und Dekodierungsarchitektur sowie dieselben Parameter wie natürliche Bilder, sodass ein einzelnes Modell durch eine einheitliche visuelle Schnittstelle Aufgaben übergreifend übertragen kann – analog zur Funktionsweise von Sprachmodellen über Text hinweg. Wir bezeichnen diese Formulierung als RGB In and RGB Out (RINO). Aufbauend auf einem generischen Bildbearbeitungs-Backbone ohne aufgabenspezifische Feinabstimmung zeigt RINO robuste und wettbewerbsfähige Zero-Shot-Leistungen sowohl bei dichten Verständnisaufgaben wie Segmentierung und Tiefenschätzung (bei denen wir Ausgaben als RGB vereinheitlichen) als auch bei dicht konditionierten Generierungsaufgaben wie der Pose-zu-Bild-Generierung (bei denen wir Eingaben als RGB vereinheitlichen). Wir hoffen, dass diese Studie nützliche Erkenntnisse für allgemeine einheitliche Vision-Language-Systeme liefert, in denen verschiedene visuelle Aufgaben durch eine gemeinsame visuelle Sprache ausgedrückt, interpretiert und gelöst werden können. Code ist verfügbar unter https://github.com/yangtiming/RINO.
Große, für die Vorhersage feinabgestimmte Sprachmodelle können zwar genaue, aber schlecht kalibrierte Ergebnisse liefern, und ihre Chain-of-Thought (CoT)-Argumentation spiegelt möglicherweise nicht getreu die einer Vorhersage zugrundeliegende Evidenz wider. Wir untersuchen, ob interne Repräsentationen einen direkteren Zugang zu beiden Aspekten bieten. Unter Verwendung von Eternis-Forecaster 8B auf OpenForesight trainieren wir Repräsentations-Pooling-Sonden auf Zwischenaktivierungen und stellen fest, dass diese eine wesentlich bessere Kalibrierung erreichen – ein Ergebnis, das auch für GLM-4.7-Flash und GLM-4.5-Air gilt. Anschließend bewerten wir die Treue der CoT durch Evidenz-Ablation und Ablenkungsinjektion: Das Entfernen einer einflussreichen Quelle im Prompt ändert oft die Vorhersage des Modells, während die Argumentationsspur unberührt bleibt. Dieselben Sonden fungieren als Lügendetektoren: Ihre Aktivierungen erfassen Verhaltensänderungen weit besser als die Argumentationsspur, und sie sagen zudem in 84 % der Fälle die Richtung der Änderung voraus – auch dann, wenn die CoT den Einfluss der Störung verschleiert. Schließlich zeigt erzwungenes Antworten, dass Vorhersagen weitgehend festgelegt sind, bevor die Argumentation beginnt: Ein einziger Vor-Argumentations-Durchlauf stellt die festgelegte Antwort und das Konfidenzniveau wieder her, und das Weiterleiten von Fragen anhand der Streuung dieser vorab festgelegten Antwortverteilung spart 30–47 % der generierten Token, ohne Genauigkeitsverlust. Insgesamt etablieren diese Ergebnisse das Sondieren interner Repräsentationen als praktisches Werkzeug zur Kalibrierung, Überprüfung und Triage von Sprachmodell-Vorhersagemodellen und allgemeiner von Argumentationsmodellen.