Tägliche Publikationen

Struktur-Eigenschafts-Beziehungen sind grundlegend für Biologie, Chemie und Materialwissenschaften, wo Funktion, Reaktivität und physikalische Reaktionen aus räumlicher, chemischer und periodischer Organisation hervorgehen. Eine mechanistische Erklärung dieser Beziehungen erfordert die Interpretation struktureller Nachweise anhand wissenschaftlicher Prinzipien und physikalischer Randbedingungen – von Stereochemie und Bindung über Symmetrie, Energetik bis hin zu periodischer Ordnung. Die Anwendung künstlicher Intelligenz auf diesen Prozess stellt jedoch eine doppelte Herausforderung dar, die Repräsentation und Schlussfolgerung betrifft: Modelle müssen domänenspezifische Strukturinformationen bewahren und gleichzeitig zeigen, wie konkrete Nachweise unter diesen Randbedingungen Vorhersagen stützen. Hier stellen wir SciReasoner vor, ein multimodales wissenschaftliches Grundlagenmodell für natives strukturelles Schließen über Proteine, kleine Moleküle und anorganische Kristalle hinweg. SciReasoner diskretisiert Koordinaten, Topologien und periodische Verbindungen in ein einheitliches strukturbewusstes Vokabular und behandelt strukturelle Token als adressierbare Beweiseinheiten während des Schließens. In der homologiekontrollierten Vorhersage der Gen-Ontologie verbessert SciReasoner die Annotation zellulärer Komponenten für Proteine mit geringer Homologie und Orphan-Proteine und steigert den F_{max}-Wert von 0,42 auf 0,55. In der Chemie erhöht es die Genauigkeit einstufiger Retrosynthese von 0,63 auf 0,72 und erzeugt dabei Fragmentierungs- und Vorläuferverifikationspfade auf Fragmentebene. In der Materialwissenschaft trennen seine Darstellungen elementare und Verbindungsphasen und lösen Bereiche hoher und niedriger Bandlücke auf. Über 86 Benchmarks hinweg erzielt SciReasoner auf 67 Aufgaben Spitzenleistungen. Eine doppelblinde Expertenbewertung bewertet seine Schlussfolgerungspfade in 98 % der Fälle als bevorzugt oder zumindest vergleichbar mit denen eines führenden großen Sprachmodells. Indem SciReasoner Struktur zu einem überprüfbaren Substrat für das Schließen unter wissenschaftlichen Randbedingungen macht, verbindet es präzise Vorhersage mit interpretierbarer wissenschaftlicher Schlussfolgerung.

Mainstream-Vision-Language-Action-(VLA)-Modelle sagen Handlungen hauptsächlich auf Basis der aktuellen Beobachtung unter einer Markov-Annahme vorher, wodurch sie bei langfristigen, zeitlich abhängigen Aufgaben an ihre Grenzen stoßen. Bestehende speichergestützte VLAs erweitern entweder das Beobachtungsfenster oder rufen Verlauf aus dem Speicher als Hilfskontext auf der Policieseite ab. Sie lassen den Speicher jedoch außerhalb des nativen latenten Einbettungsraums des VLA-Schließens, sodass historische Erfahrungen nicht fließend mit multimodalem Schließen und Handlungsbildung verwoben werden können. Zu diesem Zweck führen wir LaMem-VLA ein, ein Framework, das historische Erfahrung in latente Speicher-Tokens rekonstruiert und direkt mit dem VLA-Schließen verwebt. Im Kern führt LaMem-VLA vier koordinierte Komponenten ein: (i) einen Kurator, der historische Erfahrung in zwei komplementäre Kurzzeit- und Langzeitspeichertresore organisiert; (ii) einen Sucher, der beide Tresore mithilfe der multimodalen Kognition abfragt, um kontextrelevante Evidenz abzurufen; (iii) einen Kondensator, der die abgerufene Evidenz in kompakte Kurzzeit- und Langzeit-Latenzspeicher-Tokens rekonstruiert; und (iv) einen Weber, der diese Speicher-Tokens zusammen mit der aktuellen Beobachtung und Anweisung in eine kontinuierliche Einbettungssequenz einwebt. Indem LaMem-VLA historische Erfahrung vollständig im selben kontinuierlichen latenten Raum repräsentiert, abruft und konsumiert, ermöglicht es dem Speicher, direkt am VLA-Schließen teilzunehmen und unter einem begrenzten Kontext die Handlungsgeneration zu leiten. Umfangreiche Experimente auf SimplerEnv und LIBERO belegen die Überlegenheit unseres LaMem-VLA.

Trotz der jüngsten Fortschritte in der Robotersteuerung leiden Video-Generierungsmodelle unter einer Domänenfehlanpassung, da ihr Schwerpunkt hauptsächlich auf der Inhaltserstellung liegt. Beispielsweise priorisiert ihr Design von Natur aus visuelle Wiedergabetreue und Kreativität gegenüber Recheneffizienz und physikalischer Realitätsnähe. In dieser Arbeit stellen wir LingBot-Video vor, ein auf DiT basierendes Video-Pretraining-Paradigma, das speziell auf verkörperte Intelligenz zugeschnitten ist. Aus architektonischer Perspektive übernehmen wir das Mixture-of-Experts-Framework (MoE) anstelle eines dichten Frameworks, um einen besseren Ausgleich zwischen Modellierungskapazität und Inferenzeffizienz zu erreichen, und es gelingt uns, dieses von Grund auf zu skalieren. Aus der Datenperspektive konstruieren wir eine Datenprofilierungs-Engine, die Standard-Internetvideos mit umfangreichem robotikorientiertem Filmmaterial erweitert, das Manipulation, Navigation und egozentrische Perspektiven umfasst, um dem Basismodell ein intrinsisches Verständnis von Aktionen und Weltdynamik zu verleihen. Aus der Trainingsperspektive entwickeln wir ein mehrdimensionales Belohnungssystem, um die Ausrichtung hinsichtlich physikalischer Rationalität und Aufgabenerfüllung zu erzwingen, das über Standardkriterien wie Ästhetik, Prompt-Befolgung und Bewegungskonsistenz hinausgeht. Umfassende Evaluierungen bestätigen seine Leistung und Effizienz als Video-Grundlagenmodell. Wir tragen LingBot-Video als erstmaliges groß angelegtes, Open-Source-MoE-Video-Grundlagenmodell zur Community bei, als wegweisenden Versuch, digitale Kreativität und physische Aktuation zu verbinden.

Wir präsentieren LingBot-World 2.0 (auch bekannt als LingBot-World-Infinity), eine erweiterte Iteration von LingBot-World mit vier deutlichen Verbesserungen. (1) Unser Modell erreicht einen unbegrenzten Interaktionshorizont bei gleichbleibender Ausgabequalität, was auf ein sorgfältig entwickeltes kausales Vortraining-Paradigma zurückzuführen ist. (2) Durch die Destillation einer Echtzeitvariante aus dem Basismodell gewährleistet unser System eine schnelle Reaktionszeit, die ausreicht, um 720p-Videostreams mit 60 fps anzutreiben. (3) Im Vergleich zur Vorgängerversion führt dieses Update hochgradig vielfältige interaktive Elemente ein, die ein breiteres Spektrum an Aktionen (z. B. Angreifen, Bogenschießen, Zaubern und Schießen) sowie eine reichhaltigere Vielfalt textgesteuerter Ereignisse umfassen. (4) Wir sind Pioniere bei der Integration einer agentischen Steuerung im Bereich der Weltmodellierung, bei der ein Pilot-Agent mit der Planung und Ausführung von Charakterverhalten beauftragt ist, während ein Director-Agent für die Synthese neuartiger Umgebungselemente im Verlauf der Szene zuständig ist. Darüber hinaus entwickeln wir zur Förderung eines gemeinsamen Erlebnisses eine Schnittstelle, die es mehreren Spielern ermöglicht, sich gleichzeitig in diesen lebendigen Weltsimulator zu vertiefen. Wir kombinieren unser primäres 14B-Modell mit einem leichten 1.3B-Pendant, das eine mühelose Bereitstellung auf einer einzelnen GPU ermöglicht.

Allgemeine Roboter-Manipulationsstrategien haben sich rasant weiterentwickelt, doch bestehende Benchmarks bleiben in der systematischen Bewertung ihrer Fähigkeiten begrenzt. Viele stützen sich auf einfache, kurzzeitige oder fähigkeitsspezifische Aufgaben mit eingeschränkter Abdeckung und werden oft nur in der Simulation oder nur in der realen Welt durchgeführt. Die Simulation ermöglicht skalierbares Feedback, übersieht aber physikalische Herausforderungen der realen Umsetzung, während die Evaluierung in der realen Welt kostspielig, zeitaufwändig und schwer reproduzierbar ist. Wir stellen RoboDojo vor, einen vereinheitlichten Sim-und-Real-Benchmark für die umfassende Bewertung allgemeiner Roboter-Manipulationsstrategien. RoboDojo umfasst 42 Simulationsaufgaben und 18 reale Aufgaben, die vielfältige und sich ergänzende Manipulationsfähigkeiten abdecken. Der Simulations-Benchmark bewertet fünf Dimensionen: Generalisierung, Gedächtnis, Präzision, langfristige Ausführung und Befolgung von Anweisungen mit offenem Vokabular, während der reale Benchmark die Strategien mit herausfordernden physikalischen Einsatzbedingungen konfrontiert. RoboDojo unterstützt eine skalierbare Evaluierung durch heterogene parallele Simulation in Isaac Sim und bietet RoboDojo-RealEval, ein reproduzierbares reales Evaluierungssystem mit Fernzugriff über die Cloud, standardisierter Hardware, Szenenrücksetzung, Evaluierungsprotokoll und Bereitstellungsschnittstelle. Zusammen mit XPolicyLab können Strategien einmal integriert und mit minimaler Anpassung sowohl in der Simulation als auch in der realen Welt evaluiert werden. Wir integrieren 30 Strategien in XPolicyLab und evaluieren sie auf RoboDojo, wobei wir eine öffentliche Rangliste und eine systematische Analyse der aktuellen Strategieleistung erstellen. Die Website ist verfügbar unter http://robodojo-benchmark.com/.

Verstärkendes Lernen (RL) gewinnt zunehmend an Bedeutung für das Post-Training großer Sprachmodelle (LLMs). Bisherige RL-Pipelines für LLMs waren größtenteils synchron und batch-verschachtelt, was für langfristige agentische Aufgaben ineffizient ist. In jüngerer Zeit hat sich asynchrones RL als effizientere Alternative etabliert, indem das Modell aktualisiert wird, sobald Rollouts eintreffen. Allerdings legen bestehende asynchrone RL-Systeme oft den Schwerpunkt auf Durchsatz, während Trainingsstabilität und Aufgabeneffektivität weitgehend unerforscht bleiben. Eine zentrale Herausforderung ist beispielsweise, dass das im weit verbreiteten GRPO-Framework verwendete gruppenweise Sampling nicht natürlich zu asynchronem agentischem Training passt. In diesem Papier stellen wir Single-rollout Asynchronous Optimization (SAO) vor, um die Stabilitäts- und Off-Policy-Herausforderungen im asynchronen RL zu bewältigen. Zur Verringerung von Off-Policy-Effekten und zur Verbesserung der Generalisierung ersetzen wir das gruppenweise Sampling durch Einzel-Rollout-Sampling, d.h. die Verwendung eines Rollouts pro Prompt. Wir verbessern diese Einzel-Rollout-Strategie weiter durch praktische Designs für das Training von Werte-Modellen. Zur Verbesserung der Optimierungsstabilität führen wir eine strenge beidseitige Token-Level-Clipping-Strategie ein. SAO kann über tausend Schritte stabil trainieren und übertrifft durchgängig GRPO und seine Varianten bei agentischen Codierungs- und Reasoning-Benchmarks wie SWE-Bench Verified, BeyondAIME und IMOAnswerBench. Wir zeigen auch, dass Einzel-Rollout-RL besonders effektiv in einer simulierten Online-Lernumgebung ist, in der sich das Modell an sich ändernde, evolvierende Umgebungen anpassen muss. Zu diesem Zweck wird SAO erfolgreich in der agentischen RL-Pipeline zum Training des offenen GLM-5.2-Modells (750B-A40B) eingesetzt.

Verkörperte Agenten werden typischerweise als handgefertigte Zusammensetzungen von Wahrnehmungs-, Gedächtnis-, Planungs- und Aktionsmodulen aufgebaut. Diese Modularität eröffnet einen großen architektonischen Gestaltungsraum, jedoch stützen sich aktuelle Systeme weiterhin auf die Intuition der Forscher, um zu entscheiden, wo Informationen gespeichert werden, wie Beobachtungen verarbeitet werden und wie Modellaufrufe miteinander verbunden sind. Die Agentenarchitektursuche (Agent Architecture Search, AAS) automatisiert ein solches Design für textbasierte Agenten, wurde jedoch nicht systematisch an wahrnehmungsbasierten verkörperten Agenten mittels Simulator-Durchläufen evaluiert. Wir untersuchen diese Übertragung. Wir stellen AgentCanvas vor, eine Laufzeitumgebung mit typisierten Graphen, die verkörperte Ausführer als editierbare Knoten-und-Verbindungs-Programme mit simulatorbewusster Ausführung und Protokollen auf Episodenebene beherbergt, sowie KDLoop, ein Suchverfahren auf Basis eines Kodieragenten, das die Phasen Vorschlag, Kritik, Experiment und Destillation durchläuft, mit ausgelöster Reflexion nach Stillständen. Wir evaluieren drei AAS-Varianten über vier verkörperte Ausführer hinweg, die Bereiche wie visuell-sprachliche Navigation, verkörpertes Fragebeantworten und sprachgesteuerte Manipulation abdecken. Die resultierende 3×4-Matrix zeigt, dass eine Suche auf Architekturebene einsetzbare und gerichtete Verbesserungen der Erfolgsrate bei verkörperten Aufgaben hervorbringen kann, während ein scheinbar hochpunktender Kandidat als datenleckbehaftet abgelehnt wird. Gleichzeitig legen die Experimente Einschränkungen offen, die bei textbasierten AAS-Ansätzen nur gedämpft auftreten: Optimierungssignale können durch Durchlaufrauschen überlagert werden, die Suche kann in lokalen Änderungsbecken stecken bleiben, und eine Kreditzuweisung auf Episodenebene tritt selbst dann nur teilweise zutage, wenn detaillierte Protokolle verfügbar sind. Diese Ergebnisse charakterisieren sowohl das Potenzial als auch die aktuellen Grenzen der automatischen Architektursuche für verkörperte Agenten.

Lineare Aufmerksamkeitsmodelle ermöglichen eine feste Zustandsgröße und einen festen Rechenaufwand pro Token. Aufgrund ihrer begrenzten Zustandsgröße liegen lineare Aufmerksamkeitsmodelle jedoch bei der Erinnerung langer Kontexte hinter Transformer-Architekturen zurück, die auf Softmax-Aufmerksamkeit basieren. Eine Vergrößerung der Zustandsgröße linearer Aufmerksamkeit verbessert die Erinnerungsleistung, geht jedoch mit höheren FLOPs einher. In dieser Arbeit stellen wir Sparse Delta Memory (SDM) vor, eine Architektur, die den verborgenen Zustand von gegateten linearen RNNs mithilfe eines spärlichen Adressierungsschemas um Größenordnungen auf eine höhere Kapazität skaliert. SDM erweitert die Gated DeltaNet-Architektur, indem es das dichte Schlüssel-Wert-äußere Produkt durch spärliche Lese- und Schreibvorgänge in einen großen expliziten Speicher ersetzt. Wir zeigen, dass unter einer isoFLOP-Beschränkung und bei identischer Parameteranzahl eine höhere Speicherkapazität des Zustands die Leistung bei Aufgaben des In-Context-Lernens und des Abrufens langer Kontexte signifikant verbessert. Darüber hinaus zeigen wir, dass das Modell durch das Erlernen des Anfangszustands des SDM-Speichers und dessen Nutzung als parametrischen Speicher eine breite Palette von Aufgaben zu Allgemeinwissen und logischem Denken weiter verbessert.

Wir stellen AgentLens vor, einen produktionsbewerteten Benchmark für interaktive Code-Agenten. Die meisten Code-Agent-Benchmarks reduzieren einen Durchlauf auf ein einzelnes Bit – wurde die Aufgabe bestanden? –, doch die Menschen, die diese Agenten tatsächlich nutzen, erleben die gesamte Trajektorie: wie der Agent Anweisungen befolgt, seine Werkzeuge einsetzt, seine eigene Arbeit verifiziert, Fehler behebt und dabei mit ihnen kommuniziert. AgentLens bewertet diese gesamte Trajektorie. Es kombiniert formale Verifikation, bei der eine objektive Prüfung existiert, mit von LLMs verfassten Trajektorien-Rezensionen und Seiten-an-Seiten-Vergleichen, sodass jeder Durchlauf eine verständliche Erklärung liefert, warum die Bewertung wie ausfällt. Dadurch ist AgentLens mehr als nur ein Tool zum Ranking von Modellen: Wir nutzen es, um Modellverhalten zu diagnostizieren, aufeinanderfolgende Versionen unseres eigenen Agenten zu vergleichen und Produktregressionen in einer nächtlichen Evaluierungspipeline zu erkennen. Wir veröffentlichen den Benchmark als Open Source unter https://github.com/agent-lens/agent-lens-bench.

Der Mensch kann eine unbekannte Stadt navigieren und allmählich eine kohärente räumliche mentale Karte bilden, die Dutzende Quadratkilometer umfasst. Kann KI räumliche Repräsentationen in vergleichbarem Maßstab erstellen? Obwohl aktuelle Grundlagenmodelle Fortschritte in der Szenenrekonstruktion und der verkörperten Intelligenz ermöglicht haben, bleibt die Skalierung auf ganze Städte eine offene Herausforderung, vor allem aufgrund fehlender Daten im Stadtmaßstab. Um diese Lücke zu schließen, stellen wir WildCity vor, einen realen multimodalen Datensatz, der von autonomen Fahrzeugflotten bei der Durchquerung komplexer urbaner Umgebungen erfasst wurde. Unser Datensatz umfasst 18 Trajektorien mit einer durchschnittlichen Länge von 83,7 Kilometern und bewahrt die zentralen Herausforderungen der Wahrnehmung unter realen Bedingungen, wie dynamische Objekte, Lichtveränderungen und unvollkommene Kameraposen. Wir etablieren zudem eine auf urbane Umgebungen zugeschnittene Rekonstruktionsbasislinie und wandeln die rekonstruierten Umgebungen in einen Closed-Loop-Simulator um. Über den Datensatz und die Basislinie hinaus analysieren wir systematisch die zentralen Herausforderungen auf dem Weg zu simulationsbereiten städtischen digitalen Zwillingen: Skalierbarkeit, Extrapolation und Unsicherheit. Letztlich zielt WildCity darauf ab, den Fortschritt nicht nur im stadtskaligen Rendering voranzutreiben, sondern allgemeiner bei der Entwicklung von KI, die im räumlichen Maßstab vergleichbar mit der menschlichen Kognition wahrnehmen, erinnern und schlussfolgern kann. Projektseite: https://han-xiangyu.github.io/Wild-City/

Visuelle Policies, die aus menschlichen Videos, Teleoperation und Roboterdemonstrationen gelernt werden, bieten skalierbare Bewegungsprioren, scheitern jedoch oft bei kontaktreicher Manipulation, bei der der Erfolg maßgeblich von lokaler Kraft und Kontaktgeometrie abhängt. Taktile Sensorik liefert diese komplementären Signale, doch taktile Daten bleiben teuer in der Erfassung und schwer über Sensoren, Roboter und Aufgaben zu generalisieren. Wir stellen OmniTacTune vor, eine Policy-agnostische RL-Pipeline für reale Anwendungen, die taktile Rückmeldungen durch Residualkorrektur an vortrainierte visuelle Policies anpasst. OmniTacTune verwendet ein zweistufiges Design: Es initialisiert zunächst das taktilbewusste Lernen aus autonomen Basis-Policy-Rollouts und lernt dann eine leichtgewichtige taktile Residual-Policy durch Online-Interaktion. Umfangreiche Experimente zeigen, dass OmniTacTune über verschiedene kontaktreiche Aufgaben, visuelle Basis-Policies und taktile Repräsentationen generalisiert. Bei vier realen kontaktreichen Aufgaben verbessert es die visuellen Basis-Policies von 5-40% Erfolgsrate auf 85-100% innerhalb von 40-80 Minuten, was einen effizienten Weg zur Anpassung taktiler Rückmeldungen an skalierbare visuelle Roboter-Policies aufzeigt. Projektseite: https://colinyu1.github.io/omnitactune-site/

Große Sprachmodelle (Large Language Models, LLMs) haben neue Möglichkeiten für das automatisierte Schreiben von Code eröffnet und sind zum Rückgrat der meisten Code-Vervollständigungswerkzeuge geworden. Während LLMs in gängigen Programmiersprachen hervorragende Leistungen erbringen, fehlt ihnen oft die Unterstützung für sogenannte ressourcenarme Sprachen (Low-Resource Languages), bei denen Trainingsdaten knapp sind. Dadurch hinken diese Sprachen in der Qualität der für ihre Communities verfügbaren Code-Vervollständigungswerkzeuge hinterher. Ein konkretes Beispiel ist Pharo, eine von Smalltalk inspirierte Sprache, deren IDE derzeit nur eine Ein-Token-Vervollständigung bietet. In dieser Arbeit berichten wir über unsere Erfahrungen bei der Einführung von LLM-basierter Code-Vervollständigung für Pharo. Zunächst beschreiben wir eine End-to-End-Pipeline, die eine Pharo-spezifische Datenaufbereitung, fortgesetztes Vortraining (Continued Pre-Training) und Feinabstimmung (Fine-Tuning) offener Code-LLMs kombiniert. Zweitens stellen wir eine Reihe von Pharo-Code-Vervollständigungs-Benchmarks vor, die darauf ausgelegt sind, zu bewerten, ob Modelle (i) die Syntax von Pharo erlernen und (ii) maskierten Pharo-Code aus realen GitHub-Repositorien präzise vervollständigen. Drittens zeigen wir empirisch, dass Pharo-spezialisierte Modelle ihre ursprünglichen Basis-Checkpoints deutlich übertreffen und auch die Genauigkeit wesentlich größerer Code-LLMs bei der Pharo-Vervollständigung übersteigen. Insgesamt demonstriert unsere Fallstudie die Machbarkeit, leistungsstarke LLM-basierte Code-Vervollständigung für ressourcenarme Programmiersprachen bereitzustellen – mit Modellen, die klein genug sind, um „Echtzeit“-Unterstützung innerhalb der IDE zu bieten.

Vortrainierte videogenerative Modelle sind vielversprechende Grundlagen für die visuomotorische Steuerung, jedoch weichen ihre imaginierten Zukünfte oft von der Aufgabenintention ab und sind nicht zuverlässig handlungsbedingt. Daher sind diese Modelle schwierig für die Planung oder Extraktion von Politiken zu verwenden. Um diese Einschränkungen zu adressieren, schlagen wir RoboTALES vor, ein einstufiges Framework, das aufgabenangepasste simulierte Zukünfte lernt und diese zum Trainieren von Roboterpolitiken nutzt. Unser Ansatz führt zwei zentrale Innovationen ein: (1) einen hierarchischen, auf LLM basierenden Planer, der komplexe Aufgaben in eine Sequenz von Teilzielen zerlegt, um die Imagination des Modells zu lenken; und (2) einen auf VLM basierenden Kritiker, der diese „imaginierten“ Zukünfte bewertet und mittels belohnungsbasierten Feedbacks die internen Repräsentationen des Modells auf das Ziel fokussiert hält. Durch die Verankerung des Videogenerators in abstrakten Schlussfolgerungen erzeugen wir zeitlich konsistente Rollouts und kohärentere Aktionen. Wir evaluieren RoboTALES an verschiedenen Manipulationsaufgaben aus RoboCasa und LIBERO10 und zeigen, dass unsere Methode durchgängig besser abschneidet als bestehende Verfahren, insbesondere bei langfristigen Aufgaben. Unser Code und unsere Modelle sind öffentlich verfügbar unter https://github.com/hananshafi/RoboTALES.

Pixelweise Erdbeobachtungs-(EO)-Grundlagenmodelle erzielen heute Spitzenleistungen mittels generierter räumlicher Einbettungen. Allerdings bleibt unzureichend verstanden, wie diese Modelle skalieren und wie ein Vortrainingsbudget optimal eingesetzt wird. Wir präsentieren die bisher umfangreichste kontrollierte Skalierungsstudie für EO: 395 Trainingsläufe auf 1.024 GH200-Superchips innerhalb einer festen pixelweisen Barlow-Twins-Familie, die jeweils an 15 nachgelagerten Aufgaben evaluiert werden. Wir stellen fest, dass der Vortrainingsverlust kaum die nachgelagerte Leistung vorhersagt (|Pearson r| < 0,2), sodass die Modellauswahl anhand des Verlusts einen großen Teil der Rechenleistung verschwendet. Wir finden außerdem, dass mit wachsendem Trainingsbudget der Encoder und die Daten gemeinsam wachsen sollten, während der Projektor fix bleibt – dies ergibt eine einfache Regel zur Zuteilung von Rechenressourcen. Unter Anwendung dieser Regel trainieren wir eine Familie pixelweiser Modelle (0,5B und 1B, ein 2B-Modell befindet sich im Training) und destillieren sie in kompakte Studenten für den Einsatz als Einbettungen-als-Daten. Der destillierte TESSERA v2-1B-M mit 21 Millionen Parametern übertrifft in der Gesamtbetrachtung alle getesteten offenen und proprietären Modelle, von denen einige um Größenordnungen größer sind. Diese Studenten erzeugen Matroschka-Repräsentationen, die kostengünstig bereitgestellt werden können: Ein 16-dimensionaler Präfix behält 92 % der vollen 128-dimensionalen Leistung bei 1/8 des Speicherplatzes. Nach Abschluss des Trainings planen wir die Veröffentlichung globaler v2-Einbettungen für den Zeitraum 2017–2025. Zusammenfassend liefern diese Ergebnisse ein konkretes, empirisch fundiertes Rezept für die Skalierung pixelweiser EO-Grundlagenmodelle: Große Encoder trainieren, anhand der nachgelagerten Leistung auswählen und in flexible Studentenmodelle destillieren. Der gesamte Code wird unter https://github.com/ucam-eo/tessera veröffentlicht.

Eine präzise Brustkrebsklassifikation mittels Mammographie erfordert die effektive Integration komplementärer Informationen aus craniocaudalen (CC) und mediolateral-obliguen (MLO) Aufnahmen, die eine vollständigere Charakterisierung von Brustanomalien ermöglichen. Bestehende Ansätze des Multi-View-Lernens basieren jedoch typischerweise auf einer Merkmalsebenenaggregation oder einer einstufigen Queraufmerksamkeit, was zu einer Vermischung von aufnahmespezifischen und gemeinsamen Repräsentationen führen und die Interaktion auf begrenzte Netzwerktiefen beschränken kann. Um diese Einschränkungen zu überwinden, schlagen wir ein token-zentrisches Dual-View-Lernframework vor, das eine promptbasierte Adaption und eine aufnahmeübergreifende Fusion innerhalb eines eingefrorenen Vision-Transformer-Backbones vereinheitlicht. Das Framework formuliert die Interaktion zwischen den Aufnahmen als strukturierte token-basierte Kommunikation um, bei der dedizierte Fusionstokens über Queraufmerksamkeit eine explizite bidirektionale Informationsübertragung zwischen CC- und MLO-Aufnahmen kodieren und als intermediate Träger der aufnahmeübergreifenden Abhängigkeiten fungieren, anstatt auf eine direkte Merkmalsfusion zurückzugreifen. Im Gegensatz zu herkömmlichen Methoden, die eine Fusion nur auf einer einzelnen Schicht anwenden, werden Fusionsmodule auf mehreren Transformer-Tiefen eingefügt, was eine progressive und wiederholte Interaktion über die Encoder-Hierarchie hinweg ermöglicht. Die Fusionstokens werden wieder in die Token-Sequenz integriert und durch nachfolgende Transformerschichten verfeinert, was eine hierarchische Propagation komplementärer Informationen fördert, während die aufnahmespezifische Struktur erhalten bleibt. Experimente auf den Datensätzen VinDr-Mammo und CMMD zeigen konsistente Verbesserungen gegenüber linearem Probing, reiner Prompt-Adaption und herkömmlichen Fusions-Baselines. In der BI-RADS-Klassifikationsaufgabe auf VinDr-Mammo erreicht das Framework einen F1-Score von 50,40 % und einen AUC von 0,8090, darunter eine AUC-Verbesserung um 0,10 gegenüber einer Dual-View-Fusions-Baseline im binären Setting. Ablationsstudien bestätigen zudem die Wirksamkeit der token-basierten Fusion und des Multi-Tiefen-Interaktionsdesigns.

Die Berührungssensorik liefert die physikalische Grundlage, die für die Wahrnehmung intrinsischer Materialeigenschaften wie Reibung und Nachgiebigkeit erforderlich ist – Eigenschaften, die die reine Bildverarbeitung oft nicht auflösen kann. Jüngste Versuche, multimodale LLMs mit diesem Tastsinn auszustatten, offenbaren jedoch einen Nullsummen-Kompromiss: Das begrenzte Parameterbudget kompakter Modelle erzwingt eine Entscheidung zwischen der Aufnahme der neuen sensorischen Modalität und dem Erhalt der bestehenden visuell-sprachlichen Argumentationsfähigkeit. Wir stellen Splash vor, ein maskenisoliertes Lernframework zur taktilen Ausrichtung für MLLMs. Splash quantifiziert die Bedeutung jedes vortrainierten Parameters und unterteilt den Parameterraum in einen ruhenden und einen kritischen Unterraum. Während der eingefrorene kritische Unterraum als stabiler Anker dient, um allgemeines visuelles Wissen zu schützen, aktualisiert Splash den isolierten ruhenden Unterraum, um die taktile Ausrichtung an LLMs zu verinnerlichen. Diese selektive, nicht destruktive Erweiterung verhindert effektiv katastrophales Vergessen und gewährleistet eine nicht destruktive Modalitätserweiterung. Umfangreiche Experimente zeigen, dass Splash taktiles Denken ohne zusätzlichen Inferenzaufwand im LLM-Teil effektiv erreicht und auf visuotaktilen Benchmarks wie SSVTP, TVL und TacQuad eine Spitzenleistung erzielt, während die ursprünglichen allgemeinen Fähigkeiten erhalten bleiben.

Langfristige Fehlentwicklungen in Weltmodellen werden konventionell auf sich akkumulierende Fehler zurückgeführt – eine allgemeine Rahmung, die nicht unterscheidet, welche Art von Fehler sich akkumuliert. Wir schlagen eine kinematisch-dynamische Umdeutung vor: Weltmodelle neigen dazu, kinematisch statt dynamisch zu imaginieren. Wir operationalisieren dies als den imaginierten Kinematischen-Konsistenz-Fehler (iKCE), einen schrittweisen Diagnosewert, der misst, wie weit ein Rollout von einer kinematischen Null in geschlossener Form abweicht, gekoppelt mit einem Störungsprotokoll, das testet, ob iKCE reagiert, wenn physikalische Bedingungen eine Regimegrenze überschreiten. Wir instanziieren die Diagnose auf einem veröffentlichten DreamerV3-Checkpoint, trainiert auf DMC walker-walk, wobei der imaginierte iKCE etwa zwei Größenordnungen über dem entsprechenden real-physikalischen Rollouts liegt. Über einen Reibungsdurchlauf, der die Grenze des Gang-Kollapses überschreitet, bleibt der iKCE des Modells statistisch flach, selbst wenn die Belohnung der trainierten Policy über denselben Bereich hinweg zusammenbricht – dies liefert die kinematisch-nicht-dynamische Signatur. Die Diagnose unterscheidet kinematische von dynamischer Imagination bei Horizonten, die länger sind als die Gangperiode des Embodiments.