Dagelijks geselecteerde AI onderzoekspapers met vertalingen
Structuur-eigenschaprelaties zijn fundamenteel voor biologie, scheikunde en materiaalkunde, waar functie, reactiviteit en fysieke respons voortkomen uit ruimtelijke, chemische en periodieke organisatie. Het mechanistisch verklaren van deze relaties vereist het interpreteren van structureel bewijs via wetenschappelijke principes en fysieke beperkingen, van stereochemie en binding tot symmetrie, energetica en periodieke ordening. Het toepassen van kunstmatige intelligentie op dit proces vormt echter een gezamenlijke uitdaging van representatie en redenering: modellen moeten domeineigen structurele informatie behouden en tegelijkertijd laten zien hoe specifiek bewijs onder deze beperkingen voorspellingen ondersteunt. Hier introduceren we SciReasoner, een multimodaal wetenschappelijk fundamentmodel voor native structureel redeneren over eiwitten, kleine moleculen en anorganische kristallen. SciReasoner discretiseert coördinaten, topologieën en periodieke verbindingen in een uniform, structuurbewust vocabulaire, waarbij structurele tokens worden behandeld als adresseerbare bewijseenheden tijdens het redeneren. In homologiegecontroleerde Gene Ontology-voorspelling verbetert SciReasoner de annotatie van Cellulaire Component voor eiwitten met lage homologie en weesachtige eiwitten, waarbij de F_max stijgt van 0,42 naar 0,55. In de chemie verhoogt het de nauwkeurigheid van eenstapsretrosynthese van 0,63 naar 0,72, terwijl het fragmentniveau-ontkoppelings- en precursorverificatiesporen genereert. In de materiaalkunde scheiden zijn representaties elementaire en verbindingsfasen en lossen ze hoge- en lage-bandafstandregimes op. Over 86 benchmarks heen bereikt SciReasoner state-of-the-art prestaties op 67 taken. Dubbeleblinde expertevaluatie beoordeelt zijn redeneersporen als preferent of ten minste vergelijkbaar met die van een geavanceerd groot taalmodel in 98% van de gevallen. Door structuur een inspecteerbaar substraat te maken voor redeneren onder wetenschappelijke beperkingen, verbindt SciReasoner nauwkeurige voorspelling met interpreteerbare wetenschappelijke inferentie.
Mainstream Vision-Language-Action (VLA)-modellen voorspellen acties voornamelijk op basis van de huidige observatie onder een Markov-aanname, waardoor ze moeite hebben met langdurige, temporeel afhankelijke taken. Bestaande geheugengeaugmenteerde VLA's vergroten ofwel het observatievenster of halen geschiedenis op uit het geheugenbank als hulpcontext aan de beleidszijde. Ze laten het geheugen echter buiten de eigenlijke latente inbeddingsruimte van VLA-redenering, waardoor historische ervaring niet vloeiend kan worden verweven met multimodale redenering en actievorming. Daartoe introduceren we LaMem-VLA, een latent-geheugen-native raamwerk dat historische ervaring reconstrueert in latente geheugentokens en deze direct verweeft met VLA-redenering. De kern van LaMem-VLA bestaat uit vier gecoördineerde componenten: (i) een curator die historische ervaring organiseert in twee complementaire korte- en langetermijngeheugenkluizen; (ii) een zoeker die beide kluizen bevraagt met behulp van de multimodale cognitie om contextrelevante bewijzen op te halen; (iii) een condensor die de opgehaalde bewijzen reconstrueert in compacte korte- en langetermijn latente geheugentokens; en (iv) een wever die deze geheugentokens samen met de huidige observatie en instructie in één continue inbeddingsreeks injecteert. Door historische ervaring volledig in dezelfde continue latente ruimte te representeren, op te halen en te consumeren, stelt LaMem-VLA het geheugen in staat om direct deel te nemen aan VLA-redenering en actiegeneratie te sturen onder een begrensde context. Uitgebreide experimenten op SimplerEnv en LIBERO tonen de superioriteit van onze LaMem-VLA aan.
Ondanks de recente belofte in robotbesturing, hebben videogeneratieve modellen te lijden onder een domeinmismatch vanwege hun primaire focus op contentcreatie. Zo geeft hun ontwerp inherent voorrang aan visuele getrouwheid en creativiteit boven computationele efficiëntie en fysiek realisme. In dit werk presenteren we LingBot-Video, een op DiT gebaseerd videovoor trainingsparadigma dat specifiek is afgestemd op belichaamde intelligentie. Vanuit architectuurperspectief hanteren we het Mixture-of-Experts (MoE)-raamwerk in plaats van een dicht raamwerk om een betere afweging te bereiken tussen modelleercapaciteit en inferentie-efficiëntie, en we weten het vanaf nul op te schalen. Vanuit dataperspectief bouwen we een dataprofileringsengine die standaard internetvideo's uitbreidt met uitgebreid robotgericht beeldmateriaal, waaronder manipulatie, navigatie en egocentrische perspectieven, om het basismodel een intrinsiek begrip van acties en werelddynamiek te geven. Vanuit trainingsperspectief ontwikkelen we een multidimensionaal beloningssysteem om de afstemming op fysieke rationaliteit en taakvoltooiing af te dwingen, verdergaand dan standaardcriteria zoals esthetiek, promptvolging en bewegingsconsistentie. Uitgebreide evaluaties bevestigen de prestaties en efficiëntie ervan als videofoundationmodel. We dragen LingBot-Video bij aan de gemeenschap als het eerste grootschalige, open-source MoE-videofoundationmodel, in een baanbrekende poging om digitale creativiteit en fysieke actuatie te overbruggen.
We present LingBot-World 2.0 (also known as LingBot-World-Infinity), an advanced iteration of LingBot-World featuring four distinct upgrades. (1) Our model achieves an unbounded interaction horizon while maintaining consistent output quality, benefiting from a carefully crafted causal pretraining paradigm. (2) Through distilling a real-time variant from the base model, our system guarantees rapid response time, sufficient to drive 720p video streams at 60 fps. (3) Compared to the previous version, this update introduces highly diverse interactive elements, comprising a broader spectrum of actions (e.g., attacking, archery, spell-casting, and shooting) alongside a richer variety of text-driven events. (4) We pioneer the integration of an agentic harness within the domain of world modeling, wherein a pilot agent is tasked with planning and executing character behaviors, while a director agent is responsible for synthesizing novel environmental elements as the scene progresses. Additionally, to facilitate a shared experience, we develop an interface that permits multiple players to simultaneously immerse themselves in this vivid world simulator. We pair our primary 14B model with a lightweight 1.3B counterpart, which supports effortless deployment on a single GPU.
Generalistische robotmanipulatiebeleid heeft zich snel ontwikkeld, maar bestaande benchmarks blijven beperkt in het systematisch evalueren van hun mogelijkheden. Velen vertrouwen op eenvoudige, kortetermijn- of vaardigheidsbeperkte taken met een beperkte dekkingsgraad van capaciteiten, en worden vaak alleen in simulatie of alleen in de echte wereld uitgevoerd. Simulatie maakt schaalbare feedback mogelijk, maar mist fysieke implementatie-uitdagingen, terwijl evaluatie in de echte wereld kostbaar, tijdrovend en moeilijk te reproduceren is. We introduceren RoboDojo, een uniforme sim-en-real benchmark voor uitgebreide evaluatie van generalistisch robotmanipulatiebeleid. RoboDojo omvat 42 simulatietaken en 18 taken in de echte wereld die diverse en complementaire manipulatiecapaciteiten bestrijken. De simulatiebenchmark evalueert vijf dimensies: generalisatie, geheugen, precisie, uitvoering over een lange horizon en het volgen van open-vocabulaire instructies, terwijl de benchmark in de echte wereld beleid blootstelt aan uitdagende fysieke implementatieomstandigheden. RoboDojo ondersteunt schaalbare evaluatie via heterogene parallelle simulatie in Isaac Sim en biedt RoboDojo-RealEval, een reproduceerbaar evaluatiesysteem in de echte wereld met externe cloudtoegang, gestandaardiseerde hardware, scènereset, evaluatieprotocol en implementatie-interface. Samen met XPolicyLab kan beleid eenmalig worden geïntegreerd en geëvalueerd in zowel simulatie- als echte-wereldinstellingen met minimale aanpassingen. We integreren 30 beleidslijnen in XPolicyLab en evalueren ze op RoboDojo, wat leidt tot een openbaar klassement en een systematische analyse van de huidige beleidsprestaties. De website is beschikbaar op http://robodojo-benchmark.com/.
Reinforcement learning (RL) wordt steeds belangrijker voor het post-trainen van grote taalmodellen (LLMs). Eerdere RL-pijplijnen voor LLMs waren meestal synchroon en batch-interleaved, wat inefficiënt is voor langdurige agentische taken. Recentelijk is asynchrone RL naar voren gekomen als een efficiënter alternatief, door het model bij te werken zodra rollouts arriveren. Bestaande asynchrone RL-systemen leggen echter vaak de nadruk op doorvoer, terwijl trainingsstabiliteit en taakeffectiviteit grotendeels onderbelicht blijven. Een belangrijke uitdaging is bijvoorbeeld dat groepsgewijze sampling in het veelgebruikte GRPO-framework niet van nature past bij asynchrone agentische training. In dit artikel presenteren we Single-rollout Asynchronous Optimization (SAO) om de stabiliteits- en off-policy-uitdagingen in asynchrone RL aan te pakken. Om off-policy-effecten te verminderen en generalisatie te verbeteren, vervangen we groepsgewijze sampling door single-rollout-sampling, dat wil zeggen het gebruik van één rollout per prompt. We verbeteren deze single-rollout-strategie verder met praktische ontwerpen voor het trainen van waardenmodellen. Om de optimalisatiestabiliteit te verbeteren, introduceren we een strikte dubbelzijdige token-niveau clipping-strategie. SAO kan stabiel training gedurende duizend stappen en presteert consistent beter dan GRPO en zijn varianten op agentische codeer- en redeneerbenchmarks, zoals SWE-Bench Verified, BeyondAIME en IMOAnswerBench. We tonen ook aan dat single-rollout RL bijzonder effectief is in een gesimuleerde online leeromgeving, waar het model zich moet aanpassen aan veranderende omgevingen. Daartoe wordt SAO succesvol ingezet in de agentische RL-pijplijn voor het trainen van het open GLM-5.2-model (750B-A40B).
Belichaamde agenten worden doorgaans gebouwd als handmatig ontworpen composities van perceptie-, geheugen-, plannings- en actiemodules. Deze modulariteit biedt een grote ontwerpruimte voor architecturen, maar huidige systemen vertrouwen nog steeds op de intuïtie van onderzoekers om te bepalen waar informatie wordt opgeslagen, hoe waarnemingen worden verwerkt en hoe modelaanroepen worden verbonden. Agent Architecture Search (AAS) automatiseert dergelijk ontwerp voor agenten in het tekstdomein, maar is niet systematisch geëvalueerd op perceptuele belichaamde agenten via simulatoruitvoeringen. Wij bestuderen deze overdracht. We introduceren AgentCanvas, een getypeerde-grafruntime die belichaamde uitvoerders host als bewerkbare knooppunt-en-verbindingsprogramma's met simulatorbewuste uitvoering en logs op afleveringsniveau, en KDLoop, een codeeragent-zoekprocedure die door voorstel, kritiek, experiment en distillatie cyclet, met geactiveerde reflectie na stilvallen. We evalueren drie AAS-varianten over vier belichaamde uitvoerders die visie-taalnavigatie, belichaamde vraagbeantwoording en taalgestuurde manipulatie bestrijken. De resulterende 3x4-matrix toont aan dat zoeken op architectuurniveau inzetbare en directionele winst in slagingspercentage kan opleveren voor belichaamde taken, terwijl één ogenschijnlijk hoog scorende kandidaat wordt afgewezen als lekkage vertonend. Tegelijkertijd brengen de experimenten beperkingen aan het licht die in AAS in het tekstdomein worden gedempt: optimalisatiesignalen kunnen worden gemaskeerd door uitvoeringsruis, zoeken kan vastlopen in lokale bewerkingsbassins, en krediettoewijzing op afleveringsniveau komt slechts gedeeltelijk tot stand, zelfs wanneer gedetailleerde logs beschikbaar zijn. Deze resultaten karakteriseren zowel de belofte als de huidige grenzen van geautomatiseerd architectuur zoeken voor belichaamde agenten.
Lineaire aandachtsmodellen maken een vaste toestandsgrootte en een vaste hoeveelheid rekenwerk per token mogelijk. Door hun beperkte toestandsgrootte presteren lineaire aandachtsmodellen echter slechter bij het oproepen van lange contexten dan op softmax-aandacht gebaseerde transformatorarchitecturen. Het vergroten van de toestandsgrootte van lineaire aandacht verbetert de herinneringsprestaties, maar ten koste van hogere FLOPs. In dit werk introduceren we Sparse Delta Memory (SDM), een architectuur die de verborgen toestand van gegate lineaire RNN's opschaalt naar een orde van grootte hogere capaciteit met behulp van een schaars adresseringsschema. SDM breidt de Gated DeltaNet-architectuur uit door het dichte sleutel-waarde buitenproduct te vervangen door schaarse lees- en schrijfbewerkingen naar een groot expliciet geheugen. We tonen aan dat, onder een isoFLOP-beperking en met een identiek aantal parameters, een hogere geheugentoestandcapaciteit de prestaties op in-context leren en taken voor het ophalen van lange contexten aanzienlijk verbetert. Bovendien, door de begintoestand van het SDM-geheugen te leren en het dus als parametrisch geheugen te gebruiken, laten we zien dat het model verder verbetert op een breed scala aan algemene kennis- en redeneertaken.
Wij presenteren AgentLens, een productie-geëvalueerde benchmark voor interactieve code-agenten. De meeste benchmarks voor code-agenten reduceren een uitvoering tot een enkele bit — is de taak geslaagd? — maar de mensen die deze agenten daadwerkelijk gebruiken ervaren het gehele traject: hoe de agent instructies opvolgt, zijn tools gebruikt, zijn eigen werk verifieert, herstelt van fouten, en onderweg met hen communiceert. AgentLens evalueert dat volledige traject. Het combineert formele verificatie, waarbij een objectieve controle bestaat, met door LLM geschreven trajectbeoordelingen en zij-aan-zij-vergelijkingen, zodat elke uitvoering een leesbare verklaring oplevert van waarom de score is wat die is. Dit maakt AgentLens nuttig voor meer dan alleen het rangschikken van modellen: we gebruiken het om modelgedrag te diagnosticeren, opeenvolgende versies van onze eigen agent te vergelijken, en productregressies op te sporen in een nachtelijke evaluatiepijplijn. We publiceren de benchmark als open source op https://github.com/agent-lens/agent-lens-bench.
Mensen kunnen door een onbekende stad navigeren en geleidelijk een coherente mentale ruimtekaart vormen die tientallen vierkante kilometers beslaat. Kan AI ruimtelijke representaties op een vergelijkbare schaal bouwen? Hoewel recente funderingsmodellen vooruitgang hebben geboekt in scènereconstructie en belichaamde intelligentie, blijft het opschalen naar hele steden een open uitdaging, voornamelijk vanwege het gebrek aan data op stadsniveau. Om deze kloof te overbruggen, introduceren we WildCity, een real-world multimodale dataset verzameld door autonome wagenparken die complexe stedelijke omgevingen doorkruisen. Onze dataset bevat 18 trajecten, elk gemiddeld 83,7 kilometer lang, en behoudt de kernuitdagingen van perceptie in het wild, zoals dynamische objecten, lichtvariaties en imperfecte cameraposities. We stellen verder een op de stad afgestemde reconstructie-baseline op en zetten de gereconstrueerde omgevingen om in een closed-loop simulator. Naast de dataset en baseline analyseren we systematisch de belangrijkste uitdagingen op weg naar simulatieklare stedelijke digitale tweelingen: schaalbaarheid, extrapolatie en onzekerheid. Uiteindelijk beoogt WildCity vooruitgang te katalyseren, niet alleen in rendering op stadsschaal, maar breder in het streven naar AI die ruimte kan waarnemen, onthouden en redeneren op een schaal die vergelijkbaar is met menselijke cognitie. Projectpagina: https://han-xiangyu.github.io/Wild-City/
Visuele beleidsregels geleerd uit menselijke video's, teleoperatie en robotdemonstraties bieden schaalbare bewegingspriors, maar falen vaak in contactrijke manipulatie, waar succes aanzienlijk afhangt van lokale kracht en contactgeometrie. Tactiele waarneming biedt deze complementaire signalen, maar tactiele data blijven duur om te verzamelen en moeilijk te generaliseren over sensoren, robots en taken. We introduceren OmniTacTune, een beleidsagnostische real-world RL-pijplijn die tactiele feedback aanpast aan voorgetrainde visuele beleidsregels via residuele correctie. OmniTacTune gebruikt een tweefasig ontwerp: het bootst eerst tactiel bewust leren op basis van autonome basisbeleidsuitrols, en leert vervolgens een lichtgewicht tactiel residueel beleid via online interactie. Uitgebreide experimenten tonen aan dat OmniTacTune generaliseert over diverse contactrijke taken, visuele basisbeleidsregels en tactiele representaties. Bij vier real-world contactrijke taken verbetert het visuele basisbeleidsregels van 5-40% succes naar 85-100% binnen 40-80 minuten, wat een efficiënt pad demonstreert voor het aanpassen van tactiele feedback aan schaalbare visuele robotbeleidsregels. Projectpagina: https://colinyu1.github.io/omnitactune-site/
Large Language Models (LLM's) hebben nieuwe mogelijkheden geopend in geautomatiseerd code schrijven en zijn de ruggengraat geworden van de meeste code-aanvullingstools. Hoewel LLM's uitblinken in mainstream talen, bieden ze vaak geen ondersteuning voor de zogenaamde laag-resource talen waar trainingsdata schaars is. Als gevolg hiervan blijven deze talen achter in de kwaliteit van code-aanvullingstools die beschikbaar zijn voor hun gemeenschappen. Een concreet voorbeeld is Pharo, een door Smalltalk geïnspireerde taal waarvan de IDE momenteel alleen enkele-token aanvulling biedt. In dit werk rapporteren we over onze ervaring met het brengen van LLM-gebaseerde code-aanvulling naar Pharo. Ten eerste beschrijven we een end-to-end pipeline die Pharo-specifieke data curatie combineert met voortgezette pre-training en fine-tuning van open code LLM's. Ten tweede introduceren we een reeks Pharo code-aanvullingsbenchmarks die zijn ontworpen om te evalueren of modellen (i) de syntax van Pharo leren en (ii) nauwkeurig gemaskeerde Pharo-code uit echte GitHub-repositories aanvullen. Ten derde tonen we empirisch aan dat Pharo-gespecialiseerde modellen aanzienlijk beter presteren dan hun oorspronkelijke basis-checkpoints en ook de nauwkeurigheid van aanzienlijk grotere code-LLM's overtreffen bij Pharo-aanvulling. Over het algemeen toont onze casestudy de haalbaarheid aan van het brengen van sterke LLM-gebaseerde code-aanvulling naar laag-resource programmeertalen, met modellen die klein genoeg zijn om 'real-time' ondersteuning in de IDE te bieden.
Voorgetrainde videogeneratieve modellen zijn veelbelovende basismodellen voor visuomotorische controle, maar hun voorgestelde toekomsten wijken vaak af van de taakintentie en zijn niet betrouwbaar actie-afhankelijk. Hierdoor zijn deze modellen moeilijk te gebruiken voor planning of beleidsextractie. Om deze beperkingen aan te pakken, introduceren we RoboTALES, een eenfasig raamwerk dat taakafgestemde gesimuleerde toekomsten leert en deze gebruikt om robotbeleid te trainen. Onze aanpak introduceert twee belangrijke innovaties: (1) een hiërarchische op LLM gebaseerde planner die complexe taken opsplitst in een reeks subdoelen om de verbeelding van het model te sturen; en (2) een op VLM gebaseerde criticus die deze 'voorgestelde' toekomsten evalueert en op beloning gebaseerde feedback gebruikt om de interne representaties van het model gefocust te houden op het doel. Door de videogenerator te verankeren in abstract redeneren, produceren we temporeel consistente uitrol en meer coherente acties. We evalueren RoboTALES op diverse manipulatie taken uit RoboCasa en LIBERO10, en tonen aan dat onze methode consequent beter presteert dan bestaande methoden, met name bij taken met een lange horizon. Onze code en modellen zijn openbaar beschikbaar op https://github.com/hananshafi/RoboTALES.
Pixelgewijze aardobservatie (AO) funderingsmodellen behalen nu state-of-the-art prestaties via gegenereerde ruimtelijke embeddings. Hoe deze modellen schalen en hoe een pre-trainingsbudget het beste kan worden besteed, is echter nog slecht begrepen. Wij presenteren de grootste gecontroleerde schalingsstudie voor AO tot nu toe: 395 trainingsruns op 1.024 GH200 superchips binnen een vaste pixelgewijze Barlow Twins-familie, elk geëvalueerd op 15 downstream taken. We vinden dat het pre-trainingsverlies nauwelijks de downstream prestaties voorspelt (|Pearson r| < 0,2), dus het selecteren van modellen op basis van verlies verspilt een groot deel van de rekenkracht. We vinden ook dat naarmate het trainingsbudget groeit, de encoder en de data samen moeten groeien terwijl de projector vast blijft, wat een eenvoudige regel geeft voor het toewijzen van rekenkracht. Met behulp van deze regel trainen we een familie van pixelgewijze modellen (0,5B en 1B, met een 2B model in training) en destilleren we ze tot compacte studentmodellen voor implementatie van embeddings-als-data. Het gedistilleerde TESSERA v2-1B-M met 21 miljoen parameters presteert in totaal beter dan alle geteste open en propriëtaire modellen, waarvan sommige orden van grootte groter zijn. Deze studentmodellen produceren Matryoshka-representaties die goedkoop te bedienen zijn: een 16-dimensionaal prefix behoudt 92% van de volledige 128-dimensionale prestatie bij 1/8 van de opslag. Na voltooiing van de training zijn we van plan om v2 globale embeddings uit te brengen die 2017-2025 bestrijken. Samen geven deze resultaten een concreet, empirisch onderbouwd recept voor het schalen van pixelgewijze AO-funderingsmodellen: train grote encoders, selecteer op basis van downstream prestaties en destilleer tot flexibele studentmodellen. Alle code wordt vrijgegeven op https://github.com/ucam-eo/tessera.
Nauwkeurige classificatie van borstkanker op basis van mammografie vereist een effectieve integratie van complementaire informatie uit craniocaudale (CC) en mediolaterale schuine (MLO) opnamen, die een vollediger karakterisering van borstafwijkingen mogelijk maken. Bestaande multiview-leerbenaderingen zijn echter doorgaans gebaseerd op aggregatie op kenmerkniveau of cross-attentie in één enkele fase, wat kan leiden tot verstrengeling van viewspecifieke en gedeelde representaties en de interactie kan beperken tot een beperkt aantal netwerkdiepten. Om deze beperkingen aan te pakken, stellen wij een token-gecentreerd dual-view-leerkader voor dat prompt-gebaseerde aanpassing en cross-view-fusie combineert binnen een bevroren vision-transformer-backbone. Het kader herformuleert interactie tussen views als gestructureerde tokencommunicatie, waarbij speciale fusietokens expliciet bidirectionele informatie-uitwisseling tussen CC- en MLO-opnamen coderen via cross-attentie, en dienen als intermediaire dragers van cross-view-afhankelijkheden in plaats van te vertrouwen op directe kenmerkfusie. In tegenstelling tot conventionele methoden die fusie op één enkele laag toepassen, worden fusiemodules op meerdere transformerdiepten ingevoegd, waardoor progressieve en herhaalde interactie door de encoderhiërarchie mogelijk wordt. Fusietokens worden opnieuw geïntegreerd in de tokenreeks en verfijnd door volgende transformerlagen, wat hiërarchische voortplanting van complementaire informatie bevordert met behoud van de viewspecifieke structuur. Experimenten op de datasets VinDr-Mammo en CMMD tonen consistente verbeteringen aan ten opzichte van lineaire probing, alleen prompt-aanpassing en conventionele fusie-baselines. Op de VinDr-Mammo BI-RADS-classificatietaak behaalt het kader een F1-score van 50,40% en een AUC van 0,8090, waaronder een AUC-verbetering van 0,10 ten opzichte van een dual-view-fusie-baseline in de binaire setting. Ablatiestudies bevestigen verder de effectiviteit van token-gebaseerde fusie en het interactieontwerp met meerdere diepten.
Tast levert de fysieke basis die nodig is om intrinsieke materiaaleigenschappen, zoals wrijving en compliantie, waar te nemen, die het zicht alleen vaak niet kan oplossen. Recente pogingen om multimodale LLM's met deze tastzin uit te rusten, leggen echter een nulsom-afweging bloot: het beperkte parameterbudget van compacte modellen dwingt tot een keuze tussen het verwerven van de nieuwe sensorische modaliteit en het behouden van de gevestigde visueel-talige redenering. Wij presenteren Splash, een masker-geïsoleerd leerframework voor tactiele afstemming voor MLLM's. Splash kwantificeert het belang van elke voorgetrainde parameter en verdeelt de parameterruimte in een slapende en een kritieke deelruimte. Terwijl de bevroren kritieke deelruimte fungeert als een stabiel anker om algemene visuele kennis te beschermen, werkt Splash de geïsoleerde slapende deelruimte bij om tactiele afstemming naar LLM's te internaliseren. Deze selectieve, niet-destructieve uitbreiding voorkomt effectief catastrofale vergetelheid en zorgt voor niet-destructieve modaliteitsuitbreiding. Uitgebreide experimenten tonen aan dat Splash effectief tactiele redenering bereikt zonder extra inferentie-overhead in het LLM-gedeelte, en presteert state-of-the-art op visueel-tactiele benchmarks, waaronder SSVTP, TVL en TacQuad, terwijl de oorspronkelijke algemene capaciteiten behouden blijven.
Het falen op lange termijn in wereldmodellen wordt conventioneel toegeschreven aan cumulatieve fouten, een algemene formulering die geen onderscheid maakt tussen welke soort fout cumuleert. Wij stellen een herformulering voor op basis van kinematisch versus dynamisch: wereldmodellen hebben de neiging om kinematisch voor te stellen in plaats van dynamisch. We operationaliseren dit als de voorgestelde Kinematische-Consistentiefout (imagined Kinematic-Consistency Error, iKCE), een per-stap diagnostiek die meet in hoeverre een rollout afwijkt van een kinematische nulmeting in gesloten vorm, gekoppeld aan een perturbatieprotocol dat test of iKCE reageert wanneer fysische omstandigheden een regimegrens overschrijden. We implementeren de diagnostiek op een vrijgegeven DreamerV3-checkpoint getraind op DMC walker-walk, waar de voorgestelde iKCE ruwweg twee ordes van grootte hoger ligt dan die van overeenkomstige rollouts met echte fysica. Bij een wrijvingsscan die de grens van ganginstorting overschrijdt, blijft de iKCE van het model statistisch vlak, zelfs terwijl de beloning van het getrainde beleid in hetzelfde bereik instort, wat de kinematische-niet-dynamische handtekening oplevert. De diagnostiek onderscheidt kinematische van dynamische voorstelling op termijnen langer dan de gangperiode van het belichaamde systeem.