Dagelijkse Papers

We presenteren Qwen-Image-2.0, een universeel capabel beeldgeneratie-fundamentmodel dat high-fidelity-generatie en nauwkeurige beeldbewerking binnen één enkel raamwerk verenigt. Ondanks recente vooruitgang hebben bestaande modellen nog steeds moeite met ultra-lange tekstweergave, meertalige typografie, hoge-resolutie fotorealisme, robuuste instructie-opvolging en efficiënte implementatie, met name in tekstrijke en compositorisch complexe scenario’s. Qwen-Image-2.0 pakt deze uitdagingen aan door Qwen3-VL als de conditie-encoder te koppelen aan een Multimodale Diffusie-Transformer voor gezamenlijke conditie-doelmodellering, ondersteund door grootschalige datacuratie en een aangepaste meerfasige trainingspijplijn. Dit maakt sterke multimodale begrip mogelijk, terwijl flexibele generatie- en bewerkingscapaciteiten behouden blijven. Het model ondersteunt instructies van maximaal 1K tokens voor het genereren van tekstrijke inhoud zoals dia's, posters, infographics en strips, terwijl de meertalige tekstgetrouwheid en typografie aanzienlijk worden verbeterd. Het verbetert ook fotorealistische generatie met rijkere details, realistischere texturen en coherente belichting, en volgt complexe prompts betrouwbaarder in diverse stijlen. Uitgebreide menselijke evaluaties tonen aan dat Qwen-Image-2.0 aanzienlijk beter presteert dan eerdere Qwen-Image-modellen, zowel bij generatie als bij bewerking, wat een stap markeert naar meer algemene, betrouwbare en praktische beeldgeneratie-fundamentmodellen.

Na de recente prestatie van geavanceerde LLM's waarbij ze goudmedailleprestaties op de IMO behaalden, is de gemeenschap op zoek naar de volgende betekenisvolle en uitdagende doelstelling voor het meten van het redeneervermogen van LLM's. Terwijl olympiade-achtige problemen alleen stapsgewijze redenering meten, gebruiken problemen op onderzoeksniveau dergelijke redenering om de grens van wiskundige kennis zelf te verleggen, wat een aantrekkelijk alternatief biedt. Toch blijven benchmarks voor wiskunde op onderzoeksniveau schaars, omdat dergelijke problemen moeilijk te verkrijgen zijn (bijv. Riemann Bench en FrontierMath-Tier 4 bevatten respectievelijk 25 en 50 problemen). Om een betrouwbare evaluatie van de volgende generatie geavanceerde modellen te ondersteunen, introduceren we Soohak, een benchmark van 439 problemen die opnieuw vanaf de basis is opgesteld door 64 wiskundigen. Soohak bestaat uit twee deelverzamelingen. Op de Challenge-deelverzameling bereiken geavanceerde modellen zoals Gemini-3-Pro, GPT-5 en Claude-Opus-4.5 respectievelijk 30,4%, 26,4% en 10,4%, wat aanzienlijke ruimte voor verbetering overlaat, terwijl toonaangevende modellen met open gewichten zoals Qwen3-235B, GPT-OSS-120B en Kimi-2.5 onder de 15% blijven. Opmerkelijk is dat Soohak, naast standaard probleemoplossing, een weigeringsdeelverzameling introduceert die een vaardigheid onderzoekt die inherent is aan onderzoekswiskunde: het herkennen van slecht gestelde problemen en stoppen in plaats van zelfverzekerde maar ongefundeerde antwoorden geven. Op deze deelverzameling overschrijdt geen enkel model de 50%, wat weigering identificeert als een nieuw optimalisatiedoel waar huidige modellen niet direct op inspelen. Om contaminatie te voorkomen, wordt de dataset eind 2026 openbaar gemaakt, met tussentijds op verzoek beschikbare modelevaluaties.

Recente 'Thinking with Video'-benaderingen maken gebruik van Videogeneratiemodellen (VGM's) voor visueel redeneren door temporeel coherente ketens van frames te produceren als redeneerartefacten. Zelfs sterke VGM's vertonen echter twee terugkerende faalwijzen bij doelgerichte taken: drift over lange termijn bij meerstapstaken en cumulatieve simulatie-errors halverwege clips. Beide komen voort uit het ontbreken van expliciet redeneren dat is gebaseerd op de korte-termijn visuele voorkennis van de VGM, een rol die van nature wordt vervuld door Visueel-Taalkundige Modellen (VLM's). Maar waar de VLM te plaatsen is niet triviaal: voorafgaande plannen verbinden voordat enig frame is gegenereerd, en nabeschouwingen over hele video's grijpen te laat in. Wij stellen VLM-VGM Collaboratief Video Redeneren (CollabVR) voor, een gesloten-lus raamwerk dat de VLM koppelt aan de VGM op stapsgewijze granulariteit: de VLM plant de direct volgende actie, inspecteert de clip die de VGM genereert, en integreert de diagnose van de verificateur rechtstreeks in de volgende actieprompt om gedetecteerde fouten te herstellen. Op Gen-ViRe en VBVR-Bench verbetert CollabVR zowel open-source als closed-source VGM's ten opzichte van enkelvoudige inferentie, Pass@k, en eerdere test-time scaling-baselines bij gelijke rekenkracht, met de grootste winst op de moeilijkste taken. Het levert ook verdere verbeteringen op bovenop een voor redeneren fijn afgestelde VGM, wat aangeeft dat stapsgewijze VLM-supervisie orthogonaal is aan en stapelbaar met redeneringsgerichte fijnafstemming. We bieden videovoorbeelden en aanvullende kwalitatieve resultaten op onze projectpagina: https://joow0n-kim.github.io/collabvr-project-page.

Testtijd-schaling is een effectief paradigma geworden voor het verbeteren van het redeneervermogen van grote taalmodellen door tijdens inferentie extra rekenkracht toe te wijzen. Recente gestructureerde benaderingen hebben dit paradigma verder uitgebreid door inferentie te organiseren over meerdere trajecten, verfijningsrondes en verificatie-gebaseerde feedback. Bestaande gestructureerde testtijd-schalingsmethoden coördineren parallelle redeneertrajecten echter slechts zwak of vertrouwen op ruizige historische informatie zonder expliciet te beslissen wat moet worden behouden en hergebruikt, wat hun vermogen om exploratie en exploitatie in evenwicht te brengen beperkt. In dit werk stellen we TMAS voor, een raamwerk voor het schalen van testtijd-rekenkracht via multi-agent synergie. TMAS organiseert inferentie als een collaboratief proces tussen gespecialiseerde agenten, waardoor gestructureerde informatiestroom mogelijk wordt tussen agenten, trajecten en verfijningsiteraties. Om effectieve samenwerking over trajecten heen te ondersteunen, introduceert TMAS hiërarchische geheugens: de ervaringsbank hergebruikt laag-niveau betrouwbare tussentijdse conclusies en lokale feedback, terwijl de richtlijnenbank eerder verkende hoog-niveau strategieën opslaat om volgende rollouts weg te sturen van redundante redeneerpatronen. Verder ontwerpen we een hybride belonings-reinforcement learning schema dat is toegesneden op TMAS, dat gezamenlijk basisredeneercapaciteit behoudt, ervaringsgebruik verbetert en exploratie buiten eerder geprobeerde oplossingsstrategieën stimuleert. Uitgebreide experimenten op uitdagende redeneerbenchmarks tonen aan dat TMAS sterkere iteratieve schaling bereikt dan bestaande testtijd-schalingsbaselines, terwijl hybride beloningstraining de schalingseffectiviteit en stabiliteit over iteraties verder verbetert. Code en data zijn beschikbaar op https://github.com/george-QF/TMAS-code.

Continuele post-training beoogt grote taalmodellen (LLM's) uit te breiden met nieuwe kennis, vaardigheden en gedragingen, maar het blijft onduidelijk wanneer sequentiële updates capaciteitsoverdracht mogelijk maken en wanneer ze catastrofale vergeetachtigheid veroorzaken. Bestaande methoden beperken vergeetachtigheid door sequentiële fijnafstemming, herhaling, regularisatie of modelsamensmelting, maar bieden beperkte criteria om te bepalen wanneer het opnemen van nieuwe updates gunstig of schadelijk is. In dit werk bestuderen we continuele post-training van LLM's aan de hand van drie vragen: Wat veroorzaakt vergeetachtigheid? Wanneer worden sequentieel verworven vaardigheden overgedragen of interfereren ze? Hoe kan compatibiliteit worden gebruikt om update-integratie te beheersen? We behandelen deze vragen via taakgeometrie: we representeren elke post-trainingstaak door zijn parameterupdate en bestuderen de covariantiegeometrie die door de update wordt geïnduceerd. Onze centrale bevinding is dat vergeetachtigheid kan worden beschouwd als een toestandsrelatieve update-integratiefout; het ontstaat wanneer de door taken geïnduceerde covariantiegeometrieën niet overeenkomen met de geometrie van de evoluerende modeltoestand. Sequentiële updates dragen over wanneer ze compatibel blijven met de modeltoestand die door eerdere updates is gevormd, en interfereren wanneer het toestandsrelatieve geometrieconflict hoog wordt. Gemotiveerd door deze bevinding stellen we Geometry-Conflict Wasserstein Merging (GCWM) voor, een data-vrije update-integratiemethode die een gedeelde Wasserstein-metriek construeert via Gaussiaanse Wasserstein-barycentra en geometrieconflict gebruikt om geometriebewuste correctie te sturen. Over Qwen3 0.6B–14B in domein-continue en vaardigheid-continue settings presteert GCWM consistent beter dan data-vrije baselines, met verbeterde retentie en uiteindelijke prestaties zonder herhalingsdata. Deze resultaten identificeren geometrieconflict zowel als een verklarend signaal voor vergeetachtigheid als een praktisch controlesignaal voor continuele post-training van LLM's.

We bestuderen empirische schalingswetten voor het samensmelten van taalmodellen, gemeten aan de hand van kruisentropie. Ondanks het brede praktische gebruik, ontbreekt het bij het samensmelten aan een kwantitatieve regel die de opbrengst voorspelt naarmate we experts toevoegen of de modelgrootte opschalen. We identificeren een compacte machtswet die modelgrootte en aantal experts koppelt: de grootte-afhankelijke vloer daalt met de modelcapaciteit, terwijl de samensmeltingsstaart duidelijke afnemende meeropbrengst vertoont in het aantal experts. De wet geldt binnen het domein en over domeinen heen, sluit nauw aan bij gemeten curven over diverse architecturen en methoden (Average, TA, TIES, DARE), en verklaart twee robuuste regelmatigheden: de meeste winst komt vroeg, en de variabiliteit neemt af naarmate meer experts worden opgenomen. Voortbouwend hierop presenteren we een eenvoudige theorie die verklaart waarom de winst ruwweg als 1/k daalt, en die de vloer en staart koppelt aan eigenschappen van het basismodel en de diversiteit over domeinen heen. Deze wet maakt voorspellende planning mogelijk: schat hoeveel experts nodig zijn om een doelverlies te bereiken, beslis wanneer te stoppen met het toevoegen van experts, en maak een afweging tussen het opschalen van het basismodel en het toevoegen van experts onder een vast budget – waardoor het samensmelten van een heuristische praktijk verandert in een computationeel efficiënt, planbaar alternatief voor multitask-training. Dit suggereert een schalingsprincipe voor gedistribueerde generatieve AI: voorspelbare winst kan worden bereikt door specialisten te combineren, wat een complementair pad biedt naar systemen op AGI-niveau.

Een LaTeX-manuscript dat foutloos compileert, is niet noodzakelijk publicatieklaar. De resulterende PDF's hebben vaak last van verkeerd geplaatste zwevende objecten, overlopende vergelijkingen, inconsistente tabelschaling, weduwe- en weesregels en een slechte paginabalans, wat auteurs dwingt tot herhaalde compileer-inspecteer-bewerk cycli. Op regels gebaseerde tools zijn blind voor gerenderde visuele elementen en werken alleen op broncode en logbestanden. Alleen-tekst LLM's voeren open-lus tekstediting uit, zonder de tweedimensionale lay-outgevolgen van hun wijzigingen te kunnen voorspellen of verifiëren. Betrouwbare zetoptimalisatie vereist daarom een visuele gesloten lus met verificatie na elke bewerking. We formaliseren dit probleem als Visual Typesetting Optimization (VTO), de taak om een compileerbaar LaTeX-artikel om te zetten in een visueel gepolijste, aan het paginabudget voldoende PDF door middel van iteratieve visuele verificatie en revisie op bronniveau, en introduceren een taxonomie van vijf categorieën van zetfouten om de diagnose te begeleiden. We presenteren PaperFit, een vision-in-the-loop agent die iteratief pagina's rendert, defecten diagnosticeert en beperkte reparaties toepast. Om VTO te benchmarken, construeren we PaperFit-Bench met 200 artikelen verspreid over 10 sjablonen van publicatiekanalen en 13 defecttypen met verschillende moeilijkheidsgraden. Uitgebreide experimenten tonen aan dat PaperFit alle basislijnen met een grote marge overtreft, wat aantoont dat het overbruggen van de kloof van compileerbare bron naar publicatieklare PDF optimalisatie met een visuele lus vereist en dat VTO een cruciale ontbrekende fase vormt in de documentautomatiseringspijplijn.

Commerciële videogeneratiesystemen zoals Seedance2.0 en Veo3.1 zijn snel verbeterd, wat de opvatting versterkt dat videogeneratoren zich mogelijk ontwikkelen tot 'wereldsimulators'. Toch ontbreekt het de onderzoeksgemeenschap nog aan een benchmark die rechtstreeks toetst of een model kan redeneren over hoe een waargenomen wereld in de loop van de tijd zou moeten evolueren. We introduceren WorldReasonBench, die de evaluatie van videogeneratie herformuleert als voorspelling van wereldtoestanden: gegeven een begintoestand en een actie, kan een model een toekomstige video genereren waarvan de toestandsevolutie fysiek, sociaal, logisch en informatieel consistent blijft? WorldReasonBench bevat 436 samengestelde testgevallen met gestructureerde grondwaarheid QA-annotaties die vier redeneerdimensies en 22 subcategorieën beslaan. We evalueren gegenereerde video's met een twee-delige methodologie die is afgestemd op menselijke beoordeling: Procesbewuste Redeneringsverificatie maakt gebruik van gestructureerde QA en diagnostiek van de redeneerfase om temporele en causale fouten te detecteren, terwijl Multidimensionale Kwaliteitsbeoordeling de redeneerkwaliteit, temporele consistentie en visuele esthetiek scoort voor rangschikking en modellering van beloningen. Verder introduceren we WorldRewardBench, een voorkeursbenchmark met ongeveer 6.000 door experts geannoteerde paren over 1.400 video's, ter ondersteuning van paarsgewijze en puntgewijze evaluatie van beloningsmodellen. Bij moderne videogeneratoren toont onze resultaten een aanhoudende kloof aan tussen visuele aannemelijkheid en wereldredenering: video's kunnen overtuigend ogen terwijl ze falen in dynamica, causaliteit of informatiebehoud. We zullen onze benchmarks en evaluatietoolkit publiceren om gemeenschapsonderzoek naar werkelijk wereldbewuste videogeneratie te ondersteunen op https://github.com/UniX-AI-Lab/WorldReasonBench/.

Instructievolging is een fundamentele eigenschap van grote taalmodellen (LLM's), maar het continu verbeteren van deze eigenschap blijft een uitdaging. Bestaande methoden vertrouwen doorgaans op kostbare externe supervisie van mensen of sterke leermodellen, of op zelfspeltraining met instructies van statische moeilijkheidsgraad die niet kunnen evolueren naarmate de modelcapaciteiten verbeteren. Om deze beperkingen aan te pakken, stellen wij SEIF (Self-Evolving Reinforcement Learning for Instruction Following) voor, een zelf-evoluerend raamwerk voor het verbeteren van het instructievolgvermogen van LLM's. SEIF vormt een gesloten zelf-evolutielus die het instructievolgvermogen van het model verbetert, waarbij de evolutie van de instructiemoeilijkheid en de evolutie van de modelcapaciteiten elkaar versterken. SEIF bestaat uit vier rollen: een Instructeur die steeds uitdagendere instructies genereert, een Filter dat tegenstrijdige of ongeldige instructies verwijdert om de datakwaliteit te waarborgen, een Volger die leert om geëvolueerde instructies op te volgen, en een Beoordelaar die beloningssignalen levert voor versterkingsleren. De Instructeur en de Volger worden afwisselend getraind en co-evolueren gedurende het hele proces. Experimenten op meerdere modelschalen en architecturen tonen aan dat SEIF de instructievolgprestaties consistent verbetert, wat wijst op een sterke algemeenheid. Verdere analyses onthullen de bronnen van verbetering en identificeren een effectieve trainingsstrategie voor zelf-evolutie bij open-eindtaken: voldoende vroege training om een solide basis te leggen, gevolgd door matige late training om overfitting te beperken en betere uiteindelijke prestaties te bereiken. De code en gegevens zijn openbaar beschikbaar op https://github.com/Rainier-rq1/SEIF.

Recurrente LLM-architecturen zijn naar voren gekomen als een veelbelovende benadering voor het verbeteren van redeneren, omdat ze meerstapsberekening in de inbeddingsruimte mogelijk maken zonder het genereren van tussentijdse tokens. Modellen zoals Ouro voeren redeneren uit door iteratief interne representaties bij te werken, terwijl een standaard Key-Value (KV) cache over iteraties heen behouden blijft, waardoor het geheugenverbruik lineair toeneemt met de redeneerdiepte. Dit kan ertoe leiden dat een toename van het aantal redeneeriteraties leidt tot prohibitief geheugengebruik, wat de praktische schaalbaarheid van dergelijke architecturen beperkt. In dit werk stellen we de Memory-Efficient Looped Transformer (MELT) voor, een nieuwe architectuur die de redeneerdiepte ontkoppelt van het geheugenverbruik. In plaats van een standaard KV cache per laag en per lus te gebruiken, onderhoudt MELT één enkele KV cache per laag die wordt gedeeld over redeneerlussen. Deze cache wordt in de loop van de tijd bijgewerkt via een leerbaar poortmechanisme. Om stabiele en efficiënte training onder deze architectuur mogelijk te maken, stellen we voor om MELT te trainen met behulp van chunksgewijze training in een tweefasige procedure: geïnterpoleerde overgang, gevolgd door aandacht-uitgelijnde distillatie, beide van het startmodel LoopLM naar MELT. Empirisch tonen we aan dat MELT-modellen die zijn fijnafgesteld op voorgetrainde Ouro-parameters beter presteren dan standaard LLM's van vergelijkbare grootte, terwijl ze een geheugenvoetafdruk behouden die vergelijkbaar is met die modellen en aanzienlijk kleiner dan die van Ouro. Over het algemeen bereikt MELT constant-geheugen iteratief redeneren zonder de prestaties van LoopLM op te offeren, met slechts een lichtgewicht nabehandelingsprocedure.

Recente vorderingen in 3D-generatieve modellen hebben de kwaliteit van beeld-naar-3D-synthese snel verbeterd, waardoor geometrie met een hogere resolutie en een realistischere verschijning mogelijk zijn. Toch blijft getrouwheid, die de pixelniveau-getrouwheid van het gegenereerde 3D-model aan het invoerbeeld meet, een centraal knelpunt. Wij stellen dat dit voortkomt uit een impliciet 2D-3D-correspondentieprobleem: de meeste 3D-native generatoren synthetiseren vorm in een canonieke ruimte en injecteren beeldinformatie via aandacht, waardoor pixel-naar-3D-associaties dubbelzinnig blijven. Om dit probleem aan te pakken, putten we inspiratie uit 3D-reconstructie en stellen we Pixal3D voor, een pixel-uitgelijnd 3D-generatieparadigma voor het creëren van 3D-modellen met hoge getrouwheid uit beelden. In plaats van te genereren in een canonieke houding, genereert Pixal3D direct 3D op een pixel-uitgelijnde manier, consistent met het invoeraanzicht. Om dit mogelijk te maken, introduceren we een pixel-terugprojectieconditioneringsschema dat meerschalige beeldkenmerken expliciet in een 3D-kenmerkenvolume tilt, waardoor directe pixel-naar-3D-correspondentie zonder dubbelzinnigheid wordt gevestigd. We tonen aan dat Pixal3D niet alleen schaalbaar is en in staat is om hoogwaardige 3D-modellen te produceren, maar ook de getrouwheid aanzienlijk verbetert, tot het niveau van reconstructie. Bovendien breidt Pixal3D zich natuurlijk uit naar multi-view generatie door teruggeprojecteerde kenmerkenvolumes over aanzichten te aggregeren. Ten slotte tonen we aan dat pixel-uitgelijnde generatie voordelig is voor scènesynthese, en presenteren we een modulaire pijplijn die object-gescheiden 3D-scènes met hoge getrouwheid uit beelden produceert. Pixal3D toont voor het eerst 3D-native pixel-uitgelijnde generatie op schaal aan en biedt een nieuwe inspirerende weg naar 3D-generatie met hoge getrouwheid van objecten of scènes uit enkel- of meervoudige aanzichten. Projectpagina: https://ldyang694.github.io/projects/pixal3d/

Het afstemmen van multimodale generatieve modellen op menselijke voorkeuren vereist beloningssignalen die de compositionele, multidimensionale structuur van menselijke oordelen respecteren. Heersende RLHF-benaderingen reduceren deze structuur tot scalaire of paarsgewijze labels, waardoor genuanceerde voorkeuren worden samengevat in ondoorzichtige parametrische proxies en kwetsbaarheden voor beloningshacking bloot komen te liggen. Hoewel recente Rubrics-as-Reward (RaR)-methoden proberen deze structuur te herstellen via expliciete criteria, blijft het genereren van rubrics die tegelijkertijd betrouwbaar, schaalbaar en data-efficiënt zijn een open probleem. Wij introduceren Auto-Rubric as Reward (ARR), een raamwerk dat beloningsmodellering herkadert van impliciete gewichtsoptimalisatie naar expliciete, op criteria gebaseerde decompositie. Voor elke paarsgewijze vergelijking externaliseert ARR de geïnternaliseerde voorkeurskennis van een VLM als promptspecifieke rubrics, waarbij holistische intentie wordt vertaald naar onafhankelijk verifieerbare kwaliteitsdimensies. Deze omzetting van impliciete voorkeursstructuur in inspecteerbare, interpreteerbare beperkingen onderdrukt aanzienlijk evaluatievertekeningen zoals positionele bias, en maakt zowel zero-shot-implementatie als few-shot-conditionering met minimale supervisie mogelijk. Om deze winsten uit te breiden naar generatieve training, stellen wij Rubric Policy Optimization (RPO) voor, dat ARR's gestructureerde multidimensionale evaluatie distilleert tot een robuuste binaire beloning, waarbij ondoorzichtige scalaire regressie wordt vervangen door rubriek-geconditioneerde voorkeursbeslissingen die beleidsgradiënten stabiliseren. Op benchmarks voor tekst-naar-beeldgeneratie en beeldbewerking presteert ARR-RPO beter dan paarsgewijze beloningsmodellen en VLM-beoordelaars, wat aantoont dat het expliciet externaliseren van impliciete voorkeurskennis in gestructureerde rubrics leidt tot betrouwbaardere, data-efficiëntere multimodale afstemming, en onthult dat de bottleneck de afwezigheid is van een gefactoriseerde interface, niet een tekort aan kennis.

Geïnspireerd door de ontwikkeling van OpenClaw is er een groeiende vraag naar mobiele persoonlijke agents die complexe en intuïtieve interacties aankunnen. In dit technische rapport introduceren we X-OmniClaw, een uniforme mobiele agent ontworpen voor multimodale interpretatie en interactie binnen het Android-ecosysteem. Deze uniforme architectuur van waarneming, geheugen en actie stelt de agent in staat om complexe mobiele taken uit te voeren met een hoog niveau van contextbewustzijn. Specifiek biedt Omni Perception een uniforme multimodale invoerpijplijn die UI-toestanden, visuele contexten uit de echte wereld en spraakinvoer integreert, waarbij een tijdelijke uitlijningsmodule wordt gebruikt om ruwe data om te zetten in gestructureerde multimodale intentie-representaties. Omni Memory benut multimodale geheugenoptimalisatie om gepersonaliseerde intelligentie te verbeteren door runtime-werkgeheugen voor taakcontinuïteit te integreren met langetermijnpersoonlijk geheugen, gedistilleerd uit lokale data, waardoor hoogwaardige contextbewuste en gepersonaliseerde interacties mogelijk worden. Ten slotte gebruikt Omni Action een hybride verankeringsstrategie die structurele XML-metadata combineert met visuele waarneming voor robuuste interactie. Door Behavior Cloning en Trajectory Replay legt het systeem gebruikersnavigatie vast als herbruikbare vaardigheden, wat precieze direct-access-uitvoering mogelijk maakt. Demonstraties in diverse scenario's tonen aan dat X-OmniClaw de interactie-efficiëntie en taakbetrouwbaarheid aanzienlijk verbetert, en biedt zo een praktisch architectuurmodel voor de volgende generatie mobiele persoonlijke assistenten.

We presenteren Key-Value Means ("KVM"), een nieuwe blok-recurrentie voor aandacht die zowel een vaste grootte als een groeiende toestand kan accommoderen. Het uitrusten van een sterke transformer-baseline met vaste-grootte KVM-aandachtslagen levert een sterke O(N) chunked RNN op, terwijl slechts een verwaarloosbaar aantal nieuwe parameters wordt toegevoegd. We trainen een transformer met een uitbreidbare KVM-cache en tonen aan dat deze concurrerend presteert op lange-contexttesten met slechts subkwadratische voorvultijd en sublineaire toestandsgroei. KVM is implementeerbaar met standaardbewerkingen en zonder aangepaste kernels, en ondersteunt chunkgewijs paralleliseerbare training en voorvulling. Het biedt veel van de voordelen van zowel traditionele transformers (uitbreidbaar contextgeheugen, chunkgewijs paralleliseerbare training en voorvulling) als lineaire RNN's in één uniform pakket. Het kan op elke laag worden gebruikt, waardoor KV-cachegeheugen wordt bespaard en een continu bereik aan keuzes voor de voorvultijdcomplexiteit tussen O(N) en O(N^2) mogelijk wordt. Het kan ook worden geïmplementeerd in een hybride oplossing samen met LRNN-lagen in plaats van traditionele aandacht, om de LRNN aan te vullen met verbeterd sublineair geheugengroeicontextlengtegebruik en lange-contextdecodering. We publiceren onze code op https://github.com/recursal/KVM-paper en getrainde modellen op https://huggingface.co/collections/recursal/key-value-means onder de Apache 2.0-licentie.

Visuele codering vormt een belangrijke computationele bottleneck in Multimodale Grote Taalmodellen (MLLMs), vooral voor invoer van afbeeldingen met hoge resolutie. De gangbare praktijk past doorgaans globale codering toe, gevolgd door post-ViT-compressie. Globale codering produceert massieve tokenreeksen, terwijl post-ViT-compressie de volledige kwadratische aandachtskosten van de ViT met zich meebrengt voordat enige tokenreductie plaatsvindt. In dit werk herzien we deze conventie langs twee dimensies: de coderingsstrategie en visuele tokencompressie. Ten eerste tonen gecontroleerde experimenten aan dat op segmenten gebaseerde codering beter presteert dan globale codering over benchmarks, wat suggereert dat het behouden van lokale details door middel van gesegmenteerde aanzichten voordeliger kan zijn dan het toepassen van globale aandacht voor fijnmazige perceptie. Ten tweede introduceren we intra-ViT vroege compressie, die tokens in ondiepe ViT-lagen reduceert en de visuele coderings-FLOPs aanzienlijk verlaagt terwijl de stroomafwaartse prestaties behouden blijven. Door intra-ViT-compressie te integreren in het op segmenten gebaseerde coderingskader presenteren we LLaVA-UHD v4, een efficiënt en rekenkundig beheersbaar visueel coderingsschema dat is afgestemd op invoer met hoge resolutie. Over een diverse reeks benchmarks die documentbegrip, OCR en algemene VQA omvatten, verlaagt LLaVA-UHD v4 de visuele coderings-FLOPs met 55,8% terwijl het de basisprestaties evenaart of zelfs overtreft. Deze resultaten suggereren dat de efficiëntie van visuele codering aanzienlijk kan worden verbeterd zonder stroomafwaartse prestaties op te offeren, wat een praktische ontwerprichting biedt voor efficiënte MLLMs met hoge resolutie. Alle modelgewichten en code zullen openbaar worden vrijgegeven om verder onderzoek te ondersteunen.

Zelf-evoluerende LLM's excelleren in verifieerbare domeinen, maar hebben moeite met open-eindtaken, waar afhankelijkheid van proxy-LLM-beoordelaars capaciteitsknelpunten en reward hacking introduceert. Om dit te overwinnen, introduceren we G-Zero, een verifier-vrij co-evolutionair raamwerk voor autonome zelfverbetering. Onze kerninnovatie is Hint-δ, een intrinsieke beloning die de voorspellende verschuiving kwantificeert tussen de onondersteunde respons van een Generatormodel en de respons geconditioneerd op een zelf gegenereerde hint. Met behulp van dit signaal wordt een Proposermodel getraind via GRPO om continu de blinde vlekken van de Generator te targeten door uitdagende queries en informatieve hints te synthetiseren. De Generator wordt gelijktijdig geoptimaliseerd via DPO om deze hint-geleide verbeteringen te internaliseren. Theoretisch bewijzen we een beste-iteratie suboptimaliteitsgarantie voor een geïdealiseerde standaard-DPO-versie van G-Zero, op voorwaarde dat de Proposer voldoende exploratiedekking induceert en de datafiltering de ruis in pseudo-label scores laag houdt. Door supervisie volledig af te leiden uit interne distributionele dynamiek, omzeilt G-Zero de capaciteitsplafonds van externe beoordelaars, wat een schaalbaar, robuust pad biedt voor continue LLM-zelfevolutie in niet-verifieerbare domeinen.

Zelf-distillatie is naar voren gekomen als een krachtig raamwerk voor het nabewerken van LLM's, waarbij een leraar, geconditioneerd op extra informatie, een student begeleidt zonder deze informatie, beide afkomstig van hetzelfde model. Hoewel deze begeleiding nuttig is wanneer de student faalt, overschrijft hetzelfde mechanisme bij succesvolle uitrolresultaten in plaats daarvan de keuzes van de student en onderdrukt het zijn eigen redenering. Daarom stellen we voor om het oorspronkelijke zelf-distillatiesignaal omgekeerd te lezen: wanneer de student slaagt op een pad dat de leraar niet zou hebben voorspeld, weerspiegelen deze tokens zijn zelfgestuurde redenering. Voortbouwend hierop stellen we RLRT (RLVR met Omgekeerde Leraar) voor, dat GRPO uitbreidt door deze tokens te versterken bij correcte uitrolresultaten. We interpreteren dit als een nieuwe vorm van verkenning in RLVR: geen uniforme diversiteit, maar waardevolle verkenning die geworteld is in het eigen succes van de student. Over basis-, instructie-getunede en denk-getunede Qwen3-checkpoints heen, presteert RLRT aanzienlijk beter dan zelf-distillatie en op verkenning gebaseerde basislijnen, waarmee informatie-asymmetrie wordt gevestigd als een nieuwe, principiële ontwerpas voor RLVR.

Agenten van grote taalmodellen vertrouwen steeds vaker op externe vaardigheden om complexe taken op te lossen, waarbij vaardigheden fungeren als modulaire eenheden die hun mogelijkheden uitbreiden buiten wat parametrisch geheugen alleen ondersteunt. Bestaande methoden gaan ervan uit dat externe vaardigheden ofwel accumuleren als blijvende begeleiding ofwel worden geïnternaliseerd in het beleid, wat uiteindelijk leidt tot inferentie zonder externe vaardigheden. Wij stellen dat deze aanname overmatig beperkend is, aangezien met een beperkte parametrische capaciteit en ongelijke marginale bijdrage over vaardigheden heen, de optimale actieve vaardighedenset niet-monotoon, taak- en fasenafhankelijk is. In dit werk stellen we SLIM voor, een raamwerk voor dynamisch Vaardigheidslevenscyclusbeheer voor agentische reinforcement learning (RL), dat de actieve externe vaardighedenset behandelt als een dynamische optimalisatievariabele die gezamenlijk met het beleidsleren wordt bijgewerkt. Specifiek schat SLIM de marginale externe bijdrage van elke actieve vaardigheid door middel van leave-one-skill-out validatie, en past vervolgens drie levenscyclusoperaties toe: het behouden van hoogwaardige vaardigheden, het uitfaseren van vaardigheden waarvan de bijdrage verwaarloosbaar wordt na voldoende blootstelling, en het uitbreiden van de vaardighedenbank wanneer aanhoudende mislukkingen een ontbrekende capaciteitsdekking aan het licht brengen. Experimenten tonen aan dat SLIM gemiddeld 7,1 procentpunt beter presteert dan de beste basislijnen over ALFWorld en SearchQA. Resultaten wijzen er verder op dat beleidsleren en het behoud van externe vaardigheden elkaar niet uitsluiten: sommige vaardigheden worden opgenomen in het beleid, terwijl andere externe waarde blijven bieden, wat SLIM ondersteunt als een algemener paradigma voor vaardigheidsgebaseerde agentische RL.

Op leren gebaseerde simulatie van multi-object starre-lichaamsdynamica blijft moeilijk omdat contact discontinu is en fouten cumuleren over lange tijdshorizonten. De meeste bestaande methoden blijven gebonden aan mesh-connectiviteit en berichtuitwisseling op vertex-niveau, wat hun toepasbaarheid op mesh-vrije invoer zoals puntwolken beperkt en leidt tot hoge rekenkosten. Het efficiënt modelleren van hifi starre-lichaamsdynamica vanuit mesh-vrije representaties blijft daarom uitdagend. Wij introduceren RigidFormer, een object-centrisch op Transformer gebaseerd model dat mesh-vrije starre-lichaamsdynamica leert met controleerbare integratiestapgroottes. RigidFormer redeneert op objectniveau en beweegt elk object voort via compacte ankers; Anchor-Vertex Pooling verrijkt deze ankers met lokale vertexkenmerken, waarbij contactrelevante geometrie behouden blijft zonder dichte interactie op vertex-niveau. Wij stellen op ankers gebaseerde RoPE voor om ankergeometrie in de aandacht te injecteren met respect voor de ongeordende aard van objecten en ankers: object-tokenverwerking is permutatie-equivariant, en de gemiddeld gepoolde ankerdescriptor is invariant voor herindexering van ankers terwijl de vormomvang behouden blijft. RigidFormer handhaaft verder starheid door updates te projecteren op de starre-lichaamsvariëteit met behulp van differentieerbare Kabsch-uitlijning. Op standaard benchmarks presteert RigidFormer beter dan of gelijk aan mesh-gebaseerde baselines met punteninvoer, draait sneller, generaliseert naar ongeziene puntresoluties en over datasets heen, en schaalt naar 200+ objecten; wij tonen ook een voorlopige uitbreiding naar commando-gestuurde gelede lichamen door lichaamsdelen te behandelen als interacterende componenten op objectniveau.

Reinforcement learning (RL) heeft complexe redeneervaardigheden mogelijk gemaakt in grote taalmodellen (LLM's). De meeste RL-algoritmen hebben echter te maken met prestatiesaturatie, waardoor verdere winst uitblijft naarmate de RL-training opschaalt. Dit probleem kan worden gekarakteriseerd door de instorting van entropie, een belangrijke diagnostische maatstaf voor exploratie in RL. Bestaande pogingen richten zich op het voorkomen van entropie-instorting via regularisatie of clipping. De resulterende entropiecurves vertonen echter vaak instabiliteit op de lange termijn, wat prestatieverbeteringen belemmert. In dit artikel introduceren we Entrocraft, een eenvoudige verwerpingssteekproefmethode die door de gebruiker gedefinieerde entropieschema's realiseert door het beïnvloeden van de voordeelverdelingen. Entrocraft vereist geen objectiefregularisatie en is onafhankelijk van de specifieke schatter van het voordeel. Theoretisch brengen we de verandering van entropie per stap in verband met de voordeelverdeling onder minimale aannames. Dit verklaart het gedrag van bestaande RL- en entropiebehoudende methoden. Entrocraft maakt ook een systematische studie van entropieschema's mogelijk, waaruit blijkt dat lineaire annealing, die hoog begint en vervalt naar een iets lager streefniveau, het beste presteert. Empirisch gezien pakt Entrocraft de prestatiesaturatie aan, met aanzienlijke verbeteringen in generalisatie, outputdiversiteit en training op de lange termijn. Het stelt een 4B-model in staat om een 8B-baseline te overtreffen, handhaaft verbetering tot 4x langer voordat een plateau wordt bereikt en verhoogt pass@K met 50% ten opzichte van de baseline.

De sleutel-waarde (KV) cache is een belangrijk knelpunt bij inferentie in lange contexten, waarbij geheugen en rekenkracht toenemen met de sequentielengte. Bestaande KV-verwijderingsmethoden verminderen deze kosten, maar leiden doorgaans tot prestatievermindering ten opzichte van inferentie met volledige cache. Ons belangrijkste inzicht is dat aandacht met volledige cache niet altijd optimaal is: in lange contexten kunnen irrelevante tokens de aandacht wegleiden van nuttig bewijs, dus selectieve, leerbare verwijdering kan de generatie verbeteren in plaats van alleen de volledige cache te benaderen. We introduceren een globale retentie-gebaseerde KV-verwijderingsmethode die het toekomstige nut van elk token leert onder een uniform geheugenbudget. Lichtgewicht retentiepoorten kennen nutsscores toe aan opgeslagen KV-items, en een gedeelde finale scoreprojectie kalibreert deze scores over alle lagen en koppen. Dit maakt één enkel globaal verwijderingsbeleid mogelijk waarin tokens uit verschillende lagen, koppen en modaliteiten rechtstreeks concurreren om cachecapaciteit. We bieden verder theoretische analyse die aantoont dat het preferentieel behouden van nuttige tokens de aandachtverdunning vermindert, en we rechtvaardigen geometrische retentie als een query-agnostische proxy voor toekomstig nut. In diverse benchmarks voor taal en visueel-taalkundig redeneren over lange contexten en voor meerstapsdialogen vermindert onze methode het KV-geheugen aanzienlijk terwijl ze inferentie met volledige cache evenaart of overtreft. Deze resultaten suggereren dat geleerde, globaal gekalibreerde KV-verwijdering niet alleen een compressietechniek is, maar ook een mechanisme om redeneren in lange contexten te verbeteren.

Diffusie- en stromingsgebaseerde modellen zijn de de facto benaderingen geworden voor het genereren van continue data, bijvoorbeeld op gebieden zoals afbeeldingen en video's. Hun succes heeft geleid tot een groeiende belangstelling om ze toe te passen op taalmodellering. In tegenstelling tot hun tegenhangers in het beelddomein werken de hedendaagse toonaangevende diffusietaalmodellen (DLM's) voornamelijk met discrete tokens. In dit artikel tonen we aan dat continue DLM's effectief kunnen worden gemaakt met minimale aanpassing aan het discrete domein. We stellen Embedded Language Flows (ELF) voor, een klasse van diffusiemodellen in een continue inbeddingsruimte, gebaseerd op Flow Matching in continue tijd. In tegenstelling tot bestaande DLM's blijft ELF voornamelijk in de continue inbeddingsruimte tot de laatste tijdstap, waar het met behulp van een netwerk met gedeelde gewichten wordt toegewezen aan discrete tokens. Deze formulering maakt het eenvoudig om gevestigde technieken uit beelddomein-diffusiemodellen aan te passen, zoals classificatorvrije sturing (CFG). Experimenten tonen aan dat ELF aanzienlijk beter presteert dan toonaangevende discrete en continue DLM's, met een betere generatiekwaliteit en minder bemonsteringsstappen. Deze resultaten suggereren dat ELF een veelbelovende weg biedt naar effectieve continue DLM's.

Gestructureerd snoeien en kennisdistillatie (KD) zijn typische technieken voor het comprimeren van grote taalmodellen, maar het blijft onduidelijk hoe ze moeten worden toegepast op de schaal van voortraining, met name bij recente mengsel-van-experts (MoE)-modellen. In dit werk bestuderen we systematisch MoE-compressie in grootschalige voortraining, met focus op drie kernvragen: of snoeien een betere initiatie biedt dan trainen vanaf nul, hoe expertcompressiekeuzes het uiteindelijke model beïnvloeden na voortgezette training, en welke trainingsstrategie het meest effectief is. We komen tot de volgende bevindingen: Ten eerste, over compressie in diepte, breedte en experts heen, presteert het snoeien van een voorgetraind MoE consequent beter dan het trainen van de doelarchitectuur vanaf nul onder hetzelfde trainingsbudget. Ten tweede convergeren verschillende eenmalige expertcompressiemethoden naar vergelijkbare eindprestaties na grootschalige continue voortraining. Gemotiveerd door dit inzicht introduceren we een eenvoudige partiële-preservatie-expertfusiestrategie die de downstreamprestaties over de meeste benchmarks verbetert. Ten derde presteert het combineren van KD met het taalmodelleringsverlies beter dan KD alleen, vooral bij kennisintensieve taken. Verder stellen we multi-tokenvoorspellingsdistillatie (MTP-distillatie) voor, die consistente winst oplevert. Tot slot, gegeven hetzelfde aantal trainingstokens, presteren progressieve snoeischema's beter dan eenmalige compressie, wat erop wijst dat geleidelijke architectuurovergangen leiden tot betere optimalisatietrajecten. Alles overziend comprimeren we Qwen3-Next-80A3B tot een 23A2B-model dat concurrerende prestaties behoudt. Deze resultaten bieden praktische richtlijnen voor efficiënte MoE-compressie op schaal.

Op LLM gebaseerde multi-agent systemen worden steeds vaker ingezet voor langdurige taken, maar een enkele fatale fout wordt vaak geaccepteerd door downstream agenten en escaleert tot een trajectbrede mislukking. Bestaand werk kadert dit als post-hoc fouttoewijzing, waarbij de verantwoordelijke agent en stap worden gediagnosticeerd nadat het traject is beëindigd. Dit paradigma laat echter elke mogelijkheid tot ingrijpen verloren gaan terwijl het traject nog gaande is. In dit werk introduceren we AgentForesight, een raamwerk dat dit probleem herdefinieert als online auditing: bij elke stap van een zich ontvouwend traject observeert een auditor alleen het huidige prefix en moet hij ofwel de uitvoering voortzetten of alarm slaan bij de eerste fatale fout, zonder toegang tot toekomstige stappen. Hiertoe cureren we AFTraj-2K, een corpus van agentische trajecten in de domeinen Coderen, Wiskunde en Agentisch, waarin veilige trajecten worden behouden via een strikte curatiepijplijn en onveilige trajecten worden geannoteerd op de stap van hun fatale fout via consensus onder meerdere LLM-beoordelaars. Hierop voortbouwend ontwikkelen we AgentForesight-7B, een compacte online auditor getraind met een grof-naar-fijn reinforcement learning recept dat het eerst uitrust met een risico-anticiperende prior op de faalgrens van aangrenzende veilige/onveilige prefixparen, en deze prior vervolgens aanscherpt tot nauwkeurige stapniveau-lokalisatie onder een drie-assige beloning die gezamenlijk het wat, waar en wie van een auditvonnis target. In AFTraj-2K en een externe Who\&When-benchmark overtreft AgentForesight-7B toonaangevende propriëtaire modellen, waaronder GPT-4.1 en DeepSeek-V4-Pro, met een prestatieverbetering tot +19,9% en een 3 keer lagere stap-lokalisatiefout, waarmee de cirkel van post-hoc foutdetectie naar interventie tijdens implementatie wordt gesloten. Projectpagina: https://zbox1005.github.io/agent-foresight/

Activeringssturing beheerst het gedrag van taalmodellen door tijdens de inferentie richtingen toe te voegen aan interne representaties, maar standaard residual-stroomsturing kan falen in toestandsafhankelijke dialoog. We identificeren KV-cacheverontreiniging als een belangrijke faalmodus: gestuurde token-toestanden worden opgeslagen en herhaaldelijk hergebruikt, waardoor een lokale perturbatie verandert in een cumulatieve coherentieverslechtering. Om deze uitdaging aan te pakken, stellen we Gated Cropped Attention-Delta-sturing (GCAD) voor, die stuurssignalen extraheert uit systeempromptbijdragen aan zelfaandacht en deze toepast met token-niveau-poortregeling. In experimenten met persoonlijkheidssturing behoudt GCAD de controle over eigenschappen terwijl het de coherentie op lange termijn aanzienlijk verbetert. Op de belangrijkste multi-turn-benchmark verbetert GCAD de gemiddelde coherentie-afwijking van -18,6 naar -1,9 en verhoogt het de trekexpressie op beurt 10 van 78,0 naar 93,1. Deze resultaten suggereren dat activeringssturing betrouwbaarder wordt wanneer interventies de prompt-gemedieerde paden volgen die modellen al gebruiken voor gedragscontrole.

Speculatieve decodering versnelt autoregressieve generatie in grote taalmodellen (Large Language Models, LLM's) via een tweestapsprocedure, waarbij een lichtgewicht draftmodel tokens voorstelt die het doelmodel vervolgens in één enkele forward pass verifieert. Hoewel het drafternetwerk klein is in moderne architecturen, voert de LM-head ervan nog steeds projectie uit naar een grote vocabulaire, wat een van de belangrijkste computationele knelpunten wordt. In eerder werk werd dit probleem voornamelijk aangepakt via statische of dynamische vocabulairtruncatie. Hoewel deze methoden het knelpunt verminderen, brengen ze extra complexiteit met zich mee, zoals speciale vocabulaircuratie, geavanceerde logica tijdens inferentie of aanpassingen van de trainingsopzet. In dit artikel stellen we SlimSpec voor, een lagerangparametrisering van de LM-head van de drafter die de interne representatie comprimeert in plaats van de uitvoer, met behoud van volledige vocabulaireondersteuning. We evalueren onze methode met de EAGLE-3-drafter over drie doelmodellen en diverse benchmarks in zowel latentie- als doorvoergebonden inferentietoestanden. SlimSpec behaalt een versnelling van 4 tot 5 keer ten opzichte van de standaard LM-head-architectuur, terwijl het een concurrerende acceptatielengte handhaaft, en overtreft bestaande methoden met tot wel 8–9% van de end-to-end-versnelling. Onze methode vereist minimale aanpassingen van de trainings- en inferentiepijplijnen. In combinatie met de eerdergenoemde versnellingsverbeteringen maakt dit SlimSpec tot een sterk alternatief voor een breed scala aan draft-LM-head-architecturen.

Door LLM aangedreven multi-agentsystemen kunnen nu de volledige onderzoekspijplijn automatiseren, van ideeontwikkeling tot paperschrijven, maar een fundamentele vraag blijft: automatisering voor wie? Onderzoekers opereren onder verschillende resourceconfiguraties, hanteren uiteenlopende methodologische voorkeuren en streven naar diverse outputformaten. Een systeem dat ongeacht deze verschillen uniforme output produceert, zal elke individuele gebruiker systematisch onderbedienen, waardoor personalisatie een voorwaarde wordt voor daadwerkelijke bruikbaarheid van onderzoeksautomatisering. Om dit te bereiken zijn echter drie mogelijkheden nodig die huidige systemen missen: het accumuleren van herbruikbare procedurele kennis over projecten heen, het bewaren van gebruikersspecifieke ervaring over sessies heen, en het internaliseren van impliciete voorkeuren die zich tegen expliciete formalisering verzetten. Wij stellen NanoResearch voor, een multi-agentframework dat deze lacunes aanpakt via co-evolutie op drie niveaus. Een vaardigheidsbank distilleert terugkerende operaties tot compacte procedurele regels die herbruikbaar zijn over projecten heen. Een geheugenmodule bewaart gebruikers- en projectspecifieke ervaring die planningsbeslissingen verankert in de onderzoeksgeschiedenis van elke gebruiker. Labelvrij beleidsleren zet vrije feedback om in blijvende parameterupdates van de planner, waardoor de daaropvolgende coördinatie opnieuw wordt vormgegeven. Deze drie lagen evolueren gezamenlijk: betrouwbare vaardigheden leveren rijker geheugen op, rijker geheugen informeert betere planning, en preferentie-internalisering blijft de cyclus opnieuw afstemmen op elke gebruiker. Uitgebreide experimenten tonen aan dat NanoResearch aanzienlijke winst oplevert ten opzichte van state-of-the-art AI-onderzoekssystemen, en zichzelf in opeenvolgende cycli progressief verfijnt om beter onderzoek tegen lagere kosten te produceren.

Geheugenconsolidatie, het proces waarbij voorbijgaande ervaringen worden omgezet in stabiele, gestructureerde representaties, is een fundamenteel organiserend principe in het menselijk brein, maar blijft grotendeels onontgonnen als ontwerpprincipe voor moderne sequentiemodellen. In dit werk benutten we gevestigde neurowetenschappelijke theorieën over geheugenconsolidatie en cross-frequentiekoppeling om de Hiërarchische Geheugenmodule (HMM) voor te stellen, een neurale geheugenarchitectuur bestaande uit twee functioneel verschillende submodules die op verschillende updatefrequenties werken. Geïnspireerd door de transformatiehypothese produceert de laagfrequente submodule hoog-niveau representaties die abstracte, gist-niveau kennis vatten, terwijl de hoogfrequente submodule fijnmazige representaties produceert die rijkere episodische details behouden. De uiteindelijke geheugenuitvoer wordt dynamisch gereconstrueerd als een contextafhankelijke combinatie van beide representaties, analoog aan de reconstructieve aard van menselijke geheugenophaling. We integreren HMM in een op Transformers gebaseerde taaldecoder om Mela te vormen, een familie van geheugengeaugmenteerde taalmodellen die online geheugenconsolidatie uitvoeren tijdens testtijd. Om de multigranulaire geheugenrepresentaties geproduceerd door HMM verder te benutten, introduceren we MemStack, een methode die verschillende niveaus van geheugenkenmerken verdeelt over de vroege lagen van de decoder zonder extra tokens toe te voegen. Experimenten met taalmodellering tonen aan dat Mela beter presteert dan Transformer-baselines over alle modelgroottes. Bovendien, met een vaste pretrainingscontextlengte van 4K, behoudt Mela de prestaties op aanzienlijk langere contexten, terwijl Transformer-baselines snel verslechteren voorbij hun trainingslengte. Uitgebreide ablatiestudies valideren de bijdrage van elke component en bieden richtlijnen voor praktische configuratie.

Hoewel multimodale grote taalmodellen vooruitgang hebben geboekt op het gebied van tekst, beeld en audio, is personalisatieonderzoek voornamelijk visueel-talig gebleven, waarbij unified omnimodale benchmarking die gezamenlijk tekst, beeld en audio bestrijkt nog beperkt is en de methodologische strengheid mist om rekening te houden met afwezige-persona-scenario's of systematische grondingstudies. We introduceren Omni-Persona, de eerste uitgebreide benchmark voor omnimodale personalisatie. We formaliseren de taak als cross-modale routering over de Persona Modality Graph, die 4 taakgroepen en 18 fijnmazige taken omvat over circa 750 items. Om het grondgedrag rigoureus te diagnosticeren, stellen we Calibrated Accuracy (mathrm{Cal}) voor, dat gezamenlijk correcte gronding en passende onthouding beloont en afwezige-persona-query's integreert binnen een uniform evaluatiekader. In onze specifieke experimenten komen drie diagnostische bevindingen naar voren: (i) open-source modellen vertonen een consistente audio-versus-visuele grondingskloof die RLVR gedeeltelijk verkleint door middel van dichte regelgebaseerde supervisie; (ii) beantwoordbare recall en parameterschaal zijn onvolledige diagnostische middelen, aangezien sterke recall kan samengaan met afwezige-persona-hallucinatie en grotere modellen niet altijd een hogere Cal bereiken, wat kalibratie blootlegt als een aparte evaluatie-as; en (iii) SFT wordt begrensd door de moeilijkheid om op schaal geannoteerde ground-truth supervisie te construeren, terwijl RLVR consistenter generaliseert door middel van outcome-level verifieerbare feedback, maar onder ons beloningsontwerp afglijdt naar conservatief gedrag en lagere generatiekwaliteit. Omni-Persona dient dus als een diagnostisch raamwerk dat de valkuilen van omnimodale personalisatie blootlegt en toekomstige post-training en beloningsontwerp begeleidt.

Veiligheidsuitlijning in taalmodellen werkt via twee mechanistisch verschillende systemen: weigeringsneuronen die bepalen of schadelijke kennis wordt geuit, en conceptneuronen die de schadelijke kennis zelf coderen. Door een enkel neuron in elk systeem te targeten, tonen we beide faalrichtingen aan – het omzeilen van veiligheid bij expliciete schadelijke verzoeken via onderdrukking, en het induceren van schadelijke inhoud uit onschuldige prompts via versterking – in zeven modellen uit twee families en met 1,7B tot 70B parameters, zonder enige training of prompt engineering. Onze bevindingen suggereren dat veiligheidsuitlijning niet robuust is verdeeld over modelgewichten, maar wordt gemedieerd door individuele neuronen die elk causaal voldoende zijn om weigeringsgedrag te sturen – het onderdrukken van een van de geïdentificeerde weigeringsneuronen omzeilt veiligheidsuitlijning bij uiteenlopende schadelijke verzoeken.

Hoewel natuurlijke taal het standaardmedium is voor grote taalmodellen (LLM's), zorgt de beperkte expressieve capaciteit ervan voor een diepgaand knelpunt bij complexe probleemoplossing. Terwijl recente vooruitgang in AI sterk heeft gesteund op schaling, garandeert het louter internaliseren van kennis niet de effectieve toepassing ervan. Door taalrepresentatie te definiëren als de taalkundige en symbolische constructies die worden gebruikt om de echte wereld in kaart te brengen en te modelleren, betoogt dit artikel dat het vormgeven van schema's door middel van geavanceerde taalrepresentatie de volgende grens is voor het uitbreiden van LLM-intelligentie. Wij stellen dat de kennisactivering en -organisatie van een LLM – het schema – sterk afhangt van de structurele en symbolische verfijning van de taal die wordt gebruikt om een bepaalde taak weer te geven. Dit artikel levert zowel een formalisering van deze bewering als het empirische bewijs om deze te ondersteunen. Met een nieuwe formalisering presenteren we meerdere bewijslijnen ter ondersteuning van ons standpunt: Ten eerste bespreken we recente empirische praktijken en opkomende methodologieën die de aanzienlijke prestatieverbeteringen aantonen die haalbaar zijn door bewust ontwerp van taalrepresentatie, zelfs zonder wijziging van modelparameters of -schaal. Ten tweede voeren we gecontroleerde experimenten uit die aantonen dat de prestaties van LLM's en hun interne feature-activaties variëren onder verschillende taalrepresentaties van dezelfde onderliggende taak. Samen benadrukken deze bevindingen het ontwerp van taalrepresentatie als een veelbelovende richting voor toekomstig onderzoek.

Reinforcement Learning heeft de redeneervaardigheden van Multimodale Grote Taalmodellen (MLLMs) aanzienlijk verbeterd, maar de resulterende beleidsvormen blijven kwetsbaar voor visuele degradaties in de echte wereld, zoals vervaging, compressieartefacten en scans met een lage resolutie. Eerdere robuustheidstechnieken uit de visuele en diepe RL maken gebruik van statische data-augmentatie of waardegebaseerde regularisatie, die geen van beide soepel overdraagbaar zijn naar criticus-vrije RL-fine-tuning van autoregressieve MLLMs. Het versterken van redeneren tegen dergelijke corrupties is niet triviaal: het naïef injecteren van gedegradeerde aanzichten tijdens de uitrol leidt tot beloningsvergiftiging, waarbij perceptuele occlusies hallucinerende trajecten opwekken en de optimalisatie destabiliseren. Wij stellen ROMA voor, een RL-fine-tuningraamwerk dat de optimalisatiedynamiek aanpast om redeneren tegen visuele degradatie te versterken, met behoud van prestaties op schone inputs. Een dubbele voorwaartse-passtrategie gebruikt teacher forcing om gecorrumpeerde aanzichten te evalueren ten opzichte van schone-beeldtrajecten, waardoor nieuwe uitrollen op gedegradeerde inputs worden vermeden. Voor distributionele consistentie passen we een token-niveau surrogaat KL-straf toe tegen de slechtste augmentatie; om beleidsinstorting onder regularisatie te voorkomen, verankert een hulpbeleidsgradiëntverlies, gebaseerd op voordelen van schone beelden, een betrouwbaar beloningssignaal; en om systematisch onjuiste invariantie te vermijden, beperkt correctheid-geconditioneerde regularisatie de handhaving tot succesvolle trajecten. Op Qwen3-VL 4B/8B over zeven multimodale redeneerbenchmarks verbetert onze methode de robuustheid met +2,4% op geziene en +2,3% op ongeziene corrupties ten opzichte van GRPO, terwijl de schone nauwkeurigheid behouden blijft.

In dit werk introduceren we modelcompositie met bevroren encoders, een nieuwe benadering voor multimodale inbeddingsmodellen. We bouwen voort op de VLM-stijlarchitectuur, waarbij niet-tekstencoders worden aangepast om invoer te produceren voor een taalmodel, dat op zijn beurt inbeddingen genereert voor alle soorten invoer. We presenteren het resultaat: de jina-embeddings-v5-omni-suite, een paar modellen die tekst-, beeld-, audio- en video-invoer coderen in één enkele semantische inbeddingsruimte. Onze methode bestaat uit het uitbreiden van de twee Jina Embeddings v5-tekstmodellen om extra media te ondersteunen door encoders voor afbeeldingen en audio toe te voegen. De backbone-tekstinbeddingsmodellen en de toegevoegde niet-tekstmedia-encoders blijven bevroren. We trainden alleen de verbindende componenten, die 0,35% van de totale gewichten van het gezamenlijke model vertegenwoordigen. Training is daardoor veel efficiënter dan hertraining van alle parameters. Bovendien blijft het taalmodel effectief ongewijzigd, waardoor het exact dezelfde inbeddingen voor tekstinvoer produceert als de Jina Embeddings v5-tekstmodellen. Onze evaluaties tonen aan dat deze aanpak resultaten oplevert die concurrerend zijn met de state-of-the-art, met bijna gelijke prestaties als grotere multimodale inbeddingsmodellen.

LLM-gebaseerde evolutie is een veelbelovende manier gebleken om agenten te verbeteren door niet-parametrische artefacten te verfijnen, maar de werkelijke tijdkosten blijven een belangrijke bottleneck. Wij stellen vast dat deze kosten voortkomen uit gesynchroniseerde fase-uitvoering en onevenwicht binnen elke LLM-intensieve fase. We presenteren FlashEvolve, een efficiënt raamwerk dat gesynchroniseerde uitvoering vervangt door asynchrone werkers en wachtrijen, waardoor verschillende fasen en stappen kunnen overlappen. Om dataveroudering door asynchroniteit aan te pakken, houdt FlashEvolve artefactversies bij en past het verschillende beleidsregels toe om verouderde artefacten bij te werken, weg te gooien of te patchen. In tegenstelling tot gewichtsruimteveroudering bij asynchrone RL, is taalruimteveroudering inspecteerbaar en herstelbaar: een verouderd artefact is niet alleen uitgesteld werk, maar leesbaar bewijs waarop de LLM kan reflecteren, herzien en omzetten in een nuttig evolutiesignaal. FlashEvolve verbetert verder de doorvoer en tokenefficiëntie met speculatieve faseafronding en adaptieve werkstroomcontrole. Op GEPA-workloads verbetert FlashEvolve de voorstel-doorvoer met 3,5 keer op lokale vLLM en 4,9 keer op API-serving ten opzichte van synchrone GEPA. Hetzelfde ontwerp is ook van toepassing op ACE en Meta-Harness.

Wanneer multi-agentsystemen (MAS) falen, is het identificeren van waar de beslissende fout optrad de eerste stap voor geautomatiseerd herstel naar een eerdere toestand. Fouttoewijzing blijft een fundamentele uitdaging vanwege de lange interactiesporen die op grote taalmodellen gebaseerde MAS genereren. Dit artikel presenteert een raamwerk voor fouttoewijzing op basis van conforme voorspelling (CP) die eindige-steekproef-, distributievrije dekkingsgaranties biedt. We introduceren nieuwe algoritmen voor filtratiegebaseerde CP ontworpen voor sequentiële gegevens zoals agenttrajecten. In tegenstelling tot bestaande CP-algoritmen voorspelt onze aanpak verzamelingen die aaneengesloten reeksen zijn om efficiënt herstel en debuggen mogelijk te maken. We verifiëren onze theoretische garanties op een verscheidenheid aan agenten en datasets, tonen aan dat fouten nauwkeurig kunnen worden geïsoleerd, en gebruiken vervolgens voorspellingsverzamelingen om MAS terug te draaien om hun eigen fouten te corrigeren. Onze algemene aanpak is model-agnostisch en biedt een principiële onzekerheidslaag voor MAS-fouttoewijzing. We geven code vrij op https://github.com/layer6ai-labs/conformal-agent-error-attribution.

Muon is naar voren gekomen als een efficiënt alternatief voor Adam bij het vooraf trainen van modellen, maar wordt nog steeds weinig gebruikt voor fine-tuning. Een belangrijk obstakel is dat de meeste open modellen zijn voorgetraind met Adam, en een ondoordachte overstap naar Muon voor fine-tuning leidt tot verminderde prestaties vanwege een mismatch tussen de optimalisatoren. Wij onderzoeken deze mismatch door middel van gecontroleerde experimenten en leggen een verband met de verschillende impliciete biases van Adam en Muon. Wij leveren bewijs dat de mismatch de vooraf opgebouwde kennis verstoort, en dat deze verstoring schaalt met de sterkte van de updates. Dit leidt ons tot de hypothese dat het beperken van updates de mismatch zou moeten verminderen. Wij valideren dit met LoRA: over verschillende taal- en visietaken reduceert LoRA de prestatiekloof tussen Adam en Muon die wordt waargenomen bij volledige fine-tuning. Onderzoeken naar LoRA-rang, catastrofale vergetelheid en LoRA-varianten bevestigen verder dat de ernst van de mismatch correleert met de sterkte van de updates. Deze resultaten werpen licht op hoe optimizer-mismatch fine-tuning beïnvloedt en hoe dit kan worden gemitigeerd. Onze code is beschikbaar op https://github.com/XingyuQu/muon-finetune.

Het afstemmen van multimodale grote taalmodellen (MLLM's) vereist betrouwbare beloningsmodellen, maar bestaande eenstapsevaluatoren kunnen last hebben van lui beoordelen, door taalprioriteiten te gebruiken in plaats van fijnmazige visuele verificatie. Hoewel rubric-gebaseerde evaluatie deze vertekeningen in tekst-only omgevingen vermindert, wordt de uitbreiding ervan naar multimodale taken belemmerd door de complexiteit van visueel redeneren. De cruciale verschillen tussen antwoorden hangen vaak af van instantie-specifieke visuele details. Robuuste evaluatie vereist het dynamisch synthetiseren van rubrics die ruimtelijke en feitelijke discrepanties isoleren. Om dit aan te pakken introduceren we DeltaRubric, een aanpak die multimodale preferentie-evaluatie herformuleert als een plannings- en uitvoeringsproces binnen één enkele MLLM. DeltaRubric werkt in twee stappen: eerst fungeert het model als een Discrepantieplanner en genereert het een neutrale, instantie-specifieke verificatiechecklist. Vervolgens schakelt het over naar een Checklistverificateur, waarbij het deze zelf gegenereerde controles uitvoert op de afbeelding en vraag om tot een gefundeerd oordeel te komen. We formuleren DeltaRubric als een multi-rol reinforcement learning-probleem, waarbij we de plannings- en verificatiecapaciteiten gezamenlijk optimaliseren. Geverifieerd op Qwen3-VL 4B- en 8B Instruct-modellen behaalt DeltaRubric solide empirische winst. Op VL-RewardBench bijvoorbeeld verbetert het de algehele nauwkeurigheid van het basismodel met +22,6 (4B) en +18,8 (8B) punten, waarmee het de standaard baseline zonder rubric ruimschoots overtreft. De resultaten tonen aan dat het opsplitsen van evaluatie in gestructureerde, verifieerbare stappen leidt tot betrouwbaardere en beter generaliseerbare multimodale beloningsmodellering.

On-policy distillatie biedt dichte, per-token supervisie voor het trainen van redeneermodellen; het blijft echter onduidelijk onder welke omstandigheden dit signaal gunstig is en onder welke het schadelijk is. Welk docentmodel moet worden gebruikt, en in het geval van zelf-distillatie, welke specifieke context moet dienen als het superviserende signaal? Varieert de optimale keuze van token tot token? Momenteel vereisen deze vragen doorgaans kostbare trainingsruns waarvan de geaggregeerde prestatiestatistieken de dynamiek op het niveau van individuele tokens verdoezelen. We introduceren een diagnosekader zonder training dat opereert op de hoogste resolutie: per token, per vraag en per docent. We leiden een ideale per-node gradiënt af, gedefinieerd als de parameterupdate die de kans van de student op succes maximaal vergroot. Vervolgens ontwikkelen we een schaalbaar gericht-rollout algoritme om deze gradiënt efficiënt te schatten, zelfs voor lange ketens van tussentijdse gedachten. De gradiëntovereenkomstscore, gedefinieerd als de cosinusovereenkomst tussen deze ideale gradiënt en een gegeven distillatiegradiënt, kwantificeert de mate waarin een specifieke configuratie het ideale signaal benadert. In een reeks van zelf-distillatie-instellingen en externe docentmodellen observeren we dat distillatiesturing een aanzienlijk hogere overeenkomst met het ideaal vertoont op foute rollouts dan op correcte, waar de student al goed presteert en het signaal van de docent vaak ruis wordt. Bovendien vinden we dat de optimale distillatiecontext afhangt van zowel de capaciteit van het studentmodel als de doel taak, en dat er geen universeel effectieve configuratie naar voren komt. Deze bevindingen motiveren het gebruik van per-taak, per-token diagnostische analyses voor distillatie.

Volstaat een lexicale retriever wanneer grote taalmodelen (LLM's) beter worden in een agentische loop? Deze vraag komt vanzelfsprekend naar voren bij het bouwen van diepe onderzoekssystemen. Wij onderzoeken dit opnieuw door BM25 te combineren met geavanceerde LLM's die betere redeneer- en toolgebruikvaardigheden hebben. Om onderzoekers te ondersteunen die dezelfde vraag stellen, introduceren we Pi-Serini, een zoekagent uitgerust met drie tools voor het ophalen, doorbladeren en lezen van documenten. Onze resultaten tonen aan dat op BrowseComp-Plus een goed geconfigureerde lexicale retriever met voldoende ophaaldiepte effectief diep onderzoek kan ondersteunen in combinatie met capabelere LLM's. Specifiek behaalt Pi-Serini met gpt-5.5 een antwoornauwkeurigheid van 83,1% en een recall van blootgelegd bewijs van 94,7%, wat beter presteert dan vrijgegeven zoekagentschappen die dense retrievers gebruiken. Gecontroleerde ablatieonderzoeken laten verder zien dat BM25-optimalisatie de antwoornauwkeurigheid met 18,0% verbetert en de recall van blootgelegd bewijs met 11,1% ten opzichte van de standaard BM25-instelling, terwijl een grotere ophaaldiepte de recall van blootgelegd bewijs met 25,3% verbetert ten opzichte van de instelling met ondiepe retrievals. De broncode is beschikbaar op https://github.com/justram/pi-serini.

We presenteren Metal-Sci, een benchmark met 10 taken voor wetenschappelijke Apple Silicon Metal-rekenkernels die zes optimalisatiegebieden beslaan (stencils, alle-paren in n-lichamen-problemen, multi-veld-Boltzmann, buurlijst-moleculaire-dynamica, multi-kernel-PDE, FFT). Elke taak bevat een CPU-referentie, een roofline-verankerde fitnessfunctie en een uitgehouden generalisatiegrootte. We koppelen de benchmark aan een lichtgewicht harness voor automatisch kernel-onderzoek die elke kandidaat tijdens runtime compileert, deze scoort tegen de roofline over meerdere groottes, en gestructureerde compileer- en per-grootte-correctheidsdiagnostiek terugvoert naar een bevroren LLM die een (1+1) evolutionaire lus aanstuurt. We rapporteren gematchte single-model-sweeps van Claude Opus 4.7, Gemini 3.1 Pro en GPT 5.5 op M1 Pro: zelfversnellingen binnen de verdeling variëren van 1,00x tot 10,7x. Naast ruwe versnelling is onze centrale methodologische claim structureel: de vaste gate-scorefunctie Φ_T (eenmalig geëvalueerd aan het einde van de run op een configuratie die de agent tijdens de zoektocht nooit ziet) fungeert als een goedkope mechanische toezichtsprimitieve op deze automatische zoeklus, en vangt bijvoorbeeld een Opus-sjabloon <uint D> HMC-win dat verkeerde samples retourneert op ongeziene dimensies, en een GPT-FFT3D-beste dat binnen de verdeling wint met 2,95x versnelling maar instort tot 0,23x op een uitgehouden 256³-kubus – een stille regressie die de score binnen de verdeling alleen niet kan zien. Code op https://github.com/vicgalle/metal-sci-kernels.

Agent-gecompileerde kennisbanken bieden persistente externe kennis voor grote taalmodel (LLM) agenten in open, kennisintensieve stroomafwaartse taken. Toch wordt hun kwaliteit systematisch beperkt door onvolledigheid, onjuistheid en redundantie, wat zich uit in ontbrekend bewijs of cross-document koppelingen, claims met een lage betrouwbaarheid of onnauwkeurigheid, en problemen met ambiguïteit of coreferentieresolutie. Dergelijke gebreken verergeren bij iteratief gebruik, wat de retrieval-betrouwbaarheid en de prestaties op stroomafwaartse taken aantast. We presenteren DeepRefine, een algemeen op LLM gebaseerd redeneermodel voor agent-gecompileerde kennisverfijning, dat de kwaliteit van elke vooraf geconstrueerde kennisbank verbetert met gebruikersquery's, zodat deze geschikter wordt voor de stroomafwaartse taken. DeepRefine voert multi-turn interacties uit met de kennisbank, voert een abductieve diagnose uit over de interactiegeschiedenis, lokaliseert waarschijnlijke gebreken en voert gerichte verfijningsacties uit voor incrementele updates van de kennisbank. Om het verfijningsbeleid van DeepRefine te optimaliseren zonder goudreferenties, introduceren we een Gain-Beyond-Draft (GBD)-beloning en trainen we het redeneerproces end-to-end via versterkingsleren. Uitgebreide experimenten tonen consistente stroomafwaartse verbeteringen aan ten opzichte van sterke basislijnen.

Hoewel videofundatiemodellen uitblinken in het genereren van enkelvoudige shots, is realistische cinematografische verhalenvertelling inherent afhankelijk van complexe meervoudige shotsequenties. Verdere vooruitgang wordt belemmerd door het ontbreken van datasets die drie kernuitdagingen aanpakken: authentieke verhaallogica, tegenstrijdigheden in ruimtelijk-temporele tekst-video-afstemming, en het 'kopieer-plak'-dilemma dat veel voorkomt bij Subject-to-Video (S2V)-generatie. Om deze kloof te overbruggen introduceren we MuSS, een grootschalige, dual-track dataset die specifiek is ontworpen voor meervoudige shotvideo's en S2V-generatie. MuSS, afkomstig uit meer dan 3.000 films, ondersteunt expliciet zowel complexe montageovergangen als subjectgerichte verhalen. Voor de constructie van deze dataset hanteren we een baanbrekende progressieve bijschrijvingspijplijn die contextuele conflicten elimineert door eerst lokale shotnauwkeurigheid te waarborgen en vervolgens globale verhaalcoherentie af te dwingen. Cruciaal is dat we een cross-shot-koppelingsmechanisme implementeren om de S2V-kopieer-plak-shortcut fundamenteel uit te roeien. Samen met de dataset stellen we de Cinematic Narrative Benchmark voor, met een visueel-logisch gedreven paradigma en een nieuwe Anti-Copy-Paste Variance (ACP-Var)-metriek om doorlopende verhalenvertelling en 3D-structurele consistentie strikt te beoordelen. Uitgebreide experimenten tonen aan dat, terwijl huidige basislijnen worstelen met continue verhaallogica of degenereren tot triviale 2D-stickergeneratoren, ons met MuSS verbeterde model een state-of-the-art verhalende effectiviteit en cross-shot-identiteitsbehoud bereikt.

Grote taalmodellen (Large Language Models, LLM's) hebben opmerkelijke vooruitgang geboekt op het gebied van wiskundig redeneren, maar deze vaardigheid is niet in gelijke mate toegankelijk voor alle talen. Vooral talen met weinig bronnen vertonen een aanzienlijk lagere redeneerprestatie. Om dit aan te pakken, stellen we Crosslingual On-Policy Self-Distillation (COPSD) voor, dat het eigen redeneergedrag van een model in talen met veel bronnen overdraagt naar talen met weinig bronnen. COPSD gebruikt hetzelfde model als student en docent: de student krijgt alleen het probleem in de taal met weinig bronnen te zien, terwijl de docent geprivilegieerde crosslinguale context krijgt, inclusief de vertaling van het probleem en de referentie-oplossing in het Engels. De training minimaliseert de token-niveau divergentie van de volledige verdeling over de eigen rollouts van de student, wat dichte supervisie biedt en de schaarste en instabiliteit van op uitkomsten gebaseerde versterkingleren (reinforcement learning, RL) vermijdt. Experimenten op 17 Afrikaanse talen met weinig bronnen tonen aan dat COPSD consequent het wiskundig redeneren in talen met weinig bronnen verbetert, ongeacht de modelgrootte, en aanzienlijk beter presteert dan Group Relative Policy Optimization (GRPO). Verdere analyses laten zien dat COPSD de conformiteit met antwoordformaten verbetert, de schaling tijdens het testen versterkt en generaliseert naar moeilijkere meertalige redeneerbenchmarks, met name grote winsten voor talen met nog minder bronnen. We maken onze code en gegevens beschikbaar op: https://github.com/cisnlp/COPSD.

Wij presenteren een nieuw openbaar toegankelijk corpus van 100.502 filmrecensies uit Kazachstan, verzameld van kino.kz, dat de periode 2001-2025 beslaat en 4.943 unieke titels omvat. De dataset is meertalig en bestaat voornamelijk uit Russische recensies, naast Kazachse en gemengdtalige teksten. Recensies zijn handmatig geannoteerd op taal en sentimentpolariteit, en 11.309 recensies bevatten bovendien expliciete door gebruikers verstrekte beoordelingen. We definiëren twee sentimenttaken – driedelige polariteitsclassificatie en vijfklassenscoreclassificatie – en benchmarken klassieke BoW/TF-IDF-baselines tegen meertalige transformermodellen (mBERT, XLM-RoBERTa, RemBERT). Experimentele resultaten tonen aan dat transformermodellen consistent beter presteren dan klassieke baselines op polariteitsclassificatie, terwijl scoreclassificatie onder lekkage-gecontroleerde evaluatie uitdagend blijft vanwege ernstige klasse-onbalans en subtiele verschillen tussen aangrenzende beoordelingsniveaus.

Het begrijpen van lange video's in VLMs wordt beperkt door een enkele monolitische forward pass over duizenden frames met kwadratische aandachtskosten. Een gebruikelijke oplossing is om eerst een kleine subset van informatieve frames te selecteren vóór de forward pass; dit is gebruikelijk voor trainingsvrije selectoren via overeenkomsten in de hulpencoderruimte. Dergelijke signalen worden begrensd door contrastieve pretraining, die meestal faalt bij redeneerzware queries (ontkenning, cross-frame tellen, holistische samenvatting). Wij stellen GridProbe voor, een efficiënt trainingsvrij posterior-probing-inferentieparadigma dat bewijs scoort in antwoordruimte met behulp van de eigen redenering van een bevroren VLM en vervolgens vraagrelevante frames adaptief selecteert, wat resulteert in subkwadratische aandachtskosten met weinig tot geen nauwkeurigheidsverlies. We rangschikken frames op een K×K-raster en voeren lichtgewicht rij-R- en kolom-C-probes uit, waarbij elke probe zijn piek posterior leest als een query-geconditioneerd vertrouwen. Het buitenproduct van R en C levert een interpreteerbare belangrijkheidskaart op waarvan de scheefheid en kurtosis de Shape-Adaptive Selection aandrijven, een gesloten-vormregel die het vaste framebudget M betrouwbaar vervangt door een per-vraag M_eff. We tonen empirisch aan dat M_eff de intrinsieke vraagmoeilijkheid volgt zonder ooit het antwoord te zien, een teken van adaptief rekenen tijdens de test. Op Video-MME-v2 evenaart GridProbe de monolitische baseline binnen 1,6 pp gemiddelde nauwkeurigheid bij 3,36× TFLOPs-reductie, terwijl het op LongVideoBench de baseline Pareto-domineert (+0,9 pp bij 0,35× rekenkracht). Omdat de selector en QA-modellen kunnen worden ontkoppeld, is het koppelen van een kleine 2B-selector met een sterkere 4B- of 8B-QA strikt Pareto-dominant over de 2B-monolitische baseline (tot +4,0 pp bij 0,52× rekenkracht, gemiddeld), zonder hertraining. Ten slotte opent de interpreteerbaarheid van de belangrijkheidskaarten toekomstige wegen voor gedragsdiagnostiek, gronding en frameselectiedistillatie.

Celtype-specifieke markergenen zijn fundamenteel voor de plantenbiologie, maar bestaande bronnen zijn voornamelijk gebaseerd op samengestelde databases of high-throughput-studies zonder expliciet het ondersteunende bewijsmateriaal uit de wetenschappelijke literatuur te modelleren. We introduceren PlantMarkerBench, een multi-soortbenchmark voor het evalueren van op literatuur gebaseerde interpretatie van plantmarkerbewijs uit volledige teksten van biologische artikelen. PlantMarkerBench is opgebouwd met behulp van een modulaire curatiepijplijn die grootschalige literatuurretrieval, hybride zoeken, soortsbewuste biologische onderbouwing, gestructureerde extractie van bewijsmateriaal en gerichte menselijke beoordeling integreert. De benchmark omvat vier plantensoorten – Arabidopsis, mais, rijst en tomaat – en bevat 5.550 bewijsinstanties op zinsniveau die zijn geannoteerd voor geldigheid van markerbewijs, type bewijs en ondersteuningssterkte. We definiëren twee benchmarktaken: het bepalen of een kandidaatzin geldig markerbewijs levert voor een gen-celtype-paar, en het classificeren van het bewijs in expressie, localisatie, functie, indirect of negatief. We benchmarken diverse open-gewichts- en closed-source-taalmodelen over soorten en promptstrategieën. Hoewel grensverleggende modellen relatief sterke prestaties leveren op direct expressiebewijs, nemen de prestaties aanzienlijk af bij functioneel, indirect en zwak ondersteunend bewijs, waarbij verwarring over het bewijstype naar voren komt als dominante faalmodus. Open-gewichtsmodellen vertonen bovendien verhoogde fout-positieve percentages onder dubbelzinnige biologische contexten. PlantMarkerBench biedt een uitdagend en reproduceerbaar evaluatiekader voor op literatuur gebaseerde attributie van biologisch bewijs en ondersteunt toekomstig onderzoek naar betrouwbare extractie van wetenschappelijke informatie en AI-ondersteunde plantenbiologie.

Geheugen is een cruciaal onderdeel van robotintelligentie, omdat robots moeten vertrouwen op eerdere observaties en acties om langetermijntaken in gedeeltelijk waarneembare omgevingen uit te voeren. Echter, bestaande roboticageheugenbenchmarks ontberen nog steeds multimodale annotaties voor geheugenvorming, bieden beperkte taakdekking en structurele complexiteit, en blijven beperkt tot simulatie zonder evaluatie in de echte wereld. We vullen deze leemte met RoboMemArena, een grootschalige benchmark van 26 taken, met gemiddelde trajectlengtes van meer dan 1.000 stappen per taak en 68,9% van de subtaken die geheugenafhankelijk zijn. De generatiepijplijn maakt gebruik van een visie-taalmodel (VLM) om subtaken te ontwerpen en samen te stellen, genereert volledige trajecten via atomaire functies en levert geheugengerelateerde annotaties, waaronder subtaakinstructies en native keyframe-annotaties, terwijl gekoppelde echte geheugentaken fysieke evaluatie ondersteunen. We ontwerpen verder PrediMem, een duaal systeem VLA waarin een hoogwaardige VLM-planner een geheugenbank beheert met recente en keyframe-buffers en een voorspellende codeerkop gebruikt om de gevoeligheid voor taakdynamiek te verbeteren. Uitgebreide experimenten op RoboMemArena tonen aan dat PrediMem alle baselines overtreft en inzichten biedt in geheugenbeheer, modelarchitectuur en schalingswetten voor complexe geheugensystemen.

Hoewel Mixture-of-Experts (MoE) de modelcapaciteit opschaalt zonder de rekenkracht evenredig te verhogen, creëert de enorme totale parameteromvang aanzienlijke opslag- en geheugentoegangsknelpunten, die een efficiënte implementatie aan de eindzijde belemmeren waarbij tegelijkertijd hoge prestaties, lage rekenkosten en een kleine opslagoverhead vereist zijn. Om deze eigenschappen te bereiken presenteren we DECO, een schaarse MoE-architectuur die is ontworpen om de prestaties van dichte Transformers te evenaren onder identieke totale parameterbudgetten en trainings-tokens. DECO maakt gebruik van de differentieerbare en flexibele ReLU-gebaseerde routering, versterkt door leerbare expert-specifieke schaling, die de bijdragen van gerouteerde en gedeelde experts adaptief in evenwicht brengt. Verder introduceren we NormSiLU, een activatiefunctie die invoer normaliseert vóór SiLU-operatoren, wat leidt tot een stabielere trend van de activatieverhouding van gerouteerde experts en een hoger intrinsiek schaarste-niveau. We identificeren ook een empirisch voordeel bij het gebruik van niet-gegate MLP-experts met ReLU-gebaseerde routering, wat wijst op de mogelijkheid van vereenvoudiging van de MoE-architectuur. Experimenten tonen aan dat DECO, met activatie van slechts 20% van de experts, de prestaties van dichte modellen evenaart en gevestigde MoE-baselines overtreft. Onze gespecialiseerde versnellingskern levert een 3,00 maal versnelling op echte hardware vergeleken met dichte inferentie. Codes en checkpoints worden vrijgegeven.

Wij introduceren Shepherd, een functioneel programmeermodel dat meta-agentoperaties op doelagenten formaliseert als functies, met kernoperaties gemechaniseerd in Lean. Shepherd registreert elke interactie tussen agent en omgeving als een getypeerde gebeurtenis in een Git-achtige uitvoeringstrace, waardoor elke eerdere toestand kan worden geforked en herspeeld. Het systeem forket het agentproces en het bestandssysteem 5 keer sneller dan Docker, met een hergebruik van de prompt-cache van >95% bij herspeling. We demonstreren het model aan de hand van drie toepassingen. Ten eerste, bij runtime-interventie verhoogt een live supervisor het slagingspercentage van paarprogrammeren van 28,8% naar 54,7% op CooperBench. Ten tweede, bij contrafeitelijke meta-optimalisatie overtreft vertakkend verkennen de baselines op vier benchmarks met tot 11 punten, terwijl de wandkloktijd met tot 58% wordt verminderd. Ten derde, bij Tree-RL training verbetert het forken van rollouts op geselecteerde beurten de TerminalBench-2-prestaties van 34,2% naar 39,4%. Deze resultaten vestigen Shepherd als een efficiënte infrastructuur voor het programmeren van meta-agenten. Wij stellen het systeem beschikbaar als open source om toekomstig onderzoek te ondersteunen.

Multimodale grote taalmodellen (MLLM's) ondervinden problemen met numerieke regressie onder langstaartige doelverdelingen. Token-niveau gesuperviseerde fine-tuning (SFT) en puntsgewijze regressiebeloningen zorgen voor een bias in het leren naar gebieden met een hoge dichtheid, wat leidt tot regressie-naar-het-gemiddelde gedrag en slechte prestaties op de staart. Wij identificeren het gebrek aan cross-sample relationele supervisie als een belangrijke beperking van bestaande MLLM-trainingsparadigma's. Om dit aan te pakken, stellen we een distributiebewust versterkend leerkader voor, gebaseerd op Group Relative Policy Optimization, dat batch-niveau vergelijkingsgebaseerde supervisie introduceert via een beloning op basis van de Concordantiecorrelatiecoëfficiënt om voorspelde en werkelijke verdelingen op elkaar af te stemmen wat betreft correlatie, schaal en gemiddelde. Het kader is plug-and-play en vereist geen architectuurwijzigingen. Experimenten op een uniforme reeks langstaartige regressiebenchmarks tonen consistente verbeteringen aan ten opzichte van SFT en bestaande MLLM-regressiemethoden, met bijzonder sterke winst in medium-shot en few-shot regimes.

Tokenizer-vrije taalmodellen elimineren de tokenizerstap van de taalmodelleringspijplijn door direct op bytes te werken; patch-gebaseerde varianten aggregeren verdere aaneengesloten byte-reeksen in patches voor efficiëntie. Echter, de gemiddelde patchgrootte die bij het modelontwerp wordt gekozen, bepaalt een strakke afweging: grotere patches verminderen de rekenlast en KV-cache-voetafdruk, maar verslechteren de modelkwaliteit. We herleiden deze afweging tot patch-achterstand: totdat een patch volledig is waargenomen, moeten byte-voorspellingen erbinnen vertrouwen op een verouderde representatie van de vorige patch om causaliteit te behouden; deze achterstand wordt groter naarmate patches groter worden. We introduceren Scratchpad Patching (SP), dat tijdelijke scratchpads in elke patch invoegt om de tot nu toe geziene bytes te aggregeren en de patch-niveau context voor volgende voorspellingen te vernieuwen. SP activeert scratchpads met behulp van volgende-byte voorspellingsentropie, waarbij selectief rekenkracht wordt toegewezen aan informatie-dichte regio's en aanpassing achteraf van rekenkracht tijdens inferentie mogelijk wordt. In experimenten met natuurlijke taal en code verbetert SP de modelkwaliteit bij dezelfde patchgrootte; bijvoorbeeld, zelfs bij 16 bytes per patch, evenaren of benaderen SP-verbeterde modellen de byte-niveau baseline bij downstream-evaluaties, terwijl ze een 16 keer kleinere KV-cache over patches en 3-4 keer minder inferentie-rekenkracht gebruiken.

Het Sardisch, een Romaanse taal met ongeveer een miljoen sprekers, heeft een minimale aanwezigheid in moderne NLP. Commerciële diensten ondersteunen het niet, en huidige taalmodellen genereren het niet betrouwbaar. Wij presenteren LLiMba, een 3B parameter Sardisch-gereed model dat is aangepast van Qwen2.5-3B-Instruct door middel van voortgezette pretraining (CPT) en supervised fine-tuning (SFT) op een enkele 24 GB consumenten-GPU. Het corpus bevat 11,5 miljoen tokens Sardisch, verspreid over LSC, Logudorees en Campidanees, aangevuld met 2,4 miljoen tokens van verwante Romaanse tekst als replay tegen registervervaging. Na CPT bereikt het model een perplexiteit van 6,76 op vastgehouden Sardisch en presteert het beter dan de basis in alle zes FLORES-200-richtingen. Wij vergelijken vijf SFT-configuraties onder gelijkwaardige omstandigheden: volledige fine-tuning, LoRA r64, rsLoRA r128, rsLoRA r256 en DoRA r256. rsLoRA r256 wint in elke richting naar het Sardisch, met 28,5 BLEU vanuit het Engels tegen 17,3 na CPT en 21,0 met volledige fine-tuning. De rank-ablatie plaatst r128 tussen LoRA r64 en rsLoRA r256 op BLEU, maar onthult faalwijzen die onzichtbaar zijn voor de metriek, waaronder lekkage over schriften die geen andere variant produceert. LoRA r64 behoudt minder feitelijke inhoud uit SFT dan configuraties met een hogere rank en produceert meer zelfverzekerde fabricages, hoewel alle methoden fabriceren over inhoud die ontbreekt in de training. DoRA r256 levert de kleinste kloof tussen training en evaluatie, maar de slechtste feitelijke nauwkeurigheid. De bevindingen geven aan dat adaptercapaciteit belangrijker is dan de keuze tussen LoRA-varianten voor het aanpassen van een Romaanse voorgestructureerde basis aan een Romaans doeldomein met weinig bronnen, dat sterkere regularisatie niet uniform gunstig is, en dat vertaalmetrieken configuraties soepel ordenen waarvan het kwalitatieve gedrag categorisch verschilt. Perplexiteitsvergelijkingen tussen schriften moeten rekening houden met byte-fallback-tokenisatie, die de metriek verlaagt voor andere schriften dan het Latijnse.

Diffusietaalmodellen (DLMs) zijn recentelijk naar voren gekomen als een veelbelovend alternatief voor autoregressieve modellen, voornamelijk vanwege hun vermogen om parallel decoderen mogelijk te maken. Ondanks dit voordeel vertrouwen de meeste bestaande DLMs op een vaste generatielengte die voorafgaand aan het decoderen wordt gespecificeerd, wat hun flexibiliteit in praktijktoepassingen beperkt. Hoewel enkele recente werken proberen generatie met variabele lengte te ondersteunen, hebben ze doorgaans aanzienlijke beperkingen: sommige vereisen kostbare hertraining om outputs van variabele lengte mogelijk te maken, terwijl andere uitsluitend vertrouwen op lokale vertrouwenssignalen tijdens het decoderen. Dergelijke lokale criteria slagen er niet in de evoluerende structuur van de sequentie vast te leggen, wat vaak leidt tot suboptimale generatiekwaliteit. In dit artikel stellen we een trainingsvrij, Bayesiaans gestructureerd decoderingsframework voor dat generatie met variabele lengte formuleert als een dynamisch structureel inferentieprobleem. Onze benadering formuleert generatie met variabele lengte als een dynamisch structureel inferentieprobleem, waarbij gezamenlijk de uitbreidingslengte, de blokgrenzen en het decoderingsschema worden berekend. Bij elke stap van vensteruitbreiding integreert de methode lokale onzekerheid met structurele signalen via een uniform mechanisme dat dynamische gestructureerde generatie ondersteunt, inclusief zowel flexibele blokuitbreiding als blokorganisatie, terwijl coherentie behouden blijft. Uitgebreide experimenten op meerdere benchmarks tonen aan dat onze benadering de generatiekwaliteit en flexibiliteit aanzienlijk verbetert in vergelijking met bestaande baselines met vaste en variabele lengte. Deze resultaten benadrukken het voordeel van Bayesiaans gestructureerd decoderen voor diffusietaalmodellen, en bieden een principeel en efficiënt oplossing voor gestructureerde tekstgeneratie.

LLM/VLM-gebaseerde digitale agenten hebben zich snel ontwikkeld dankzij schaalbare zandbakken voor coderen, webnavigatie en computergebruik, die rijke interactieve trainingsomgevingen bieden. Daarentegen missen geïmplementeerde agenten nog steeds overvloedige, diverse en automatisch gegenereerde 3D-omgevingen voor interactief leren. Bestaande geïmplementeerde simulatoren zijn afhankelijk van handmatig ontworpen scènes of procedurele sjablonen, terwijl recente LLM-gebaseerde 3D-generatiesystemen voornamelijk statische scènes produceren in plaats van inzetbare omgevingen met verifieerbare taken en standaard leerinterfaces. We introduceren SimWorld Studio, een open-source platform gebouwd op Unreal Engine 5 voor het genereren van evoluerende geïmplementeerde leeromgevingen. De kern is SimCoder, een tool/vaardigheid-verbeterde codeeragent die engine-niveau code schrijft en uitvoert om fysiek verankerde 3D-werelden te construeren op basis van taal-/beeldinstructies. SimCoder evolueert zelf door gebruik te maken van verificatorfeedback (bijv. compilatiefouten, fysicacontroles, VLM-kritieken) om omgevingen te herzien en autonoom herbruikbare tools en vaardigheden aan zijn bibliotheek toe te voegen. Gegenereerde werelden worden geëxporteerd als Gym-achtige omgevingen voor het leren van geïmplementeerde agenten. SimWorld Studio maakt verder co-evolutie mogelijk tussen omgevingsgeneratie en geïmplementeerd leren: feedback over de prestaties van agenten leidt SimCoder ertoe adaptieve curricula te genereren nabij de vaardigheidsgrens van de leerling, zodat omgevingen steeds uitdagender worden naarmate de geïmplementeerde agent verbetert. Drie casestudies over geïmplementeerde navigatie tonen aan dat zelfevolutie de generatiebetrouwbaarheid verbetert, gegenereerde omgevingen de prestaties van de geïmplementeerde agent aanzienlijk verbeteren, wat generaliseert naar onbekende benchmarks, en co-evolutie levert een winst van 18 procentpunten in succespercentage op ten opzichte van leren in een vaste omgeving en een winst van 40 procentpunten ten opzichte van een ongetrainde agent.

Joint-Embedding Predictive Architectures (JEPA's) bieden een eenvoudig raamwerk voor het leren van wereldmodellen door toekomstige latente representaties te voorspellen. JEPA-training is echter onderhevig aan een bias-variantie-afweging. Zonder voldoende structurele beperkingen leidt overmatige representatievariantie ertoe dat het model instort tot triviale oplossingen. Het recente LeWorldModel (LeWM) laat zien dat dit probleem kan worden verholpen door eenvoudigweg latente embeddings te beperken met een isotrope Gaussiaanse prior. Latente representaties liggen echter inherent op laagdimensionale manifolds binnen een hoogdimensionale omgevingsruimte, en het rechtstreeks opleggen van een isotrope Gaussiaanse prior in deze omgevingsruimte introduceert een te sterke bias. In dit werk stellen we Sub-JEPA voor, dat een gunstig werkpunt op de bias-variantiegrens zoekt door Gaussiaanse beperkingen toe te passen in meerdere willekeurige deelruimten in plaats van in de oorspronkelijke embeddingruimte. Dit ontwerp versoepelt de globale beperking terwijl het anti-instorteffect behouden blijft, wat leidt tot een betere balans tussen trainingsstabiliteit en representatieflexibiliteit. Uitgebreide experimenten in vier continue besturingsomgevingen tonen aan dat Sub-JEPA consequent en met zeer duidelijke marges beter presteert dan LeWM. Onze methode is eenvoudig maar effectief en dient als een sterke basislijn voor toekomstig JEPA-gebaseerd wereldmodelonderzoek. De code is beschikbaar op https://github.com/intcomp/Sub-JEPA.

Grootschalige taalmodellen opereren steeds vaker via een tussenliggende vaardigheidslaag die bemiddelt tussen gebruikersintentie en concrete taakuitvoering. Deze laag wordt algemeen beschouwd als een organisatorische abstractie, maar wij stellen dat het tevens een priviligegrens is die huidige modellen routinematig overschrijden. Wij presenteren FORTIS, een benchmark die overbevoegdheid in agentvaardigheden evalueert in twee fasen: of een model de minimaal toereikende vaardigheid selecteert uit een grote overlappende bibliotheek, en of het die vaardigheid uitvoert zonder uit te breiden naar bredere hulpmiddelen of acties dan de vaardigheid toestaat. Over tien geavanceerde modellen en drie domeinen heen vinden wij dat overbevoegd gedrag de norm is in plaats van de uitzondering. Modellen grijpen consequent naar vaardigheden en hulpmiddelen met een hogere bevoegdheid dan de taak vereist, en falen in beide fasen met percentages die zelfs voor de sterkste beschikbare modellen hoog blijven. Falen is bijzonder ernstig onder de alledaagse omstandigheden van echte gebruikersinteractie: onvolledige specificatie, gemaksframing, en nabijheid van vaardigheidsgrenzen. Geen van deze vereist een vijandige constructie. De resultaten geven aan dat de vaardigheidslaag, verre van agentgedrag in te perken, zelf een primaire bron van privilege-escaltie is in huidige systemen.

Biomoleculaire generatoren worden vaak aangepast met beloningsfeedback om het taakspecifieke nut te verbeteren, maar het uitsluitend nastreven van nut kan de generatie concentreren op een smalle familie van kandidaten. Het handhaven van diversiteit is moeilijk omdat steekproefdiversiteit een eigenschap op setniveau is. We introduceren Supergroup Relative Policy Optimization (SGRPO), een flexibel GRPO-achtig raamwerk dat direct beloningen construeert uit diversiteit op setniveau. Voor elke conditie bemonstert SGRPO een supergroep van kandidaatsets, vergelijkt hun diversiteit onder dezelfde conditie, en herverdeelt de groepsdiversiteitsbeloning naar individuele rollouts via leave-one-out diversiteitsbijdragen, alvorens deze te combineren met het nut op rolloutniveau. Dit ontwerp ontkoppelt SGRPO van een specifieke generator, nutsbeloning of diversiteitsmaatstaf, en maakt instantiatie met verschillende GRPO-achtige benaderingen mogelijk. We evalueren SGRPO op de novo ontwerp van kleine moleculen, pocket-gebaseerd ontwerp van kleine moleculen, en de novo eiwitontwerp, waarbij we het zowel met GRPO als met Coupled-GRPO instantiëren voor autoregressieve en discrete diffusiegeneratoren. Bij decoderingsoverzichten (decoding sweeps) verbreedt SGRPO de Pareto-grens van nut en diversiteit en behaalt het de beste grens-niveau metrics ten opzichte van voorgetrainde generatoren, GRPO en, waar van toepassing, geheugenondersteunde GRPO. Onze analyses tonen verder aan dat directe diversiteitsbeloningen op setniveau effectief blijven met kleine groepen en helpen om een bredere dekkingsgraad van de generatieverdeling te behouden tijdens nabewerking (post-training). De code is beschikbaar op https://github.com/IDEA-XL/SGRPO.

We presenteren een data-adaptieve methode voor parameter-efficiënte fine-tuning van grote neurale netwerken. Standaard lage-rang adaptatiemethoden verbeteren de efficiëntie door elke laagupdate te beperken tot een vaste lage-rang vorm, maar deze statische parameterisatie kan te rigide zijn wanneer de juiste correctie afhangt van de input en van de evoluerende dieptegewijze berekening van het netwerk. Onze aanpak vervangt een puur laaglokale adapter door een gedeeld bevraagbaar geheugen van lage-rang update-atomen. Voor elk blok lagen vormt het model een query op basis van de huidige lage-rang toestand en een lopende samenvatting van eerdere blokken, gebruikt deze query om via attention een inhoudsafhankelijke combinatie van gedeelde updatecomponenten op te halen, en past de resulterende gerouteerde operator toe binnen de lage-rang bottleneck. Op deze manier behoudt de methode de efficiëntie en schaalbaarheid van lage-rang adaptatie, terwijl de effectieve update kan variëren over inputs en herbruikbare structuur over lagen kan delen. De resulterende architectuur biedt een principieel middenweg tussen statische LoRA-achtige updates en volledig gegenereerde parameterupdates: hij blijft compact en parameter-efficiënt, terwijl hij dynamische, contextgevoelige adaptatie ondersteunt. Verder integreren we instructieregularisatie door de routeringslogits aan te vullen met een taal-geïnduceerde prior over update-atomen, waardoor de selectie van lage-rang transformaties wordt beïnvloed richting semantisch relevante richtingen, zonder onbeperkte parameterupdates te genereren. Experimenten op ruizige niet-lineaire regressietaken en LLM fine-tuning suggereren dat deze bevraagbare update-geheugen formulering de uiteindelijke testprestatie en trainingsstabiliteit kan verbeteren vergeleken met standaard lage-rang adaptatie, terwijl het een vergelijkbaar aantal trainbare parameters gebruikt.

Generaliseerbare nieuwe aanzichtssynthese heeft als doel om ongeziene aanzichten te renderen op basis van niet-gekalibreerde invoerafbeeldingen, zonder dat er per scène optimalisatie nodig is. Recente feed-forward-benaderingen op basis van 3D Gaussiaanse Splatting hebben veelbelovende efficiëntie en weergavekwaliteit laten zien. De meeste hiervan kennen echter een vast aantal Gaussianen toe aan elke pixel of voxel, waarbij ze geen rekening houden met de ruimtelijk variërende complexiteit van realistische scènes. Een dergelijke uniforme toewijzing verspilt vaak Gaussiaanse primitieven in gladde gebieden, terwijl er onvoldoende capaciteit is voor fijne structuren, complexe geometrie en hoogfrequente details. Dit motiveert ons om regioafhankelijke primitiefkardinaliteiten te voorspellen in plaats van overal een vast primitievenbudget op te leggen, wat een expressievere maar compacte 3D-scènerepresentatie mogelijk maakt. Daarom stellen we SplatWeaver voor, een generaliseerbaar nieuw aanzichtssyntheseframework dat in staat is om op een feed-forward-manier dynamisch Gaussiaanse primitieven over verschillende regio's toe te wijzen. Specifiek introduceert SplatWeaver kardinaliteit Gaussiaanse experts en een pixelniveau-routeringsschema, waarbij elke expert gespecialiseerd is in het produceren van een specifiek aantal primitieven van 0 tot M, en het routeringsschema deze experts coördineert om adaptief te bepalen hoeveel Gaussiaanse primitieven aan elke ruimtelijke locatie moeten worden toegewezen. Bovendien bevat SplatWeaver een hoogfrequente prior met een bijbehorende begeleidingsmodule en routeringsregularisatie om de expertselectie te stabiliseren en complexiteitsbewuste toewijzing te bevorderen. Door gebruik te maken van hoogfrequente structurele aanwijzingen wordt het routeringsproces gestimuleerd om meer Gaussiaanse primitieven toe te wijzen aan fijne structuren, complexe geometrie en getextureerde gebieden, terwijl overbodige primitieven in gladde gebieden worden onderdrukt. Uitgebreide experimenten in diverse scenario's tonen aan dat SplatWeaver consequent beter presteert dan state-of-the-art methoden, met getrouwere weergaven van nieuwe aanzichten en minder Gaussiaanse primitieven.

Dichte handcontactschatting vereist zowel een semantisch begrip op hoog niveau als een fijnmazige geometrische redenering van menselijke interactie om contactregio's nauwkeurig te lokaliseren. Recentelijk hebben multimodale grote taalmodellen (MLLMs) sterke capaciteiten getoond in het begrijpen van visuele semantiek, mogelijk gemaakt door visie-taal-priors die zijn geleerd uit grootschalige data. Het benutten van MLLMs voor dichte handcontactschatting blijft echter onderbelicht. Er zijn twee grote uitdagingen bij het toepassen van MLLMs op dichte handcontactschatting. Ten eerste is het coderen van expliciete 3D-handgeometrie moeilijk, omdat MLLMs voornamelijk opereren op visie- en taalmodaliteiten. Ten tweede blijft het vastleggen van fijnmazig contact op vertex-niveau uitdagend, omdat MLLMs de neiging hebben zich te richten op semantiek op hoog niveau in plaats van gedetailleerde geometrische redenering. Om deze uitdagingen aan te pakken, stellen we ContactPrompt voor, een trainingsvrije en zero-shot benadering voor dichte handcontactschatting met behulp van MLLMs. Om 3D-handgeometrie effectief te coderen, introduceren we een gedetailleerde handdeelsegmentatie en een per-onderdeel vertex-grid-representatie die gestructureerde, gelokaliseerde geometrische informatie biedt. Om nauwkeurige en efficiënte dichte contactvoorspelling mogelijk te maken, ontwikkelen we een meerfasige gestructureerde contactredenering met onderdeelconditionering, die geleidelijk de brug slaat tussen globale semantiek en fijnmazige geometrie. Daarom benut onze methode effectief de redeneringscapaciteiten van MLLMs terwijl het nauwkeurige dichte handcontactschatting mogelijk maakt. Verrassend genoeg presteert de voorgestelde benadering beter dan eerdere begeleide methoden die zijn getraind op grootschalige dichte contactdatasets, zonder enige training te vereisen. De codes zullen worden vrijgegeven.

Multimodale kennisbewerking (MKE) beoogt de interne kennis van grote visie-taalmodellen na implementatie te corrigeren, maar de gedragspatronen van bewerkte modellen blijven onderbelicht. In dit artikel identificeren we een systemische faalmodus in bewerkte modellen, genaamd Entity Identity Confusion (EIC): bewerkte modellen vertonen een absurd gedrag waarbij tekstuele queries over de identiteit van de oorspronkelijke entiteit onverwacht informatie over de nieuwe entiteit retourneren. Om EIC rigoureus te onderzoeken, construeren we EC-Bench, een diagnostische benchmark die direct onderzoekt hoe afbeelding-entiteit-bindingen verschuiven voor en na bewerking. Onze analyse onthult dat EIC voortkomt uit het feit dat bestaande methoden er niet in slagen onderscheid te maken tussen Afbeelding-Entiteit (A-E)-binding en Entiteit-Entiteit (E-E)-relationele kennis in het model, waardoor modellen E-E-associaties overmatig gaan gebruiken als een snelkoppeling: de afbeelding wordt nog steeds waargenomen als de oorspronkelijke entiteit, terwijl de naam van de nieuwe entiteit slechts dient als een onecht identiteitslabel. We verkennen verder mogelijke mitigatiestrategieën en tonen aan dat het beperken van bewerkingen tot de A-E-verwerkingsfase van het model ertoe leidt dat bewerkingen getrouwer aan de A-E-binding werken, waardoor EIC aanzienlijk wordt verminderd. Op basis van deze bevindingen bespreken we principiële desiderata voor getrouwe MKE en bieden we methodologische richtlijnen voor toekomstig onderzoek.

Dit artikel stelt een nieuwe aanpak voor om het probleem aan te pakken dat voorgetrainde VLA-modellen vaak niet in staat zijn om de prestaties effectief te verbeteren en aanpassingskosten te verlagen tijdens standaard gesuperviseerd finetunen (SFT). Sommige geavanceerde finetuningsmethoden met aanvullende trainingsdoelstellingen kunnen de prestaties verbeteren en het aantal convergentiestappen verminderen. Ze brengen echter doorgaans aanzienlijke rekenkundige overhead met zich mee vanwege de extra verliezen van deze hulpdoelstellingen. Om tegelijkertijd de verbeterde mogelijkheden van hulptraining te bereiken met de eenvoud van standaard SFT, ontkoppelen we de twee doelstellingen van hulpdoelstelling-SFT in de parameterruimte, namelijk het verbeteren van algemene capaciteiten en het aanpassen aan taakspecifieke actieverdelingen. Om dit doel te bereiken, hoeven we het model slechts te trainen tot convergentie op een kleinschalige takenverzameling met behulp van twee verschillende trainingsstrategieën, wat resulteert in twee gefinetunede modellen. Het parameterverschil tussen de twee modellen kan dan worden geïnterpreteerd als capaciteitsvectoren die worden geleverd door hulpdoelstellingen. Deze vectoren worden vervolgens samengevoegd met de voorgetrainde parameters om een in capaciteit verbeterd metamodel te vormen. Bovendien, wanneer standaard SFT wordt aangevuld met een lichtgewicht orthogonale regularisatieverlies, behaalt het samengevoegde model prestaties die vergelijkbaar zijn met die van met hulpdoelstellingen gefinetunede baselines, met een lagere rekenkundige overhead. Interne en externe experimenten tonen aan dat onze capaciteitsvectoren (1) effectief en veelzijdig zijn bij diverse modellen, (2) uit de doos kunnen generaliseren naar nieuwe omgevingen en belichamingen.

Recente methoden voor deepfake-detectie tonen een verbeterde generalisatie over datasets aan, maar de onderliggende mechanismen blijven onderbelicht. Wij introduceren de Alpha Blending-hypothese, die stelt dat geavanceerde framebased detectoren primair functioneren als zoekers naar alfamenging; in plaats van semantische anomalieën of specifieke generatieve neurale vingerafdrukken te leren, lokaliseren zij laagwaardige compositieartefacten die worden geïntroduceerd tijdens de integratie van gemanipuleerde gezichten in doelframes. Wij valideren de hypothese experimenteel en tonen aan dat deepfake-detectoren een hoge gevoeligheid vertonen voor zogenaamde zelfgemengde beelden (Self-Blended Images, SBI) en niet-generatieve manipulaties. Wij stellen de methode BlenD voor, die gebruikmaakt van een grootschalige, diverse dataset met uitsluitend echte gezichtsafbeeldingen, verrijkt met SBI. Deze benadering behaalt de beste gemiddelde generalisatie over datasets op 15 compositorische deepfake-datasets die tussen 2019 en 2025 zijn uitgebracht, zonder expliciet gegenereerde deepfakes te gebruiken tijdens de training. Bovendien tonen wij aan dat voorspellingen van expliciete mengingszoekers en modellen die bestand zijn tegen mengingsshortcuts sterk complementair zijn, wat een state-of-the-art AUROC van 94,0% oplevert in een ensembleconfiguratie. De code met experimenten en het getrainde model zullen openbaar worden vrijgegeven.

Proteïnefunctie wordt vaak gereguleerd door liganden die de richting van toestandsovergangen beïnvloeden, zoals agonisten en antagonisten, in plaats van een enkele conformatie te stabiliseren. Dit is met name van belang voor klinisch relevante G-eiwitgekoppelde receptoren (GPCR's), waar therapeutische werkzaamheid afhangt van functionele richtingsgevoeligheid. Structuurgebaseerde ontwerpmethoden optimaliseren binding aan statische conformaties en kunnen niet-irreversibele, directionele effecten niet representeren of systematisch onderscheid maken tussen agonist- en antagonistgedrag. Om deze lacune aan te pakken, introduceren wij Overgangsgerichte Discrete Diffusie voor Allosterisch Binderontwerp (TD3B), een sequentiegebaseerd generatief raamwerk dat bindmiddelen ontwerpt met gespecificeerd agonist- of antagonistgedrag via een directionele overgangscontroledoelstelling. TD3B combineert een doelbewuste Richtingsorakel, een zachte bindingsaffiniteitspoort en afgestemde finetuning van een voorgetraind discreet diffusiemodel, wat gerichte generatie van agonisten en antagonisten mogelijk maakt, losgekoppeld van bindingsaffiniteit en onbereikbaar met evenwichtsgebaseerde of uitsluitend op inferentie gebaseerde begeleidingsbaselines. De code en checkpoints zijn beschikbaar op https://huggingface.co/ChatterjeeLab/TD3B.

Wanneer een telefoongebruikagent schade voorkomt, toont dat dan veiligheid, of slechts een onvermogen om te handelen? Bestaande evaluaties kunnen dat vaak niet onderscheiden. Een schadelijke uitkomst kan worden vermeden omdat de agent het risico herkende en de veilige actie koos, of omdat hij het scherm niet begreep of geen enkele relevante actie kon uitvoeren. Deze gevallen hebben verschillende oorzaken en vragen om verschillende oplossingen, maar huidige benchmarks voegen ze vaak samen onder taaksucces, weigering of de uiteindelijke schadelijke uitkomst. Wij pakken dit probleem aan met PhoneSafety, een benchmark van 700 veiligheidscruciale momenten afkomstig uit echte telefooninteracties met meer dan 130 apps. Elk voorval isoleert de volgende beslissing op een riskant moment en stelt een eenvoudige vraag: neemt het model de veilige actie, de onveilige actie, of faalt het om iets nuttigs te doen? We evalueren acht representatieve telefoongebruikagenten onder dit raamwerk. Onze resultaten tonen twee hoofdpatronen. Ten eerste impliceert een sterker algemeen telefoongebruikvermogen niet betrouwbaar veiligere keuzes op riskante momenten. Modellen die beter presteren op gewone app-taken zijn niet altijd degenen die zich veiliger gedragen wanneer de volgende actie er toe doet. Ten tweede gedragen fouten waarbij niets nuttigs wordt gedaan zich als een capaciteitssignaal in plaats van een veiligheidssignaal: ze zijn geconcentreerd in visueel en operationeel veeleisendere omgevingen en blijven stabiel wanneer het evaluatieprotocol verandert. Over de modellen heen vallen de fouten uiteen in twee terugkerende patronen: onveilige keuzes in situaties waarin het model kan handelen maar verkeerd kiest, en onvermogen om te handelen in visueel en operationeel veeleisendere schermen. Kortom, een onschadelijke uitkomst is niet voldoende als bewijs van veiligheid. Het evalueren van telefoongebruikagenten vereist het scheiden van onveilige oordelen van het onvermogen om te handelen.

Leersnelheidsstappen worden meestal als hyperparameters behandeld. Dit artikel isoleert een lokale berekening van de geloofsruimte: wanneer een update wordt gemodelleerd als een geprojecteerde voorwaartse stap op de waarschijnlijkheidssimplex, betekent toelaatbaarheid contractiviteit in de natuurlijke KL/Bregman-geometrie. Onder dit model is de bovengrens van een toelaatbare stap geen afstemmingsslogan, maar een formule.

Het zwaarder wegen van hoogwaardige data in de pre-training van LLM's verbetert vaak de prestaties, maar in data-beperkte regimes, vooral bij overtraining, verhoogt sterker opwaarderen de herhaling en kan het de prestaties verslechteren. Standaard schalingswetten extrapoleren echter niet betrouwbaar over mengselrecepten of onder herhalingen, waardoor de selectie van optimale datarecepten bij schaling onderbepaald is. Om dit op te lossen introduceren we InfoLaw (Information Scaling Laws), een data-bewust schalingskader dat verlies voorspelt op basis van verbruikte tokens, modelgrootte, datamengselgewichten en herhaling. Het kernidee is om pre-training te modelleren als informatieaccumulatie, waarbij kwaliteit de informatiedichtheid regelt en herhaling schaalafhankelijke afnemende meeropbrengsten induceert. We verzamelen eerst de modelprestaties na training op datasets die variëren in schaal, kwaliteitsverdeling en herhalingsniveau. Vervolgens bouwen we de modellering voor informatie op, zodat informatie die modelprestaties nauwkeurig voorspelt. InfoLaw voorspelt prestaties op ongeziene datarecepten en grootschalige runs (tot 7B, 425B tokens) met een gemiddelde en maximale absolute fout van respectievelijk 0,15% en 0,96% in verlies, en het extrapoleert betrouwbaar over overtrainingsniveaus, wat efficiënte selectie van datarecepten onder wisselende rekenbudgetten mogelijk maakt.