Dagelijkse Papers

Het schalen van Diffusie-Transformators (DiT's) naar honderden lagen introduceert een structurele kwetsbaarheid: netwerken kunnen een stille, gemiddelde-gedomineerde instortingsstatus betreden die tokenrepresentaties homogeniseert en gecentreerde variatie onderdrukt. Door mechanistische auditing isoleren we de triggergebeurtenis van deze instorting als Gemiddelde Modus Schreeuwen (GMS). GMS kan optreden zelfs wanneer training stabiel lijkt, met een gemiddelde-coherente terugwaartse schok op residuele schrijvers die diepe residuele takken opent en het netwerk in een gemiddelde-gedomineerde toestand drijft. We tonen aan dat dit gedrag wordt aangedreven door een exacte decompositie van deze gradiënten in gemiddelde-coherente en gecentreerde componenten, verergerd door de structurele onderdrukking van attentie-logit gradiënten via de nulruimte van de Softmax Jacobiaan zodra waarden homogeniseren. Om dit aan te pakken stellen we Gemiddelde-Variantie Splitsing (GV-Split) Residuen voor, die een afzonderlijk bekrachtigde gecentreerde residuele update combineren met een lekkende romp-gemiddelde vervanging. Op een 400-laags enkelstroom DiT voorkomt GV-Split de divergente instorting die de niet-gestabiliseerde basislijn laat crashen; het volgt dicht het pre-crash traject van de basislijn terwijl het aanzienlijk beter blijft dan token-isotrope poortmethoden zoals LaagSchaal gedurende het volledige schema. Tot slot presenteren we een 1000-laags DiT als een schaalvalidatierun bij grensschalen, waarmee wordt vastgesteld dat de architectuur stabiel trainbaar blijft op extreme diepte.

Met de opkomst van online dansvideoplatforms en snelle vooruitgang in AI-gegenereerde inhoud (AIGC) is muziekgestuurde dansgeneratie een aantrekkelijke onderzoeksrichting geworden. Ondanks aanzienlijke vooruitgang in gerelateerde domeinen zoals muziekgestuurde 3D-dansgeneratie, posegestuurde beeldanimatie en audiogestuurde spraaksynthese, kunnen bestaande methoden niet direct worden aangepast aan deze taak. Bovendien worstelen de beperkte studies op dit gebied nog steeds om gezamenlijk een hoge visuele kwaliteit en realistische menselijke beweging te bereiken. Daarom presenteren wij MACE-Dance, een muziekgestuurd dansvideogeneratieraamwerk met een cascade van Mixture-of-Experts (MoE). De Motion Expert voert muziek-naar-3D-bewegingsgeneratie uit, terwijl kinematische plausibiliteit en artistieke expressiviteit worden afgedwongen, terwijl de Appearance Expert bewegings- en referentiegestuurde videosynthese uitvoert, met behoud van visuele identiteit met ruimtelijk-temporele coherentie. Specifiek maakt de Motion Expert gebruik van een diffusiemodel met een BiMamba-Transformer hybride architectuur en een Guidance-Free Training (GFT)-strategie, waarmee state-of-the-art (SOTA)-prestaties in 3D-dansgeneratie worden behaald. De Appearance Expert maakt gebruik van een ontkoppelde kinematisch-esthetische finetuningstrategie, waarmee state-of-the-art (SOTA)-prestaties in posegestuurde beeldanimatie worden behaald. Om deze taak beter te benchmarken, stellen wij een grootschalige en diverse dataset samen en ontwerpen wij een bewegings-uiterlijk evaluatieprotocol. Op basis van dit protocol behaalt MACE-Dance eveneens state-of-the-art prestaties. Code is beschikbaar op https://github.com/AMAP-ML/MACE-Dance.

Bestaande Flow Matching (FM) tekst-naar-beeldmodellen hebben te maken met twee kritieke knelpunten bij multi-task afstemming: de beloningsschaarste als gevolg van scalaire beloningen, en de gradientinterferentie die ontstaat door het gezamenlijk optimaliseren van heterogene doelstellingen. Samen leiden ze tot een 'seesaw-effect' van concurrerende metrieken en alomtegenwoordig reward hacking. Geïnspireerd door het succes van On-Policy Distillation (OPD) in de community van grote taalmodellen, introduceren we Flow-OPD, het eerste geïntegreerde post-training raamwerk dat on-policy destillatie in Flow Matching modellen integreert. Flow-OPD hanteert een tweetraps afstemmingsstrategie: het kweekt eerst domeinspecialistische docentmodellen via enkelbelonings GRPO fine-tuning, zodat elke expert zijn prestatiedak in isolatie kan bereiken; vervolgens wordt een robuust initieel policy gevestigd via een Flow-gebaseerd Cold-Start schema, waarna heterogene expertise naadloos wordt samengebracht in één enkele student via een driefasige orkestratie van on-policy sampling, taakrouteringslabeling en dichte supervisie op trajectniveau. We introduceren verder Manifold Anchor Regularization (MAR), dat een taakagnostische docent inzet voor volledige data-supervisie, waarmee generatie wordt verankerd aan een hoogwaardige manifold. Dit beperkt effectief de esthetische degradatie die vaak wordt waargenomen bij zuiver RL-gedreven afstemming. Gebouwd op Stable Diffusion 3.5 Medium, verhoogt Flow-OPD de GenEval-score van 63 naar 92 en de OCR-nauwkeurigheid van 59 naar 94, wat resulteert in een algehele verbetering van ruwweg 10 punten ten opzichte van standaard GRPO, terwijl beeldgetrouwheid en menselijke voorkeursafstemming behouden blijven en een opkomend 'docent-overtreffend' effect wordt vertoond. Deze resultaten vestigen Flow-OPD als een schaalbaar afstemmingsparadigma voor het bouwen van generalistische tekst-naar-beeldmodellen.

Reinforcement learning met verifieerbare beloningen (RLVR) is een standaardbenadering geworden voor de posttraining van grote taalmodellen (LLM's) om redeneercapaciteiten te stimuleren. Binnen bestaande recepten is een groepsgebaseerde beleidsgradiënt gangbaar, waarbij een groep antwoorden per prompt wordt gesampled en het beleid wordt bijgewerkt via groepsrelatieve voordeelsignalen. Dit werk onthult dat deze optimalisatiestrategieën een gemeenschappelijke geometrische structuur delen: elk definieert impliciet een doelverdeling op de responssimplex en projecteert daar naartoe via een eerste-ordebenadering. Voortbouwend op dit inzicht stellen we Lijstgewijze Beleidsoptimalisatie (LPO) voor om de doelprojectie expliciet uit te voeren, waarbij het impliciete doel wordt ontraadseld door de proximale RL-doelfunctie te beperken tot de responssimplex, en vervolgens het beleid projecteert via exacte divergentieminimalisatie. Dit raamwerk biedt (i) monotone verbetering van de lijstgewijze doelfunctie met begrensde, nulsom- en zelfcorrigerende projectiegradiënten, en (ii) flexibiliteit in divergentiekeuze met onderscheidende structurele eigenschappen via de ontkoppelde projectiestap. Bij diverse redeneertaken en LLM-backbones verbetert LPO consequent de trainingsprestaties ten opzichte van typische beleidsgradiëntbaselines onder overeenkomende doelen, terwijl het intrinsiek optimalisatiestabiliteit en responsdiversiteit behoudt.

Bestaande multimodale zoekagenten verwerken doeldomeinen sequentieel, waarbij ze per entiteit één tool-aanroep doen en cumulatieve overbodige interactierondes genereren wanneer een vraag uiteenvalt in onafhankelijke subopvragingen. Wij stellen dat effectieve multimodale agenten breder in plaats van langer moeten zoeken: ze moeten binnen één ronde meerdere gefundeerde query's gelijktijdig uitzenden. Daartoe presenteren we HyperEyes, een parallelle multimodale zoekagent die visuele grounding en retrieval in één atomaire actie samenvoegt, waardoor gelijktijdig zoeken naar meerdere entiteiten mogelijk wordt en de inferentie-efficiëntie als een eersteklas trainingsdoel wordt behandeld. HyperEyes wordt in twee fasen getraind. Voor koude-start supervisie ontwikkelen we een voor parallelle verwerking geschikte datasynthesepijplijn die zowel visuele multi-entiteitsvragen als tekstuele multi-constraint vragen omvat, en via Progressieve Verwerpingssteekproef efficiëntiegerichte trajecten cureert. Voortbouwend hierop is onze centrale bijdrage, een Dual-Grained Efficiency-Aware Reinforcement Learning-raamwerk, werkzaam op twee niveaus. Op macroniveau stellen we TRACE (Tool-use Reference-Adaptive Cost Efficiency) voor, een beloning op trajectniveau waarvan de referentie tijdens de training monotoon wordt aangescherpt om overbodige tool-aanroepen te onderdrukken zonder legitieme meerhopszoekopdrachten te beperken. Op microniveau passen we On-Policy Distillation aan om dichte token-niveau corrigerende signalen van een externe leraar te injecteren bij mislukte uitrols, wat het credit-assignmentprobleem van schaarse uitkomstbeloningen vermindert. Aangezien bestaande benchmarks alleen nauwkeurigheid als maatstaf gebruiken en inferentiekosten negeren, introduceren we IMEB, een door mensen samengestelde benchmark van 300 instanties die zowel zoekcapaciteit als efficiëntie gezamenlijk evalueert. Op zes benchmarks overtreft HyperEyes-30B de sterkste vergelijkbare open-source agent met 9,9% in nauwkeurigheid en gemiddeld 5,3x minder tool-aanroeprondes.

Testtijdschaling (TTS) is een effectieve aanpak geworden om de prestaties van grote taalmodellen te verbeteren door extra rekenkracht toe te wijzen tijdens het redeneren. Bestaande TTS-strategieën zijn echter grotendeels handmatig ontworpen: onderzoekers ontwerpen handmatig redeneerpatronen en stemmen heuristieken af op intuïtie, waardoor een groot deel van de ruimte voor rekentoewijzing onverkend blijft. Wij stellen een omgevingsgestuurd raamwerk voor, AutoTTS, dat verandert wat onderzoekers ontwerpen: van individuele TTS-heuristieken naar omgevingen waarin TTS-strategieën automatisch kunnen worden ontdekt. De sleutel tot AutoTTS ligt in het construeren van de omgeving: de ontdekkingsomgeving moet de controleruimte hanteerbaar maken en goedkope, frequente feedback bieden voor het zoeken naar TTS. Als concrete uitwerking formuleren we breedte-diepte TTS als controllersynthese over vooraf verzamelde redeneertrajecten en probesignalen, waarbij controllers beslissen wanneer ze vertakken, doorgaan, een probe uitvoeren, snoeien of stoppen, en die goedkoop kunnen worden geëvalueerd zonder herhaalde LLM-aanroepen. We introduceren verder bètaparametrisatie om het zoeken hanteerbaar te maken en gedetailleerde uitvoeringsspoorfeedback om de ontdekkingsefficiëntie te verbeteren doordat de agent kan diagnosticeren waarom een TTS-programma faalt. Experimenten op wiskundige redeneerbenchmarks tonen aan dat de ontdekte strategieën de algehele afweging tussen nauwkeurigheid en kosten verbeteren ten opzichte van sterke handmatig ontworpen baselines. De ontdekte strategieën generaliseren naar niet-geziene benchmarks en modelschalen, terwijl de gehele ontdekking slechts $39,9 en 160 minuten kost. Onze gegevens en code zullen open source beschikbaar zijn op https://github.com/zhengkid/AutoTTS.

Vooruitgang in belichaamde intelligentie is in toenemende mate afhankelijk van schaalbare data-infrastructuur. Hoewel visie en taal zijn opgeschaald met internetcorpora, blijft het leren van fysieke interactie beperkt door het ontbreken van grote, diverse en rijkelijk geannoteerde data over menselijke activiteit. We presenteren HumanNet, een mensgericht videocorpus van één miljoen uur dat vastlegt hoe mensen op schaal met de fysieke wereld interageren. HumanNet omvat zowel first-person- als third-person-perspectieven en dekt fijnmazige activiteiten, mens-objectinteracties, gereedschapsgebruik en langdurige gedragingen in diverse realistische omgevingen. Naast ruwe video biedt de dataset interactiegerichte annotaties, waaronder bijschriften, bewegingsbeschrijvingen en hand- en lichaamsgerelateerde signalen, wat beweging- en interactiebewust leren mogelijk maakt. Naast schaal introduceert HumanNet een systematisch datacuratieparadigma voor belichaamd leren, waarbij mensgerichte filtering, temporele structurering, perspectiefdiversiteit en annotatieverrijking worden behandeld als eersteklas ontwerpprincipes. Dit ontwerp transformeert ongestructureerde internetvideo tot een schaalbaar substraat voor representatieleren, activiteitsbegrip, bewegingsgeneratie en mens-naar-robotoverdracht. We voeren een eerste validatie uit van de waarde van dit ontwerp via gecontroleerde visie-taal-actie-ablatie: onder een vaste set validatiedata overtreft voortgezette training van het Qwen VLM-model met 1000 uur egocentrische video uit HumanNet de voortgezette training met 100 uur echte robotdata van Magic Cobot, wat aangeeft dat egocentrische menselijke video een schaalbaar en kosteneffectief alternatief kan zijn voor robotdata. Met het opzetten van dit project streven we ernaar de mogelijkheid te verkennen om belichaamde funderingsmodellen op te schalen met behulp van mensgerichte video's, in plaats van uitsluitend te vertrouwen op robotspecifieke data.

Het trainen van multimodale grote taalmodellen wordt al lang beperkt door de schaarste aan hoogwaardige gepaarde multimodale gegevens. Recent onderzoek toont aan dat de gedeelde representatieruimte van voorgetrainde multimodale contrastieve modellen als brug kan dienen, waardoor modellen multimodale training kunnen uitvoeren met unimodale gegevens. De belangrijkste premisse van dit paradigma blijft echter onvoldoende begrepen: kunnen representaties uit verschillende modaliteiten betrouwbaar worden uitgewisseld? De kernobstakel ligt in de aanhoudende modaliteitskloof in de gedeelde ruimte. In dit werk herzien we de geometrische aard van de modaliteitskloof. We ontdekken dat modaliteitsrepresentaties reeds compatibele dominante semantische geometrie delen. Wat de uitwisselbaarheid van modaliteiten werkelijk belemmert, is niet een eenvoudige globale verschuiving, maar een anisotrope reststructuur geconcentreerd langs een klein aantal dominante richtingen. Op basis van deze bevinding stellen we verder het principe van anisotrope modaliteitskloofuitlijning voor: effectieve modaliteitsuitlijning moet aansluiten bij de doelmodaliteitsverdeling terwijl de semantische structuur van de bronmodaliteit behouden blijft. Geleid door dit principe stellen we een anisotroop geometrisch correctiekader voor, AnisoAlign, voor ongepaarde modaliteitsuitlijning. Dit kader maakt gebruik van de interne geometrische voorkennis van de doelmodaliteit en voert begrensde correctie uit op bronmodaliteitsrepresentaties, waardoor vervangende representaties in de doelmodaliteit worden geconstrueerd. Experimenten bevestigen de voordelen ervan in zowel geometrische diagnostiek als puur tekstgebaseerde MLLM-training. Al met al herformuleert dit werk de modaliteitskloof van een empirische observatie tot een corrigeerbaar, gestructureerd geometrisch fenomeen en biedt het een nieuw perspectief voor representatie-uitlijning voor het trainen van multimodale modellen met unimodale gegevens.

Codezoeken is gewoonlijk geëvalueerd als eerste-fase retrieval, hoewel productiesystemen vertrouwen op bredere pijplijnen met herordening en ontwikkelaar-achtige query's. Bestaande benchmarks lijden ook onder datacontaminatie, labelruis en ontaarde binaire relevantie. In dit artikel introduceren we CoREB, een contaminatie-beperkte, multitask code retrieval- en herordeningsbenchmark, samen met een fijn afgestelde codeherordener, die verder gaat dan retrieval om de volledige codezoekpijplijn te bestrijken. CoREB is gebouwd uit contrafeitelijk herschreven LiveCodeBench-problemen in vijf programmeertalen en wordt geleverd als tijdsgebonden releases met gestaffelde relevantiebeoordelingen. We benchmarken elf embeddmodellen en vijf herordenaars over drie taken: tekst-naar-code, code-naar-tekst en code-naar-code. Onze experimenten onthullen dat: \circone code-gespecialiseerde embeddings domineren code-naar-code retrieval ({sim}2{times} ten opzichte van algemene encoders), maar geen enkel model wint alle drie de taken; \circtwee korte trefwoordquery's, het formaat dat het dichtst bij echt ontwikkelaarzoeken staat, laten elk model instorten tot bijna nul nDCG@10; \circle drie kant-en-klare herordenaars zijn taak-asymmetrisch, met een 12-punts verschil op code-naar-code en geen baseline netto positief over alle taken; \circfour onze fijn afgestelde CoREB-Herordener is de eerste die consistente winst behaalt over alle drie de taken. De gegevens en het model worden vrijgegeven.

AI-agenten worden steeds vaker ingezet in uiteenlopende domeinen om complexe workflows te automatiseren via langetermijnacties met hoge inzet. Vanwege hun grote capaciteit en flexibiliteit brengen dergelijke agenten aanzienlijke beveiligings- en veiligheidsrisico's met zich mee. Een groeiend aantal incidenten in de praktijk toont aan dat tegenstanders agenten gemakkelijk kunnen manipuleren om schadelijke handelingen uit te voeren, zoals het lekken van API-sleutels, het verwijderen van gebruikersgegevens of het initiëren van ongeautoriseerde transacties. Het evalueren van agentbeveiliging is inherent uitdagend, omdat agenten opereren in dynamische, onbetrouwbare omgevingen met externe tools, heterogene gegevensbronnen en frequente gebruikersinteracties. Realistische, controleerbare en reproduceerbare omgevingen voor grootschalige risicobeoordeling blijven echter grotendeels onderbelicht. Om deze leemte aan te vullen introduceren we het DecodingTrust-Agent Platform (DTap), het eerste controleerbare en interactieve red-teamingplatform voor AI-agenten, dat veertien realistische domeinen en meer dan vijftig simulatieomgevingen bestrijkt die veelgebruikte systemen zoals Google Workspace, Paypal en Slack nabootsen. Om de risicobeoordeling van agenten in DTap te schalen, stellen we verder DTap-Red voor, de eerste autonome red-teamingagent die systematisch diverse injectievectoren (bijv. prompt, tool, vaardigheid, omgeving, combinaties) onderzoekt en autonoom effectieve aanvalsstrategieën ontdekt die zijn afgestemd op uiteenlopende kwaadaardige doelen. Met behulp van DTap-Red hebben we DTap-Bench samengesteld, een grootschalige red-teamingdataset met hoogwaardige instanties uit verschillende domeinen, elk gekoppeld aan een verifieerbare rechter om aanvalsresultaten automatisch te valideren. Via DTap voeren we grootschalige evaluaties uit van populaire AI-agenten gebouwd op verschillende backbone-modellen, die beveiligingsbeleid, risicocategorieën en aanvalsstrategieën omvatten, wat systematische kwetsbaarheidspatronen aan het licht brengt en waardevolle inzichten biedt voor het ontwikkelen van veilige agenten van de volgende generatie.

Diffusietransformers (DiT) die getraind zijn met flow matching in een VAE-latente ruimte hebben visuele generatie over afbeeldingen en video's verenigd. Een logische volgende stap richting een enkele architectuur voor zowel generatie (visuele synthese) als begrip (tekstgeneratie) is om dit raamwerk toe te passen op taalmodellering. We stellen TextLDM voor, dat het visuele latente diffusierecept overdraagt naar tekstgeneratie met minimale architecturale aanpassingen. Een op Transformers gebaseerde VAE wijst discrete tokens toe aan continue latents, verbeterd door Representation Alignment (REPA) met een bevroren voorgetraind taalmodel om representaties te produceren die effectief zijn voor conditionele ontruising. Een standaard DiT voert vervolgens flow matching uit in deze latente ruimte, identiek in architectuur aan zijn visuele tegenhanger. De centrale uitdaging die we aanpakken is het verkrijgen van hoogwaardige continue tekstrepresentaties: we vinden dat reconstructiegetrouwheid alleen niet voldoende is, en dat het afstemmen van latente kenmerken met een voorgetraind taalmodel via REPA cruciaal is voor de stroomafwaartse generatiekwaliteit. Getraind vanaf nul op OpenWebText2, presteert TextLDM aanzienlijk beter dan eerdere diffusietaalmodellen en evenaart GPT-2 onder dezelfde instellingen. Onze resultaten tonen aan dat het visuele DiT-recept effectief overdraagt naar taal, waarmee een concrete stap wordt gezet richting verenigde diffusiearchitecturen voor multimodale generatie en begrip.

Naarmate grote taalmodellen (LLM's) zich snel blijven ontwikkelen, worden ze steeds capabeler terwijl ze tegelijkertijd steeds langere contextlengtes vereisen. Om de inferentie-efficiëntie van langere contextverwerking te verbeteren, zijn er recentelijk verschillende nieuwe hybride architecturen met lage complexiteit voorgesteld die de rekenlast van inferentie met lange context effectief verlichten. Echter, bestaand onderzoek naar prefill-versnelling voor lange context blijft hoofdzakelijk gericht op sparse aandachtsmechanismen, die hun maximale snelheidswinst alleen behalen op modellen met volledige aandacht. Wanneer deze prefill-versnellingsmethoden worden overgebracht naar opkomende architecturen – zoals hybride lineaire/volledige aandacht of hybride schuifraam/volledige aandacht – lijden ze aanzienlijke prestatievermindering. Bovendien zijn dergelijke methoden over het algemeen onverenigbaar met continue batchverwerking, waardoor ze moeilijk te integreren zijn in moderne inferentie-engines zoals vLLM. Om dit aan te pakken stellen wij UniPrefill voor, een prefill-versnellingsraamwerk dat toepasbaar is op vrijwel elke modelarchitectuur en dat de berekening van het model direct op tokenniveau versnelt. Verder implementeren wij UniPrefill als een operator voor continue batchverwerking en breiden wij de planningsstrategie van vLLM uit om native ondersteuning te bieden voor prefill-decode co-processing en tensorparallel voor UniPrefill, waardoor naadloze integratie in vLLM mogelijk wordt. UniPrefill behaalt een snelheidswinst van tot 2,1x in Tijd-Tot-Eerste-Token (TTFT), waarbij de versnelling steeds duidelijker wordt naarmate het aantal gelijktijdige verzoeken toeneemt.

Reinforcement learning (RL) heeft het vermogen van grote taalmodellen (LLM's) om te interacteren met omgevingen en meerstapstaken op te lossen aanzienlijk verbeterd. Effectieve agentische RL blijft echter uitdagend: schaarse alleen-uitkomstbeloningen bieden beperkte begeleiding voor het toewijzen van credit aan afzonderlijke stappen binnen lange interactietrajecten. Bestaande benaderingen introduceren vaak dichte tussentijdse supervisie, zoals procesbeloningsmodellen of aanvullende zelfgesuperviseerde signalen, wat de supervisie- en afstelcomplexiteit vergroot en de generalisatie over taken en domeinen kan beperken. Wij presenteren AEM, een credit-toewijzingsmethode zonder supervisie die de entropiedynamiek tijdens RL-training adaptief moduleert om de exploratie-exploitatietrade-off te verbeteren. Omdat in agentische RL de omgeving typisch wordt beïnvloed door een volledige respons, en niet door een individuele token, verplaatst onze analyse de entropiedynamiek van het tokenniveau naar het responsniveau, waardoor de onzekerheidsschatting wordt afgestemd op de effectieve actiegranulariteit van LLM-agenten en de gevoeligheid voor token-niveausamplingruis wordt verminderd. Verder tonen we aan dat entropiedrift onder natuurlijke gradiëntupdates wordt geregeld door de interactie tussen de advantage van de gesamplede respons en de relatieve verrassing ervan. Gemotiveerd door dit resultaat leidt AEM een praktische responsniveau-onzekerheidsproxy af en gebruikt deze om advantages te herschalen, waarbij de evoluerende balans tussen positieve en negatieve monsters wordt benut om op natuurlijke wijze over te gaan van exploratie naar exploitatie. Uitgebreide experimenten op ALFWorld, WebShop en SWE-bench-Verified met modellen variërend van 1.5B tot 32B tonen aan dat AEM consequent sterke RL-baselines verbetert, waaronder een winst van +1,4% bij integratie in een state-of-the-art raamwerk voor RL-training in software-engineering.

Dynamisch ruimtelijk redeneren op basis van monoculair video is essentieel voor het overbruggen van visuele intelligentie en de fysieke wereld, maar blijft uitdagend voor visie-taalmodelen (VTM's). Eerdere benaderingen verbaliseren ruimtelijk-temporeel redeneren geheel als tekst, wat inherent omslachtig en onnauwkeurig is voor complexe dynamiek, of vertrouwen op externe geometrische modules die de inferentiecomplexiteit verhogen zonder het intrinsieke modelvermogen te bevorderen. In dit artikel presenteren we 4DThinker, het eerste raamwerk dat VTM's in staat stelt om 'met 4D te denken' via dynamische latente mentale beeldvorming, d.w.z. intern simuleren hoe scènes evolueren in de continue verborgen ruimte. Specifiek introduceren we eerst een schaalbare, annotatievrije datageneratiepijplijn die 4D-redeneergegevens synthetiseert uit ruwe video's. Vervolgens stellen we Dynamic-Imagery Fine-Tuning (DIFT) voor, dat zowel teksttokens als 4D-latenten gezamenlijk supervisort om het model te verankeren in dynamische visuele semantiek. Hierop voortbouwend pakt 4D Reinforcement Learning (4DRL) verdere complexe redeneertaken aan via op uitkomsten gebaseerde beloningen, waarbij beleidsgradiënten worden beperkt tot teksttokens om stabiele optimalisatie te waarborgen. Uitgebreide experimenten op meerdere dynamische ruimtelijke redeneringsbenchmarks tonen aan dat 4DThinker consequent beter presteert dan sterke basislijnen en een nieuw perspectief biedt voor 4D-redeneren in VTM's. Onze code is beschikbaar op https://github.com/zhangquanchen/4DThinker.

Met de schaalvergroting van deep learning-modellen tot miljarden parameters blijft de computationele kostprijs van fine-tuning een belangrijke barrière voor implementatie. Hoewel Low-Rank Adaptation (LoRA) de standaard is geworden voor parameter-efficiënte fine-tuning, vereist de noodzaak om een vooraf gedefinieerde, statische rang \(r\) in te stellen een uitputtende grid search om efficiëntie en prestaties in balans te brengen. Bestaande rang-adaptieve oplossingen zoals DyLoRA verhelpen dit door tijdens de training rangen te samplen uit een vooraf gedefinieerde verdeling. Ze leveren echter vaak suboptimale resultaten op bij hogere rangen door een gebrek aan consistente gradientsignalen over de volledige hiërarchie van rangen, waardoor deze methoden data-inefficiënt zijn. In dit artikel stellen we MatryoshkaLoRA voor, een algemeen, door Matryoshka geïnspireerd trainingsframework voor LoRA dat nauwkeurige hiërarchische laagrang-representaties leert door een vaste, zorgvuldig ontworpen diagonale matrix \(P\) tussen de bestaande LoRA-adapters in te voegen om hun subrangen dienovereenkomstig te schalen. Door deze eenvoudige wijziging in te voeren, herstelt ons algemene framework LoRA en DyLoRA door alleen \(P\) te veranderen en zorgt het ervoor dat alle subrangen de beschikbare gradientinformatie efficiënt inbedden. Onze MatryoshkaLoRA ondersteunt dynamische rangselectie met minimale degradatie in nauwkeurigheid. We stellen verder Area Under the Rank Accuracy Curve (AURAC) voor, een metriek die consistent de prestaties van hiërarchische laagrang-adapters evalueert. Onze resultaten tonen aan dat MatryoshkaLoRA nauwkeurigere hiërarchische laagrang-representaties leert dan eerdere rang-adaptieve benaderingen en superieure afwegingen tussen nauwkeurigheid en prestaties behaalt over rangen heen op de geëvalueerde datasets. Onze code is beschikbaar op https://github.com/IST-DASLab/MatryoshkaLoRA.

De theorie van toestandtracking in recursieve architecturen heeft zich voornamelijk gericht op de expressieve capaciteit: of een vaste architectuur in theorie een verzameling symbolische overgangsregels kan realiseren. Wij stellen dat foutcontrole even belangrijk is, de dynamiek die de drift van verborgen toestanden regelt langs de richtingen die symbolische toestanden onderscheiden. We bewijzen dat affiene recursieve netwerken, een klasse van modellen die toestandsruimtemodellen en lineaire aandacht omvat, fouten langs toestandsscheidende deelruimten niet kunnen corrigeren zodra ze toestandsrepresentaties behouden. Bijgevolg leren praktische affiene trackers geen robuuste toestandtracking; in plaats daarvan leren ze eindige horizonoplossingen die worden bepaald door opgehoopte toestandsrelevante fout. We karakteriseren de mechanica van dit falen en tonen aan dat tracking alleen leesbaar blijft zolang de oplopende binnen-klasse spreiding klein blijft ten opzichte van de initiële tussen-klasse scheiding. We tonen empirisch aan bij groepstoestandtrackingstaken dat deze ineenstorting voorspelbaar is: tracking stort in wanneer de onderscheidbaarheidsratio de leesbaarheidsdrempel van de getrainde decoder overschrijdt. Bij getrainde modellen voorspelt het punt van deze overschrijding de horizon waarop de stroomafwaartse nauwkeurigheid faalt. Deze resultaten bevestigen dat robuuste toestandtracking niet alleen wordt bepaald door de theoretische expressiviteit van een architectuur, maar ook cruciaal door de foutcontrole.

DeepSeek Sparse Attention (DSA) stelt de nieuwste standaard voor fijnmazige sparse aandacht tijdens inferentie door een aangeleerde token-gewijze indexeerder te introduceren die elke prefix-token scoort en de meest relevante selecteert voor de hoofdaandacht. Om expressief te blijven, gebruikt de indexeerder meerdere query-koppen (bijvoorbeeld 64 op DeepSeek-V3.2) die dezelfde geselecteerde tokenset delen; dit multi-head ontwerp is precies wat de indexeerder de dominante kostenpost maakt bij lange contexten. Wij stellen MISA (Mixture of Indexer Sparse Attention) voor, een directe vervanging voor de DSA-indexeerder die de indexeerder-koppen behandelt als een pool van Mixture-of-Experts. Een lichtgewicht router gebruikt goedkope blokniveau-statistieken om een query-afhankelijke subset van slechts enkele actieve koppen te kiezen, en alleen die koppen voeren de zware token-niveau scoring uit. Dit behoudt de diversiteit van de oorspronkelijke indexeerder-pool terwijl de kosten per query worden verminderd van het scoren van elke prefix-token met elke kop tot het scoren ervan met slechts een handvol gerouteerde koppen, plus een verwaarloosbare routerterm die wordt berekend op een kleine set samengevoegde sleutels. We introduceren verder een hiërarchische variant van MISA die de gerouteerde pas gebruikt om een vergrote kandidaatset te behouden en deze vervolgens herrangschikt met de originele DSA-indexeerder om de uiteindelijk geselecteerde tokens vrijwel exact te herwinnen. Met slechts acht actieve koppen en zonder extra training evenaart MISA de dichte DSA-indexeerder op LongBench voor DeepSeek-V3.2 en GLM-5, terwijl het respectievelijk acht en vier keer minder indexeerder-koppen gebruikt, en presteert het gemiddeld beter dan HISA. Het behoudt ook volledig groene 'Needle-in-a-Haystack'-heatmaps voor contexten tot 128K tokens en herwint meer dan 92% van de door de DSA-indexeerder per laag geselecteerde tokens. Onze TileLang-kernel levert een ruwe versnelling van 3,82 keer ten opzichte van DSA's originele indexeerder-kernel op een enkele NVIDIA H200 GPU.

Het synthetiseren van consistente en coherente lange video's blijft een fundamentele uitdaging. Bestaande methoden lijden onder semantische drift en narratieve ineenstorting over lange tijdshorizonten. Wij presenteren A²RD, een Agentische Autoregressieve Diffusiearchitectuur die creatieve synthese loskoppelt van consistentiehandhaving. A²RD formuleert lange videosynthese als een gesloten-loopproces dat video segment voor segment synthetiseert en zelf verbetert via een Retrieve–Synthesize–Refine–Update-cyclus. Het omvat drie kerncomponenten: (i) Multimodaal Videogeheugen dat videoprogressie over modaliteiten bijhoudt; (ii) Adaptieve Segmentgeneratie die schakelt tussen generatiemodi voor natuurlijke voortgang en visuele consistentie; en (iii) Hiërarchische Zelfverbetering tijdens de testfase die elk segment op frame- en videoniveau zelf verbetert om foutenvoortplanting te voorkomen. We introduceren verder LVBench-C, een uitdagende benchmark met niet-lineaire entiteits- en omgevingsovergangen om de consistentie over lange horizonnen te stress-testen. Op publieke benchmarks en LVBench-C, variërend van één tot tien minuten durende video's, presteert A²RD tot 30% beter dan state-of-the-art baselines in consistentie en 20% in narratieve coherentie. Menselijke evaluaties bevestigen deze winst en benadrukken ook opmerkelijke verbeteringen in bewegings- en overgangsvloeiendheid.

Zelfdistillatie (SD) biedt een veelbelovende manier om grote taalmodellen (Large Language Models, LLM's) aan te passen zonder afhankelijk te zijn van sterkere externe docenten. Echter, SD in autoregressieve LLM's blijft uitdagend omdat zelf gegenereerde trajecten vrij van vorm zijn, correctheid taakafhankelijk is, en plausibele onderbouwingen nog steeds instabiele of onbetrouwbare supervisie kunnen bieden. Bestaande methoden onderzoeken voornamelijk geïsoleerde ontwerpkeuzes, waardoor hun effectiviteit, rollen en interacties onduidelijk blijven. In dit artikel stellen we UniSD voor, een uniform raamwerk om zelfdistillatie systematisch te bestuderen. UniSD integreert complementaire mechanismen die toezichtbetrouwbaarheid, representatie-uitlijning en trainingsstabiliteit aanpakken, waaronder overeenstemming tussen meerdere docenten, EMA-docentstabilisatie, contrastief leren op token-niveau, kenmerkmatching en divergentieclipping. Over zes benchmarks en zes modellen uit drie modelfamilies onthult UniSD wanneer zelfdistillatie verbetert ten opzichte van statische imitatie, welke componenten de winst aandrijven, en hoe deze componenten interageren over taken heen. Geleid door deze inzichten construeren we UniSDfull, een geïntegreerde pijplijn die complementaire componenten combineert en de sterkste algehele prestatie behaalt, met een verbetering van +5,4 punten ten opzichte van het basismodel en +2,8 punten ten opzichte van de sterkste basislijn. Uitgebreide evaluatie benadrukt zelfdistillatie als een praktische en stuurbaare benadering voor efficiënte LLM-aanpassing zonder sterkere externe docenten.

Diepe generatieve modellen hebben zich snel ontwikkeld op het gebied van tekst en beeld, wat aanleiding geeft tot uniforme multimodale systemen die interleaved tekst-beeldsequenties kunnen begrijpen, redeneren en genereren. De meeste bestaande benaderingen combineren autoregressieve taalmodelle ring met diffusiegebaseerde beeldgeneratoren, waarbij een structurele mismatch ontstaat tussen causale tekstgeneratie en iteratieve visuele ruisonderdrukking. Wij stellen vast dat autoregressieve normalisatiestromen autoregressieve Transformers zijn – die dezelfde causale masker, KV-cachemechanisme en links-naar-rechtsstructuur delen als LLM's – wat ze het meest natuurlijke paradigma maakt voor echte uniforme multimodale generatie. We presenteren STARFlow2, gebouwd op de Pretzel-architectuur die een voorgetrainde VLM-stroom verticaal verweeft met een TarFlow-stroom via residuele skip-verbindingen, beide werkend onder hetzelfde causale masker. In combinatie met een diep-ondiepe stromingsontwerp en een uniforme FAE-latente ruimte maakt STARFlow2 cache-vriendelijke interleaved generatie mogelijk, waarbij zowel tekst- als visuele outputs direct de KV-cache ingaan zonder hercodering. Experimenten tonen sterke prestaties aan op benchmarks voor beeldgeneratie en multimodaal begrip, waarmee autoregressieve stromen worden gevalideerd als een levensvatbare basis voor uniforme multimodale modellering.

Op diffusie gebaseerde modellen ontleden sampling in vele kleine Gaussiaanse ontruisingsstappen – een aanname die niet meer opgaat wanneer generatie wordt gecomprimeerd tot enkele grove overgangen. Bestaande methoden met weinig stappen pakken dit aan via distillatie, consistentietraining of adversariële doelstellingen, maar verliezen daarbij het waarschijnlijkheidskader uit het oog. Wij introduceren Normalizing Trajectory Models (NTM), die elke omgekeerde stap modelleert als een expressieve conditionele normaliserende flow met exacte waarschijnlijkheidstraining. Architecturaal combineert NTM ondiepe inverteerbare blokken binnen elke stap met een diepe parallelle voorspeller over het traject, wat resulteert in een end-to-end netwerk dat vanaf nul getraind of geïnitieerd kan worden vanuit voorgetrainde flow-matching modellen. De exacte trajectwaarschijnlijkheid maakt bovendien zelfdistillatie mogelijk: een lichte ontruiser getraind op de eigen score van het model levert in vier stappen hoogwaardige monsters op. Op tekst-naar-beeld benchmarks evenaart of overtreft NTM sterke beeldgeneratiebasislijnen in slechts vier samplingstappen, terwijl het uniek de exacte waarschijnlijkheid over het generatieve traject behoudt.

Retrieval-Augmented Generation (RAG)-methoden verbeteren de prestaties van LLM's door efficiënt relevante context te filteren, waardoor hallucinaties en inferentiekosten worden verminderd. De meeste bestaande RAG-methoden richten zich echter op eenstapsretrieval, wat vaak onvoldoende is voor het beantwoorden van complexe vragen die meerstapszoekopdrachten vereisen. Recentelijk zijn er meerstapsretrieval-benaderingen ontstaan, die doorgaans bestaan uit het fijnstemmen van kleine LLM's om meerstapsretrieval uit te voeren. Dit type fijnstemming is zeer resource-intensief en maakt het gebruik van grotere LLM's niet mogelijk. In dit werk stellen we Q-RAG voor, een nieuwe benadering die het Embedder-model fijnstemt voor meerstapsretrieval met behulp van reinforcement learning (RL). Q-RAG biedt een concurrerend, resource-efficiënt alternatief voor bestaande meerstapsretrieval-methoden voor open-domein vraagbeantwoording en behaalt state-of-the-art resultaten op de populaire long-context benchmarks BabiLong en RULER voor contexten tot 10M tokens. Code is beschikbaar op https://github.com/griver/Q-RAG

Tokenizers vormen een cruciaal onderdeel van latente diffusiemodellen, omdat ze de latente ruimte definiëren waarin diffusiemodellen opereren. Bestaande tokenizers zijn echter voornamelijk ontworpen om de reconstructiegetrouwheid te verbeteren of voorgetrainde representaties over te nemen, waardoor onduidelijk blijft wat voor soort latente ruimte werkelijk vriendelijk is voor generatieve modellering. In dit artikel bestuderen we deze vraag vanuit het perspectief van de organisatie van het latente manifold. Door gecontroleerde tokenizervarianten te construeren, identificeren we drie belangrijke eigenschappen van een diffusievriendelijk latent manifold: coherente ruimtelijke structuur, lokale manifoldcontinuïteit en globale manifoldsemantiek. We stellen vast dat deze eigenschappen beter samenhangen met de downstream generatiekwaliteit dan met de reconstructiegetrouwheid. Gemotiveerd door deze bevinding introduceren we de Prior-Aligned AutoEncoder (PAE), die het latente manifold expliciet vormgeeft in plaats van het diffusievriendelijke manifold indirect te laten ontstaan uit reconstructie of overerving. Concreet maakt PAE gebruik van verfijnde prior-kennis afgeleid van VFMs en perturbatiegebaseerde regularisatie om ruimtelijke structuur, lokale continuïteit en globale semantiek om te zetten in expliciete trainingsdoelstellingen. Op ImageNet 256x256 verbetert PAE zowel de trainingsefficiëntie als de generatiekwaliteit ten opzichte van bestaande tokenizers, met prestaties vergelijkbaar met RAE maar met een tot 13x snellere convergentie onder dezelfde trainingsopzet, en bereikt een nieuwe state-of-the-art gFID van 1,03. Deze resultaten benadrukken het belang van het organiseren van het latente manifold voor latente diffusiemodellen.

De snelle convergentie van kunstmatige intelligentie (AI) naar conversationele chatbotinterfaces markeert een kritiek moment voor de industrie. Dit artikel stelt dat het chatbotparadigma geen neutrale interfacekeuze is, maar een dominante sociotechnische configuratie waarvan de wijdverbreide adoptie sociale, economische, juridische en milieusystemen hervormt. We onderzoeken hoe het primair behandelen van AI als conversationele assistenten uitgebreide structurele nadelen met zich meebrengt. We tonen aan dat op chatbots gebaseerde systemen vaak niet adequaat voldoen aan gebruikersbehoeften, met name in complexe of hoogbelangrijke contexten, terwijl ze vertrouwen en gezag uitstralen. We analyseren verder hoe de normalisering van chatbot-gemedieerde interactie patronen van werk, leren en besluitvorming verandert, wat bijdraagt aan ontvaardiging, homogenisering van kennis en verschuivende verwachtingen van expertise. Ten slotte onderzoeken we bredere maatschappelijke effecten, waaronder arbeidsverplaatsing, concentratie van economische macht en toegenomen milieukosten, gedreven door aanhoudende investeringen in grootschalige chatbotinfrastructuren. Hoewel we legitieme voordelen erkennen, stellen wij dat de huidige trajectorie van AI-ontwikkeling specifieke waardenkeuzes weerspiegelt die conversationele algemeenheid boven domeinspecificiteit, verantwoordingsplicht en langetermijnsamenwerkende duurzaamheid prioriteren. We sluiten af met het schetsen van alternatieve richtingen voor AI-ontwikkeling en -governance die verder gaan dan one-size-fits-all-chatbots, waarbij we de nadruk leggen op pluralistisch systeemontwerp, taakspecifieke instrumenten en institutionele waarborgen om sociale en economische schade te beperken.

Hoewel tekst-naar-beeldmodellen sterke vooruitgang hebben geboekt op het gebied van visuele getrouwheid, blijft het getrouw realiseren van complexe visuele intenties een uitdaging omdat veel vereisten moeten worden gevolgd over grounding, generatie en verificatie. We verwijzen naar deze vereisten als semantische commitmenten en formaliseren hun levenscyclusdiscontinuïteit als de Conceptuele Kloof, waarbij commitmenten lokaal kunnen worden opgelost of gecontroleerd, maar niet identificeerbaar blijven als dezelfde operationele eenheden gedurende de generatielevenscyclus. Om dit aan te pakken, stellen we SCOPE voor, een specificatie-gestuurd vaardigheidsorkestratieframework dat semantische commitmenten onderhoudt in een evoluerende gestructureerde specificatie en voorwaardelijk retrieval-, redeneer- en herstelvaardigheden oproept rondom niet-opgeloste of geschonden commitmenten. Om intentierealisatie op commitmentniveau te evalueren, introduceren we Gen-Arena, een door mensen geannoteerde benchmark met specificaties op entiteit- en constraintniveau, samen met Entity-Gated Intent Pass Rate (EGIP), een strikt entiteit-eerst slaagcriterium. SCOPE presteert aanzienlijk beter dan alle geëvalueerde baselines op Gen-Arena, met een EGIP van 0,60, en behaalt bovendien sterke resultaten op WISE-V (0,907) en MindBench (0,61), wat de effectiviteit aantoont van het persistent volgen van commitmenten voor complexe beeldgeneratie.

Continu leren, met name klasse-incrementeel leren (CIL) op basis van een voorgetraind model (PTM), heeft de afgelopen jaren aanzienlijke onderzoeksbelangstelling gekregen. Het blijft echter een open probleem hoe zowel onderscheidende als uitgebreide kenmerkrepresentaties effectief kunnen worden geleerd, terwijl stabiliteit en plasticiteit over zeer lange taakreeksen behouden blijven. Wij stellen CaRE voor, een schaalbare continue lerende met efficiënte Bi-Level Routing Mixture-of-Experts (BR-MoE). Het kernidee van BR-MoE is een mechanisme met twee niveaus van routering: een routerselectiefase die dynamisch relevante taakspecifieke routers activeert, gevolgd door een expertrouteringsfase die dynamisch experts activeert en aggregeert, met als doel onderscheidende en uitgebreide representaties in elke tussenliggende netwerklaag in te brengen. Daarnaast introduceren we een uitdagende dataset, OmniBenchmark-1K, voor prestatie-evaluatie van CIL op zeer lange taakreeksen met honderden taken. Uitgebreide experimenten tonen aan dat CaARE toonaangevende prestaties levert op een verscheidenheid aan datasets en taakinstellingen, waaronder veelgebruikte CIL-datasets met klassieke CIL-instellingen (bijv. 5-20 taken). Voor zover wij weten, is CaRE de eerste continue lerende die schaalt naar zeer lange taakreeksen (variërend van 100 tot meer dan 300 niet-overlappende taken), terwijl het alle basislijnen met een ruime marge overtreft op dergelijke taakreeksen. We hopen dat dit werk verder onderzoek naar continu leren over extreem lange taakreeksen zal inspireren. Code en dataset zijn openbaar beschikbaar op https://github.com/LMMMEng/CaRE.

LLM-Agenten hebben zich ontwikkeld tot autonome systemen voor het uitvoeren van complexe taken, waarbij de SKILL.md-specificatie naar voren is gekomen als een de facto standaard voor het inkapselen van agentcapaciteiten. Er blijft echter een kritiek knelpunt bestaan: verschillende agentframeworks vertonen sterk uiteenlopende gevoeligheden voor prompt-opmaak, wat leidt tot een prestatievariatie van wel 40%, terwijl vrijwel alle vaardigheden bestaan als een enkele, formaat-agnostische Markdown-versie. Handmatig herschrijven per platform creëert een onhoudbare onderhoudslast, terwijl eerdere audits hebben uitgewezen dat meer dan een derde van de community-vaardigheden beveiligingskwetsbaarheden bevat. Om dit aan te pakken presenteren we SkCC, een compilatieraamwerk dat klassieke compilerontwerpen introduceert in de ontwikkeling van agentvaardigheden. De kern is SkIR – een sterk getypeerde tussenvoorstelling – die de semantiek van vaardigheden ontkoppelt van platformspecifieke opmaak, waardoor draagbare implementatie over heterogene agentframeworks mogelijk wordt. Rond deze IR handhaaft een compile-time-analysator beveiligingsbeperkingen via Anti-Skill Injection vóór implementatie. Via een pijplijn van vier fasen vermindert SkCC de aanpassingscomplexiteit van O(m × n) naar O(m + n). Experimenten op SkillsBench tonen aan dat gecompileerde vaardigheden consequent beter presteren dan hun oorspronkelijke tegenhangers, met een verbetering van de slagingspercentages van 21,1% naar 33,3% op Claude Code en van 35,1% naar 48,7% op Kimi CLI, terwijl een compilatielatentie van onder de 10ms, een proactief beveiligingstriggerpercentage van 94,8% en runtime-tokenbesparingen van 10-46% over platforms worden gerealiseerd.

Het nauwkeurig begrijpen van de intentie achter spraak, gesprek en geschreven tekst is cruciaal voor de ontwikkeling van behulpzame Large Language Model (LLM)-assistenten. Dit artikel introduceert IntentGrasp, een uitgebreide benchmark voor het evalueren van het intentiebegrip van LLM's. Afgeleid van 49 hoogwaardige, open-licentiecorpora uit 12 uiteenlopende domeinen, is IntentGrasp opgebouwd door middel van het cureren van brongegevens, het contextualiseren van intentielabels en het uniformeren van taakformaten. IntentGrasp bevat een grootschalige trainingsset van 262.759 instanties en twee evaluatiesets: een All Set van 12.909 testgevallen en een evenwichtigere en uitdagendere Gem Set van 470 gevallen. Uitgebreide evaluaties op 20 LLM's uit 7 families (waaronder geavanceerde modellen zoals GPT-5.4, Gemini-3.1-Pro en Claude-Opus-4.7) tonen onbevredigende prestaties aan, met scores onder 60% op All Set en onder 25% op Gem Set. Met name 17 van de 20 geteste modellen presteren slechter dan een willekeurige gok-baseline (15,2%) op Gem Set, terwijl de geschatte menselijke prestatie ~81,1% bedraagt, wat aanzienlijke ruimte voor verbetering laat zien. Om dit vermogen te verbeteren, stelt dit artikel Intentional Fine-Tuning (IFT) voor, waarbij de modellen worden fijngestemd op de trainingsset in IntentGrasp, wat leidt tot aanzienlijke winsten van 30+ F1-punten op All Set en 20+ punten op Gem Set. Veelzeggend is dat de leave-one-domain-out (Lodo)-experimenten verder de sterke cross-domein generaliseerbaarheid van IFT aantonen, wat bevestigt dat het een veelbelovende benadering is om het intentiebegrip van LLM's aanzienlijk te verbeteren. Al met al werpt deze studie door het benchmarken en verbeteren van intentiebegrip licht op een veelbelovende weg naar meer intentionele, capabele en veilige AI-assistenten voor menselijk welzijn en maatschappelijk goed.

Recente byte-level taalmodellen (LMs) presteren even goed als token-level modellen zonder gebruik te maken van subwoordvocabulaires, maar hun bruikbaarheid wordt beperkt door trage, byte-voor-byte autoregressieve generatie. We pakken deze bottleneck aan in de Byte Latent Transformer (BLT) met nieuwe trainings- en generatietechnieken. Ten eerste introduceren we BLT Diffusion (BLT-D), een nieuw model en onze snelste BLT-variant, getraind met een additioneel bloksgewijs diffusiedoel naast het standaard next-byte voorspellingsverlies. Dit maakt een inferentieprocedure mogelijk die meerdere bytes parallel per decoderingsstap genereert, wat het aantal benodigde forward passes om een reeks te genereren aanzienlijk vermindert. Ten tweede stellen we twee uitbreidingen voor die geïnspireerd zijn op speculatieve decodering, die een deel van deze snelheid inruilen voor een hogere generatiekwaliteit: BLT Self-speculation (BLT-S), waarbij de lokale decoder van BLT verder gaat met genereren over de normale patchgrenzen heen om conceptbytes te ontwerpen, die vervolgens worden geverifieerd met een enkele full-model forward pass; en BLT Diffusion+Verification (BLT-DV), dat BLT-D aanvult met een autoregressieve verificatiestap na diffusie-gebaseerde generatie. Alle methoden kunnen een geschatte geheugenbandbreedtekosten van meer dan 50% lager dan BLT behalen bij generatietaken. Elke benadering biedt zijn eigen unieke voordelen, die samen belangrijke barrières voor het praktische gebruik van byte-level LMs wegnemen.

Op LLM gebaseerde agenten hebben kunstmatige intelligentie fundamenteel hervormd door externe tools en planningsmogelijkheden te integreren. Hoewel geheugenmechanismen naar voren zijn gekomen als de architecturale hoeksteen van deze systemen, blijft het huidige onderzoek gefragmenteerd, pendelend tussen besturingssysteemtechniek en cognitieve wetenschap. Deze theoretische kloof verhindert een uniform beeld van technologische synthese en een coherent evolutionair perspectief. Om deze kloof te overbruggen, stelt dit overzichtsartikel een nieuw evolutionair raamwerk voor voor LLM-agentengeheugenmechanismen, waarbij het ontwikkelingsproces wordt geformaliseerd in drie fasen: Opslag (trajectbehoud), Reflectie (trajectverfijning) en Ervaring (trajectabstractie). We definiëren eerst formeel deze drie fasen voordat we de drie kerndrijvers van deze evolutie analyseren: de noodzaak voor consistentie over lange afstand, de uitdagingen in dynamische omgevingen en het uiteindelijke doel van continu leren. Verder verkennen we specifiek twee transformatieve mechanismen in de grensverleggende Ervaringsfase: proactieve verkenning en cross-trajectabstractie. Door deze uiteenlopende perspectieven te synthetiseren, biedt dit werk robuuste ontwerpprincipes en een duidelijke routekaart voor de ontwikkeling van volgende-generatie LLM-agenten.

Het open-source model ecosysteem bevat nu honderdduizenden voorgeladen modellen, maar het selecteren van het beste model voor een nieuwe dataset wordt steeds onuitvoerbaarder: er komen continu nieuwe modellen en niet-geteste datasets bij, waardoor praktijkmensen aan beide kanten geen eerdere gegevens hebben. Bestaande benaderingen behandelen slechts fragmenten van deze realistische setting: AutoML en overdraagbaarheidsschatting selecteren modellen uit kleine vooraf gedefinieerde pools of vereisen dure per-model forward passes op de doeldataset, terwijl modelrouting een gegeven kandidaatpool veronderstelt. We introduceren ModelLens, een uniform raamwerk voor modelaanbevelingen in de praktijk. Ons belangrijkste inzicht is dat openbare leaderboard-interacties, hoewel verspreid en ruisig, gezamenlijk een impliciete atlas van modelcapaciteiten over heterogene evaluatiesettings uittekenen, een signaal dat rijk genoeg is om direct van te leren. Door een prestatiebewuste latente ruimte over model–dataset–metriek-triples te leren, rangschikt ModelLens ongeziene modellen op ongeziene datasets zonder kandidaten op de doeldataset uit te voeren. Op een nieuwe benchmark van 1,62M evaluatierecords verspreid over 47K modellen en 9,6K datasets overtreft ModelLens baselines die ofwel alleen op metadata vertrouwen ofwel vereisen dat elke kandidaat op de doeldataset wordt uitgevoerd. De aanbevolen Top-K-pools verbeteren meerdere representatieve routingmethoden verder met tot 81% op diverse QA-benchmarks. Casestudies van recent uitgebrachte benchmarks bevestigen verdere generalisatie naar zowel tekst- als visie-taaltaken.

Bestaande benchmarks voor multimodaal agentisch zoeken evalueren multimodaal zoeken en visueel browsen, maar visueel bewijs wordt ofwel beperkt tot de invoer of behandeld als een antwoord-eindpunt in plaats van als onderdeel van een verweven zoektraject. We introduceren InterLV-Search, een benchmark voor Interleaved Language-Vision Agentic Search (verweven taal-visie agentisch zoeken), waarin tekstueel en visueel bewijs herhaaldelijk wordt gebruikt om later zoeken te conditioneren. Het bevat 2.061 voorbeelden verdeeld over drie niveaus: actief zoeken naar visueel bewijs, gecontroleerd offline verweven multimodaal zoeken, en open-web verweven multimodaal zoeken. Naast bestaande benchmarks bevat het ook multimodale meertakkige voorbeelden die vergelijking tussen meerdere entiteiten tijdens het bewijszocken omvatten. We construeren Niveau 1 en Niveau 2 met geautomatiseerde pijplijnen en Niveau 3 met een machinaal geleide, door mensen gesuperviseerde open-web pijplijn. Daarnaast bieden we InterLV-Agent voor gestandaardiseerd toolgebruik, trajectlogging en evaluatie. Experimenten met propriëtaire en open-source multimodale agenten tonen aan dat huidige systemen nog ver verwijderd zijn van het oplossen van verweven multimodaal zoeken, waarbij het beste model onder de 50% algehele nauwkeurigheid scoort, wat uitdagingen benadrukt op het gebied van visueel bewijszocken, zoekcontrole en multimodale bewijsintegratie. We geven de benchmarkgegevens en evaluatiecode vrij op https://github.com/hbhalpha/InterLV-Search-Bench.

Lineaire Attention (LA) biedt een veelbelovend paradigma voor het opschalen van grote taalmodellen (LLMs) naar lange sequenties door de kwadratische complexiteit van self-attention te vermijden. Recente LA-modellen zoals Mamba2 en GDN interpreteren lineaire recurrenties als closed-form online stochastische gradiëntafdaling (SGD), maar naïeve SGD-updates lijden onder snelle informatieverval en suboptimale convergentie in optimalisatie. Hoewel op momentum gebaseerde optimizers een natuurlijke remedie bieden, vormen ze uitdagingen bij het gelijktijdig bereiken van trainingsefficiëntie en effectiviteit. Om dit aan te pakken, ontwikkelen we een chunkwise parallel algoritme voor LA met een stapsgewijze momentumregel door het geometrisch herordenen van de updatecoëfficiënten. Verder analyseren we vanuit een dynamisch systeemperspectief de op momentum gebaseerde recurrentie als een tweede-orde systeem dat complex geconjugeerde eigenwaarden introduceert. Deze analyse leidt tot het ontwerp van stabiele poortbeperkingen. Het resulterende model, Momentum DeltaNet (MDN), maakt gebruik van Triton kernels om een vergelijkbare trainingdoorvoer te bereiken als concurrerende lineaire modellen zoals Mamba2 en KDA. Uitgebreide experimenten met de 400M en 1.3B parametermodellen tonen consistente prestatieverbeteringen aan ten opzichte van sterke baselines, waaronder Transformers, Mamba2 en GDN, in diverse downstream evaluatiebenchmarks. Code: https://github.com/HuuYuLong/MomentumDeltaNet .

Moderne sensoren genereren rijke, hifi-data, maar toepassingen die draaien op draagbare of afstandsmeetapparatuur blijven beperkt door bandbreedte- en energiebudgetten. Gestandaardiseerde codecs zoals JPEG en MPEG realiseren efficiënte afwegingen tussen bitsnelheid en perceptuele kwaliteit, maar zijn ontworpen voor menselijke perceptie, wat hun toepasbaarheid beperkt voor machineperceptietaken en niet-traditionele modaliteiten zoals ruimtelijke audio-arrays, hyperspectrale beelden en 3D-medische beelden. Algemene compressieschema's gebaseerd op scalaire kwantisatie of resolutievermindering zijn breed toepasbaar, maar slagen er niet in inherente signaalredundanties te benutten, wat leidt tot suboptimale snelheid-vervormingsprestaties. Recente generatieve neurale codecs, of tokenizers, modelleren complexe signaalafhankelijkheden, maar zijn vaak overgeparametriseerd, datahongerig en modaliteitsspecifiek, waardoor ze onpraktisch zijn voor omgevingen met beperkte middelen. We introduceren een Lichtgewicht, Veelzijdige en Asymmetrische neurale codecarchitectuur (LiVeAction), die deze beperkingen aanpakt met twee kernideeën. (1) Om de complexiteit van de encoder te verminderen en te voldoen aan de resourcebeperkingen van de uitvoeringsomgevingen, leggen we een FFT-achtige structuur op en verkleinen we de totale omvang en diepte van de op een neuraal netwerk gebaseerde analysetransformatie. (2) Om willekeurige signaalmodaliteiten mogelijk te maken en training te vereenvoudigen, vervangen we adversariële en perceptuele verliezen door een op variantie gebaseerde snelheidsstraf. Ons ontwerp produceert codecs die superieure snelheid-vervormingsprestaties leveren in vergelijking met state-of-the-art generatieve tokenizers, terwijl ze praktisch blijven voor implementatie op laagvermogenssensoren. We publiceren onze code, experimenten en Python-bibliotheek op https://github.com/UT-SysML/liveaction.

Reinforcement learning-systemen zijn afhankelijk van omgevingsinterfaces die observaties en beloningsfuncties specificeren, maar het construeren van deze interfaces voor nieuwe taken vereist vaak aanzienlijke handmatige inspanning. Hoewel recent werk het ontwerp van beloningen heeft geautomatiseerd met behulp van grote taalmodellen (LLM's), gaan deze benaderingen uit van vaste observaties en pakken ze de bredere uitdaging van het synthetiseren van volledige taakinterfaces niet aan. Wij bestuderen het ontdekken van RL-taakinterfaces op basis van ruwe simulatorstatus, waarbij zowel observatietoewijzingen als beloningsfuncties moeten worden gegenereerd. Wij stellen LIMEN voor (code beschikbaar op https://github.com/Lossfunk/LIMEN), een door LLM geleid evolutionair raamwerk dat kandidaat-interfaces genereert als uitvoerbare programma's en deze iteratief verfijnt met behulp van feedback van beleidstraining. In nieuwe discrete gridworld-taken en continue besturingsdomeinen die variëren van voortbeweging tot manipulatie, ontdekt gezamenlijke evolutie van observaties en beloningen effectieve interfaces met alleen een succesmetriek op trajectniveau, terwijl het optimaliseren van slechts één component faalt in ten minste één domein. Deze resultaten tonen aan dat automatische constructie van RL-interfaces op basis van ruwe status de handmatige engineering aanzienlijk kan verminderen en dat observatie- en beloningscomponenten vaak baat hebben bij co-design, aangezien optimalisatie van één component catastrofaal faalt in ten minste één domein in onze evaluatieset.

Het begrijpen van de topologie van beslissingsregio's is essentieel voor het verklaren van de innerlijke werking van diepe neurale netwerken. Eerder empirisch werk heeft bewijs geleverd dat deze regio's padgeconnecteerd zijn. Wij bestuderen een sterkere topologische vraag: of gesloten lussen binnen een beslissingsregio kunnen worden gecontracteerd zonder die regio te verlaten. Hiertoe stellen wij een iteratieve quad-mesh-vulprocedure voor die een oppervlak met eindige resolutie en labelbehoud construeert, begrensd door een gegeven lus en volledig liggend binnen dezelfde beslissingsregio. Verder verbinden wij deze constructie met natuurlijke Coons-patches om de afwijking ervan van een canonieke geometrische interpolatie van de lus te kwantificeren. Door onze methode te evalueren over verschillende moderne beeldclassificatiemodellen, leveren wij empirisch bewijs ter ondersteuning van de hypothese dat beslissingsregio's in diepe neurale netwerken niet alleen padgeconnecteerd, maar ook enkelvoudig samenhangend zijn.

Unified multimodale modellen zijn bedoeld om de kloof tussen begrip en generatie te overbruggen. Om concurrerende prestaties te bereiken, gebruiken state-of-the-art modellen echter grotendeels ontkoppelde begrips- en generatiecomponenten. Dit ontwerp, hoewel effectief voor individuele taken, verzwakt de verbinding die nodig is voor wederzijdse versterking, waardoor de potentiële synergie empirisch onzeker blijft. Wij stellen voor om deze synergie expliciet te herstellen door Understanding-Oriented Post-Training (UNO) te introduceren, een lichtgewicht raamwerk dat begrip niet alleen als een afzonderlijke taak behandelt, maar ook als een direct supervisiesignaal om generatieve representaties te sturen. Door doelstellingen op te nemen die semantische abstractie (captioning) en structurele details (visuele regressie) coderen, maken we een effectieve gradiëntstroom van begrip naar generatie mogelijk. Uitgebreide experimenten op het gebied van beeldgeneratie en -bewerking tonen aan dat begrip kan dienen als een effectieve katalysator voor generatie.

Speculatieve decodering versnelt LLM-inferentie door het opstellen van een boom van kandidaat-vervolgstukken en het in één doelvoorwaarts te verifiëren. Bestaande opstellers vallen uiteen in twee kampen met tegengestelde zwaktes. Autoregressieve opstellers zoals EAGLE-3 behouden de afhankelijkheid langs elk conceptpad, maar roepen de opsteller één keer per boomdiepte aan, waardoor het opstellen een niet-triviaal aandeel van de latentie per iteratie wordt. Parallelle opstellers verminderen het aantal opstellersaanroepen door meerdere toekomstige posities in één voorwaarts te voorspellen, maar elke positie wordt voorspeld zonder de andere te zien, wat paden oplevert die de verificateur afwijst. In dit artikel stellen we SpecBlock voor, een blok-iteratieve opsteller die padafhankelijkheid combineert met goedkoop opstellen. Elke voorwaartse opsteller produceert K afhankelijke posities, die we een blok noemen. De conceptboom groeit door herhaalde blokuitbreidingen. Twee mechanismen dragen expliciet padafhankelijkheid over om latere conceptposities nauwkeurig te houden. Binnen elk blok zorgt een laagsgewijse verschuiving ervoor dat de verborgen toestand van de vorige positie elke decoderlaag bereikt. Over blokken heen kan elk nieuw blok starten vanuit elke positie van het vorige blok, waarbij de verborgen toestand wordt overgenomen om het pad uit te breiden. Om het verificateursbudget te besteden waar acceptatie waarschijnlijk is, vervangt een meegetrainde rangschikkingskop de vaste top-k-boom door per positie vertakking tijdens het opstellen toe te wijzen. Om te voorkomen dat de opsteller wordt getraind op voorvoegsels die hij tijdens inferentie nooit produceert, zorgt een geldig-voorvoegselmasker ervoor dat het verlies op latere posities wordt genegeerd zodra een eerdere positie fout is. Naast statisch opstellen gebruikt een kostenbewuste bandiet tijdens implementatie gratis terugkoppeling van de verificateur om de opsteller selectief bij te werken, alleen wanneer de verwachte doorvoerwinst groter is dan de updatekosten. Experimenten tonen aan dat SpecBlock de gemiddelde snelheidswinst met 8-13% verbetert ten opzichte van EAGLE-3 bij 44-52% van diens opstelkosten, en kostenbewuste adaptatie vergroot deze voorsprong tot 11-19%.

Continue glucosemonitoring (CGM) kan vroege metabole subfenotypen detecteren (insulineresistentie, IR; β-celdisfunctie), maar grootschalige implementatie in de populatie stuit op twee gekoppelde problemen. Ten eerste verschijnt dezelfde fysiologische toestand via meerdere aanzichten (CGM-tijdreeksen, veneuze OGTT, Glucodensity-samenvattingen), waardoor representaties met één aanzicht niet kunnen overdragen wanneer de implementatie van modaliteit of setting verandert. Ten tweede presteren basislijnen inconsistent over deze verschuivingen heen. Beide problemen wijzen op één remedie: representaties die abstraheren van elk afzonderlijk aanzicht om temporele en distributionele structuur op hoger niveau vast te leggen. Wij stellen CGM-JEPA voor, een zelfgecontroleerd pretrainingraamwerk dat gemaskeerde latente representaties voorspelt in plaats van ruwe waarden, wat leidt tot abstractie die overdraagt over modaliteiten heen. X-CGM-JEPA voegt een gemaskeerd Glucodensity-kruisaanzichtdoel toe voor complementaire distributionele informatie. Wij pretrainen op 389k niet-gelabelde CGM-metingen van 228 proefpersonen en evalueren op twee klinische cohorten (N=27 en N=17 openbaar gemaakte subsets) in drie regimes (cohortgeneralisatie, veneus-naar-CGM-overdracht, thuis-CGM) onder 20 iteraties maal 2-voudige kruisvalidatie. X-CGM-JEPA staat eerste of tweede op AUROC voor beide eindpunten in alle drie regimes, terwijl geen enkele basislijn dat doet, en overschrijdt de sterkste basislijn met tot +6,5 procentpunt in cohortgeneralisatie en +3,6 procentpunt in veneus-naar-CGM-overdracht (gepaarde Wilcoxon, p<0,001). Onder modaliteitsverschuiving evenaart het de gemiddelde AUROC terwijl het herverdeelt naar zwakkere subgroepen (etniciteit AUROC-kloof krimpt 25–54%); op schaarse in-domein veneuze data verhoogt het distributionele aanzicht labelbewuste clustering (ARI +39%, NMI +40%). Code en gewichten: https://github.com/cruiseresearchgroup/CGM-JEPA

Grote taalmodellen (LLM) agenten voeren nu langdurige, gereedschapsgebruikende taken uit waarbij controles van de uiteindelijke uitkomst te laat kunnen komen voor interventie. Online waarschuwing vereist lichtgewicht prefixmonitors over heterogene traces, maar handgeschreven eventschema's zijn broos en LLM-beoordeling tijdens de uitvoering is kostbaar. We introduceren PrefixGuard, een trace-naar-monitor raamwerk met een offline StepView-inductiestap gevolgd door gesuperviseerde monitortraining. StepView induceert deterministische getypeerde stapadapters uit ruwe tracevoorbeelden, en de monitor leert een eventabstractie en prefix-risicoscoorder van terminale uitkomsten. Op WebArena, τ^2-Bench, SkillsBench en TerminalBench bereiken de sterkste PrefixGuard-monitors 0,900/0,710/0,533/0,557 AUPRC. Bij gebruik van de sterkste backend binnen elke representatie verbeteren ze met gemiddeld +0,137 AUPRC ten opzichte van ruwe-tekstcontroles. LLM-beoordelaars blijven aanzienlijk zwakker onder hetzelfde prefix-waarschuwingsprotocol. We leiden ook een waarneembaarheidsplafond af voor score-gebaseerde oppervlakte onder de precisie-recall curve (AUPRC) die monitorfouten scheidt van falen waarbij bewijs in de waargenomen prefix ontbreekt. Voor eindige-toestandsaudit blijft post-hoc extractie van deterministische eindige automaten (DFA) compact op WebArena en τ^2-Bench (29 en 20 toestanden), maar breidt uit naar 151 en 187 toestanden op SkillsBench en TerminalBench. Tot slot tonen first-alert diagnostieken aan dat sterke rangschikking niet hoeft te leiden tot bruikbaarheid in de praktijk: WebArena rangschikt goed maar faalt in het ondersteunen van waarschuwingen met weinig fout-positieven, terwijl τ^2-Bench en TerminalBench meer bruikbare vroege waarschuwingen behouden. Samen positioneren deze resultaten PrefixGuard als een praktisch monitor-syntheserecept met expliciete diagnostiek voor wanneer prefixwaarschuwingen leiden tot bruikbare interventies.

Een natuurlijke intuïtie over de economie van AI-agenten is dat, omdat agenten tegen zeer lage marginale kosten kunnen worden gereproduceerd, de arbeid van agenten zeer elastisch kan worden aangeboden, wat neerwaartse druk uitoefent op de lonen voor cognitieve arbeid wanneer deze een nauw substituut vormt voor menselijke arbeid. Wij betogen dat deze benadering wat betreft het mechanisme onjuist is, maar wat betreft de conclusie gedeeltelijk juist, en dat de correctie van belang is voor zowel theorie als beleid. Agenten zijn geen arbeid; zij zijn een productietechnologie die rekenkapitaal K_c omzet in effectieve eenheden cognitieve arbeid L_A. Zodra dit wordt erkend, verplaatst de elasticiteitsmarge van het aanbod die het evenwichtslonen verankert zich van de arbeidsmarkt naar de markt voor rekenkapitaal. Voortbouwend op het klassieke factorprijsbepalingskader van Mankiw (2020) leiden we een compute-verankerde loongrens (CAW-grens) af die stelt dat, voor taken waar menselijke en door agenten geproduceerde cognitieve arbeid substituten zijn, het concurrerende menselijke loon van boven wordt begrensd door λ · k · r_c, waarbij r_c de huurprijs van rekenkapitaal is, k de rekenintensiteit van één effectieve eenheid door agenten geproduceerde cognitieve arbeid, en λ de relatieve productiviteit van mens ten opzichte van agent. We veralgemenen het resultaat door middel van aggregatie met constante substitutie-elasticiteit (CES), scheiden substitueerbare taken van complementaire taken, en bespreken de gevolgen voor factoraandelen. De conclusie is beknopt: de prijszetter voor cognitieve arbeid is niet langer de arbeidsmarkt.

Snelle Gewichtsprogrammeurs (FWP's) coderen temporele afhankelijkheden via dynamisch bijgewerkte parameters in plaats van recurrente verborgen toestanden. Kwantum FWP's (QFWP's) breiden dit idee uit met variatiële kwantumcircuits (VQC's), maar bestaande implementaties zijn afhankelijk van multi-qubit-architecturen die moeilijk schaalbaar zijn op ruisige intermediate-scale quantum (NISQ)-apparaten en duur om klassiek te simuleren. Wij stellen gated QKAN-FWP voor, een snelgewichtsraamwerk dat FWP integreert met een Kwantum-geïnspireerd Kolmogorov-Arnold-netwerk (QKAN) via enkel-qubit dataheruploadcircuits als leerbare niet-lineaire activatie, bekend als Data Herupload Activering (DARUAN). Verder introduceren we een scalaar-gate snelle gewichtsupdateregel die parameterevolutie stabiliseert, ondersteund door een theoretische analyse van de adaptieve geheugenkern, geometrische begrensdheid en paralleliseerbare gradiëntpaden. We evalueren het raamwerk op tijdreeksbenchmarks, MiniGrid-versterkingsleren en benadrukken realistische zonnecyclusvoorspelling als ons belangrijkste praktische resultaat. In de lange-horizoninstelling met een invoervenster van 528 maanden en een voorspellingshorizon van 132 maanden behaalt ons model met 12,5k parameters lagere geschaalde gemiddelde kwadratische fout (MSE), piekamplitudefout en piektijdfout dan een reeks klassieke recurrente basislijnen met tot 13x meer parameters, waaronder Long Short-Term Memory (LSTM)-netwerken (25,9k-89,1k parameters), WaveNet-LSTM (167k), Vanilla recurrent neuraal netwerk (11,5k) en een Gewijzigd Echo State Network (132k). Om NISQ-compatibiliteit te valideren, implementeren we de getrainde snelle programmeur verder op IonQ- en IBM Quantum-processoren, waarbij we een voorspellingsnauwkeurigheid binnen 0,1% relatieve MSE van de ruisvrije simulator herwinnen bij 1024 shots. Deze resultaten positioneren gated QKAN-FWP als een schaalbare, parameter-efficiënte en NISQ-compatibele benadering van kwantum-geïnspireerd sequentiemodelleren.

Reinforcement learning is de standaard geworden voor het verbeteren van redeneren in grote taalmodellen, maar steeds meer bewijs suggereert dat RL geen nieuwe strategieën aanleert; het herverdeelt alleen de waarschijnlijkheidsmassa over oplossingen die het basismodel al bevat. In dit werk vragen we ons af: als RL het model alleen maar stuurt naar paden die het al kent, is de optimalisatielus van RL dan zelf noodzakelijk? Door middel van token-niveau analyse over meerdere modelfamilies en RL-algoritmen ontdekken we dat de gunstige voetafdruk van RL een schaarse, voorspelbare correctie is, geconcentreerd op beslispunten met hoge entropie waar het model onzeker is welke tak te nemen. Slechts 1–3% van de tokenposities wordt beïnvloed, het gepromote token ligt altijd binnen de top-5 alternatieven van het basismodel, en gerichte correcties op die enkele posities herstellen causaal een groot deel van de nauwkeurigheidswinst van RL, terwijl willekeurige correcties falen. De eigen entropie van het basismodel identificeert deze posities zonder enig getraind RL-model, en de gehele correctie is laag-dimensionaal, representeerbaar in een klein deel van de modelparameters. Deze bevindingen herformuleren redeneerverbetering als schaarse beleidsselectie, niet als capaciteitsverwerving. We vertalen dit inzicht naar ReasonMaxxer, een minimale RL-vrije methode die alleen contrastief verlies toepast op entropie-gestuurde beslispunten, met een paar honderd rollouts van het basismodel en geen online generatie. Over drie modelfamilies, zes schalen en zes wiskundige redeneerbenchmarks presteert ReasonMaxxer even goed of beter dan volledige RL, terwijl het slechts tientallen problemen en minuten aan single-GPU-training vereist, een reductie in trainingskosten van ruwweg drie ordes van grootte.

Grote taalmodellen (Large Language Models, LLM's) zijn een centrale basis geworden van moderne kunstmatige intelligentie, maar hun levenscyclus blijft beperkt door een rigide scheiding tussen training en implementatie, waarna het leren effectief stopt. Deze beperking staat in contrast met natuurlijke intelligentie, die zich voortdurend aanpast door interactie met de omgeving. In dit artikel formaliseren we leertijd tijdens implementatie (Deployment-Time Learning, DTL) als de derde fase in de LLM-levenscyclus, die LLM-agenten in staat stelt te verbeteren door ervaring tijdens de inzet, zonder modelparameters aan te passen. We presenteren CASCADE (CASe-based Continual Adaptation during DEployment), een algemeen en principieel raamwerk dat LLM-agenten uitrust met een expliciet, evoluerend episodisch geheugen. CASCADE formuleert ervaringshergebruik als een contextueel bandietenprobleem, waardoor principiële exploratie-exploitatie-afwegingen mogelijk worden en geen-spijtgaranties worden vastgesteld voor interacties op lange termijn. Dit ontwerp stelt agenten in staat om taakrelevante casussen te accumuleren, te selecteren en te verfijnen, waardoor ervaring uit het verleden wordt omgezet in bruikbare kennis. Over 16 uiteenlopende taken, variërend van medische diagnose, juridische analyse, codegeneratie, webzoekopdrachten, toolgebruik en belichaamde interactie, verbetert CASCADE het macro-gemiddelde slagingspercentage met 20,9% ten opzichte van nulshot-prompting, terwijl het consequent beter presteert dan op gradienten en geheugen gebaseerde baselines. Door implementatie te herdefiniëren als een adaptief leerproces, legt dit werk een basis voor continu verbeterende AI-systemen.

Beeldonderschriftgeving is een van de meest fundamentele taken in computervisie. Vanwege zijn open-einde karakter heeft het aanzienlijke aandacht gekregen in het tijdperk van multimodale grote taalmodelen (MLLM's). In de zoektocht naar steeds gedetailleerdere en nauwkeurigere onderschriften richt recent onderzoek zich steeds vaker op reinforcement learning (RL). Bestaande RL-methoden voor onderschriftgeving en evaluatiemetrics benadrukken echter vaak een beperkte notie van kwaliteit, wat leidt tot compromissen tussen kernaspecten van onderschriftgeving. Zo kunnen nutsgerichte doelstellingen rommelige, hallucinerende of overlange onderschriften bevorderen die downstream vraag-antwoordtaken verbeteren, maar ten koste gaan van vlotheid, terwijl arena-achtige doelstellingen juist vloeiende maar generieke beschrijvingen met beperkte bruikbaarheid kunnen bevoordelen. Om dit aan te pakken, stellen we een evenwichtiger RL-raamwerk voor dat gezamenlijk optimaliseert voor nutsbewuste correctheid, referentiedekking en linguïstische kwaliteit. Om de resulterende continue multi-objectieve beloningsformulering effectief te optimaliseren, passen we GDPO-achtige normalisatie met ontkoppelde beloning toe op continue onderschriftbeloningen en tonen we aan dat dit betere prestaties oplevert dan standaard GRPO. Daarnaast introduceren we lengtevoorwaardelijke beloningsmaskering, wat resulteert in een geschiktere lengtestraf voor onderschriftgeving. Over LLaVA-1.5-7B en Qwen2.5-VL 3B- en 7B-basismodellen heen verbetert onze methode consequent de kwaliteit van onderschriften, met piekverbeteringen van +13,6 DCScore, +9,0 CaptionQA en +29,0 CapArena over verschillende modellen.

Wereldmodellen voorspellen toekomstige overgangen op basis van waarnemingen en acties. Bestaand werk richt zich voornamelijk op alleen beeldgeneratie. Op visuele kenmerken gebaseerde wereldmodellen daarentegen voorspellen toekomstige visuele kenmerken in plaats van ruwe videopixels, wat een veelbelovend alternatief biedt dat efficiënter is en minder vatbaar voor hallucinatie. Huidige op kenmerken gebaseerde benaderingen vertrouwen echter op directe regressie, wat leidt tot wazige of ingestorte voorspellingen bij complexe interacties, terwijl generatieve modellering in hoogdimensionale kenmerkruimten nog steeds uitdagend blijft. In dit werk ontdekken we dat een nieuw type latente actierepresentatie, die we *Residuele Latente Actie* (RLA) noemen, eenvoudig kan worden geleerd uit DINO-residuen. We tonen ook aan dat RLA voorspellend, generaliseerbaar is en temporele progressie codeert. Voortbouwend op RLA stellen we *RLA Wereldmodel* (RLA-WM) voor, dat RLA-waarden voorspelt via stroommatching. RLA-WM presteert beter dan zowel state-of-the-art op kenmerken gebaseerde als videodiffusie-wereldmodellen op simulatie- en real-world datasets, terwijl het ordes van grootte sneller is dan videodiffusie. Verder ontwikkelen we twee robotleertechnieken die RLA-WM gebruiken om beleidsleren te verbeteren. De eerste is een minimalistisch wereldactiemodel met RLA dat leert van actieloze demonstratievideo's. De tweede is het eerste visuele RL-raamwerk dat volledig is getraind binnen een wereldmodel dat alleen is geleerd uit offline video's, met behulp van een video-uitgelijnde beloning en zonder online interacties of handgemaakte beloningen. Projectpagina: https://mlzxy.github.io/rla-wm

Domeingeneralisatie (DG) heeft tot doel representaties te leren die robuust blijven onder verschuivingen buiten de verdeling (out-of-distribution, OOD) en effectief generaliseren naar ongeziene doeldomeinen. Hoewel recente invariante leerstrategieën en architectonische vooruitgang sterke prestaties hebben behaald, blijft het expliciet ontdekken van een gestructureerde domein-invariante deelruimte via tweede-orde statistieken onderbelicht. In dit werk introduceren we CPCANet, een nieuw raamwerk dat is gebaseerd op Gemeenschappelijke Principale Componentenanalyse (Common Principal Component Analysis, CPCA), en waarin het iteratieve Flury-Gautschi (FG)-algoritme wordt uitgerold tot volledig differentieerbare neurale lagen. Deze benadering integreert de statistische eigenschappen van CPCA in een end-to-end trainbaar raamwerk, waarbij het ontdekken van een gedeelde deelruimte over diverse domeinen wordt afgedwongen terwijl de interpreteerbaarheid behouden blijft. Experimenten op vier standaard DG-benchmarks tonen aan dat CPCANet state-of-the-art (SOTA) prestaties levert bij zero-shot overdracht. Bovendien is CPCANet architectuur-agnostisch en vereist het geen datasetspecifieke afstemming, waardoor het een eenvoudige en efficiënte benadering biedt voor het leren van robuuste representaties onder distributieverschuivingen. Code is beschikbaar op https://github.com/wish44165/CPCANet.

Visie-taalmodelen (VLM's) hebben zich snel ontwikkeld en worden steeds vaker ingezet in praktijktoepassingen, vooral met de opkomst van agent-gebaseerde systemen. Hun veiligheid heeft echter relatief weinig aandacht gekregen. Zelfs de nieuwste propriëtaire en open-weight VLM's blijven zeer kwetsbaar voor adversariële aanvallen, waardoor downstream-toepassingen worden blootgesteld aan aanzienlijke risico's. In dit werk stellen we een nieuw en lichtgewicht detectiekader voor adversariële aanvallen voor, gebaseerd op sparse autoencoders (SAE's), genaamd SAEgis. Door een SAE-module in een voorgetraind VLM in te voegen en deze te trainen met standaard reconstructiedoelstellingen, ontdekken we dat de geleerde sparse latente kenmerken van nature aanvalsrelevante signalen vastleggen. Deze kenmerken maken een betrouwbare classificatie mogelijk van of een invoerbeeld adversariaal is verstoord, zelfs voor voorheen ongeziene samples. Uitgebreide experimenten tonen aan dat SAEgis sterke prestaties levert in in-domein-, kruisdomein- en kruisaanvalsinstellingen, met bijzonder grote verbeteringen in kruisdomeingeneralisatie vergeleken met bestaande basislijnen. Daarnaast verbetert het combineren van signalen uit meerdere lagen de robuustheid en stabiliteit verder. Voor zover wij weten, is dit het eerste werk dat SAE onderzoekt als een plug-and-play-mechanisme voor detectie van adversariële aanvallen in VLM's. Onze methode vereist geen extra adversariële training, introduceert minimale overhead en biedt een praktische benadering voor het verbeteren van de veiligheid van real-world VLM-systemen.

On-policy distillatie (OPD) is een krachtig paradigma voor modelafstemming, maar de afhankelijkheid van teacher logits beperkt de toepassing ervan tot white-box scenario's. Wij stellen dat gestructureerde semantische rubrieken kunnen dienen als een schaalbaar alternatief voor teacher logits, waardoor OPD mogelijk wordt met alleen door de leraar gegenereerde responsies. Om dit te bewijzen introduceren we ROPD, een eenvoudig maar fundamenteel raamwerk voor op rubrieken gebaseerde OPD. Specifiek induceert ROPD promptspecifieke rubrieken uit leraar-student contrasten, en gebruikt deze rubrieken vervolgens om de student rollouts te scoren voor on-policy optimalisatie. Empirisch gezien presteert ROPD beter dan de geavanceerde op logits gebaseerde OPD-methoden in de meeste scenario's, en behaalt het tot een 10x winst in sample-efficiëntie. Deze resultaten positioneren op rubrieken gebaseerde OPD als een flexibel, black-box-compatibel alternatief voor de gangbare op logits gebaseerde OPD, en bieden een eenvoudige maar sterke baseline voor schaalbare distillatie in propriëtaire en open-source LLMs. Code is beschikbaar op https://github.com/Peregrine123/ROPD_official.

Moderne Text-to-SQL-systemen genereren meerdere kandidaat-SQL-query's en rangschikken deze om een definitieve voorspelling te beoordelen. Bestaande methoden kennen echter twee beperkingen. Ten eerste beoordelen ze functioneel equivalente SQL-query's vaak inconsistent, ondanks identieke uitvoeringsresultaten. Ten tweede kan rangschikking niet herstellen wanneer de juiste SQL ontbreekt in de kandidaatpool. We stellen R^3-SQL voor, een Text-to-SQL-raamwerk dat beide problemen aanpakt via een uniforme beloning voor rangschikking en hersteekproef. R^3-SQL groepeert eerst kandidaten per uitvoeringsresultaat en rangschikt groepen op consistentie. Om elke groep te scoren, combineert het een paarsgewijze voorkeur tussen groepen met een puntsgewijs nut van de beste groepsrang en -grootte, waarbij relatieve voorkeur, consistentie en kandidaatkwaliteit worden vastgelegd. Om de kandidaatrecall te verbeteren, introduceert R^3-SQL agentische hersteekproef, die de gegenereerde kandidaatpool beoordeelt en selectief opnieuw bemonstert wanneer de juiste SQL waarschijnlijk ontbreekt. R^3-SQL behaalt 75,03 uitvoeringsnauwkeurigheid op BIRD-dev, een nieuwe state-of-the-art onder methoden die modellen met bekendgemaakte omvang gebruiken, met consistente verbeteringen over vijf benchmarks.

Grote taalmodellen zijn drijvende krachten geworden achter evolutionair zoeken, maar de meeste systemen vertrouwen op een vast, prompt-geïnduceerd beleid om volgende kandidaten te bemonsteren. Dit beperkt de aanpassing in praktische technische en onderzoeksopdrachten, waar evaluaties duur zijn en vooruitgang afhangt van het leren van taakspecifieke zoekdynamieken. Wij introduceren PACEvolve++, een raamwerk voor bekrachtigingsleren met een adviesmodel voor beleidsaanpassing tijdens tests in evolutionaire zoekagenten. PACEvolve++ ontkoppelt strategische zoekbeslissingen van implementatie: een trainbare adviseur genereert, beoordeelt en selecteert hypothesen, terwijl een sterker frontiermodel geselecteerde hypothesen vertaalt naar uitvoerbare kandidaten. Om de adviseur te trainen onder niet-stationaire feedback, stellen wij een fase-adaptieve benadering voor die de optimalisatiestrategie aanpast aan verschillende fasen van het evolutionaire proces. Vroeg in de evolutie gebruikt het groepsrelatieve feedback om brede zoekvoorkeuren te leren; later, wanneer de beloningsverschillen afnemen, legt het de nadruk op de beste-van-k frontierebijdrage om stabiele verfijning te ondersteunen. Bij expert-parallelle werklastbalancering, sequentiële aanbeveling en eiwitfitnessextrapolatie overtreft PACEvolve++ het state-of-the-art evolutionair zoekraamwerk met frontiermodellen, en bereikt het snellere convergentie en stabiliseert het de training tijdens tests in evolutionair zoeken.

Lang-context-inferentie in decoder-only-taalmodellen is kostbaar, omdat lange prompts tijdens de Prefill-fase worden verwerkt, in elke laag worden gecachet en tijdens de autoregressieve Decode-fase herhaaldelijk moeten worden aangezien. We introduceren Shallow Prefill, dEEp Decode (SPEED), een fase-asymmetrisch KV-zichtbaarheidsbeleid dat KV-toestanden van niet-anker prompt-tokens alleen in lagere lagen materialiseert, terwijl Decode-fase tokens volledige diepte behouden. In tegenstelling tot eerdere benaderingen die KV-toestanden van prompts in hogere lagen goedkoper maken om op te slaan of te construeren, verwijdert SPEED prefill-tokens volledig uit de Decode-zichtbaarheidsset van de hogere lagen. Met een minimale BoS-anker zorgt deze eenvoudige wijziging voor behoud van brede benchmarkkwaliteit terwijl de kosten voor lange context worden verlaagd. In een gecontroleerde Llama-3.1-8B instructieverfijningsstudie bereikt SPEED, dat slechts 75% van de lagen gebruikt voor prefill-tokens, een gemiddelde score van 51,2 op OLMES-achtige benchmarks, vergeleken met 51,4 voor de volledige-diepte-baseline, terwijl de TTFT met 33% verbetert, de TPOT met 22% en het actieve KV-geheugen met 25,0% vermindert bij een context van 128K. Laagsgewijze diagnostiek suggereert dat deze afkapgrens de belangrijkste promptselectie- en representatiestabilisatieregio's van het volledige-dieptemodel behoudt. Deze resultaten tonen aan dat prompt-tokens voor lange context niet altijd als volledige-diepte KV-cacheobjecten hoeven te blijven bestaan wanneer Decode-fase tokens volledige diepte behouden.

Voorbeeldgebaseerde beeldbewerking past een transformatie toe die wordt gedefinieerd door een bron-doelbeeldpaar op een nieuw querybeeld. Bestaande methoden vertrouwen op een supervisieparadigma met parenparen, waarbij twee beeldparen nodig zijn die dezelfde bewerkingssemantiek delen om de doeltransformatie te leren. Deze beperking maakt het moeilijk om trainingsdata op schaal te cureren en beperkt de generalisatie over diverse bewerkingstypen. Wij stellen Delta-Adapter voor, een methode die overdraagbare bewerkingssemantiek leert onder supervisie met één paar, zonder dat er tekstuele begeleiding nodig is. In plaats van het voorbeeldpaar direct aan het model bloot te stellen, gebruiken we een voorgetrainde visie-encoder om een semantische delta te extraheren die de visuele transformatie tussen de twee afbeeldingen codeert. Deze semantische delta wordt via een op Perceiver gebaseerde adapter geïnjecteerd in een voorgetraind beeldbewerkingsmodel. Omdat de doelafbeelding nooit direct zichtbaar is voor het model, kan deze dienen als het voorspellingsdoel, waardoor supervisie met één paar mogelijk is zonder dat er extra voorbeeldparen nodig zijn. Deze formulering stelt ons in staat om bestaande grootschalige bewerkingsdatasets te gebruiken voor training. Om een getrouwe transformatieoverdracht verder te bevorderen, introduceren we een consistentieverlies van de semantische delta dat de semantische verandering van de gegenereerde uitvoer afstemt op de grondwaarheid semantische delta die uit het voorbeeldpaar is geëxtraheerd. Uitgebreide experimenten tonen aan dat Delta-Adapter consistent zowel de bewerkingsnauwkeurigheid als de inhoudconsistentie verbetert ten opzichte van vier sterke baselines op geziene bewerkingstaken, terwijl het ook effectiever generaliseert naar ongeziene bewerkingstaken. Code zal beschikbaar zijn op https://delta-adapter.github.io.

Discrete flow matching genereert tekst door iteratief ruistokens om te zetten in coherente taal, maar kan honderden forward passes vereisen. Distillatie gebruikt de multi-step trajectorie om een student te trainen om het proces in enkele stappen te reproduceren. Wanneer de student minder presteert, is de gebruikelijke verklaring onvoldoende capaciteit. Wij beargumenteren het tegenovergestelde: de trajectorie is de bottleneck, niet de student. Elke trainingstrajectorie wordt opgebouwd via een keten van blinde stochastische sprongen zonder evaluatie van de sequentiekwaliteit; een enkele slechte beslissing op een vroeg middenpunt verspreidt zich door volgende stappen, maar de student moet het resultaat imiteren. Trajectory-Shaped Discrete Flow Matching (TS-DFM) vervangt deze blinde sprongen door begeleide navigatie: een lichtgewicht energiekompas evalueert kandidaat-vervolgstukken op elk middenpunt en selecteert de meest coherente. Alle shaping gebeurt alleen tijdens training; de inferentiekosten blijven ongewijzigd. Bij taalmodellering met 170M parameters bereikt de gevormde student in 8 stappen een 32% lagere perplexiteit dan de leraar met 1.024 stappen, terwijl hij 128 keer sneller is, met consistente verbeteringen over brondistributies en drie evaluatoren van toenemende schaal. TS-DFM behaalt de beste perplexiteit van alle discrete-generatie baselines waarmee we vergelijken, inclusief methoden getraind op 6x meer data of met 5x grotere modellen.