Dagelijks geselecteerde AI onderzoekspapers met vertalingen
Op videogebaseerde wereldmodellen zijn ontstaan langs twee dominante paradigma's: videogeneratie en 3D-reconstructie. Bestaande evaluatiebenchmarks richten zich echter ofwel nauw op visuele kwaliteit en tekst-video-overeenstemming voor generatieve modellen, ofwel baseren zich op statische 3D-reconstructiemetrieken die fundamenteel geen rekening houden met temporele dynamiek. Wij stellen dat de toekomst van wereldmodellering ligt in 4D-generatie, waarbij ruimtelijke structuur en temporele evolutie gezamenlijk worden gemodelleerd. In dit paradigma is interactief responsvermogen de kerncapaciteit: het vermogen om getrouw weer te geven hoe interactie-acties toestandsovergangen in ruimte en tijd aandrijven. Toch evalueert geen enkele bestaande benchmark deze kritieke dimensie systematisch. Om deze leemte op te vullen, stellen wij Omni-WorldBench voor, een uitgebreide benchmark die specifiek is ontworpen om de interactieve responscapaciteiten van wereldmodellen in 4D-omgevingen te evalueren. Omni-WorldBench omvat twee kerncomponenten: Omni-WorldSuite, een systematische promptsuite die diverse interactieniveaus en scèntypes omspant; en Omni-Metrics, een agent-gebaseerd evaluatieraamwerk dat wereldmodelleringscapaciteiten kwantificeert door de causale impact van interactie-acties op zowel eindresultaten als tussenliggende toestandsevolutietrajecten te meten. Wij voeren uitgebreide evaluaties uit van 18 representatieve wereldmodellen uit meerdere paradigma's. Onze analyse onthult kritieke beperkingen van huidige wereldmodellen in interactief responsvermogen en biedt praktische inzichten voor toekomstig onderzoek. Omni-WorldBench zal openbaar worden vrijgegeven om de vooruitgang in interactieve 4D-wereldmodellering te bevorderen.
Wij presenteren daVinci-MagiHuman, een open-source audio-video generatief foundation model voor mensgerichte generatie. daVinci-MagiHuman genereert gezamenlijk gesynchroniseerde video en audio met behulp van een single-stream Transformer die tekst, video en audio verwerkt binnen een uniforme tokenreeks uitsluitend via self-attention. Dit single-stream ontwerp vermijdt de complexiteit van multi-stream of cross-attention architecturen en blijft tegelijkertijd eenvoudig te optimaliseren met standaard trainings- en inferentie-infrastructuur. Het model is bijzonder sterk in mensgerichte scenario's, waarbij het expressieve gezichtsuitdrukkingen, natuurlijke coördinatie tussen spraak en expressie, realistische lichaamsbeweging en precieze audio-video synchronisatie produceert. Het ondersteunt meertalige gesproken generatie in het Chinees (Mandarijn en Kantonees), Engels, Japans, Koreaans, Duits en Frans. Voor efficiënte inferentie combineren we de single-stream backbone met modeldistillatie, latent-space superresolutie en een Turbo VAE-decoder, waardoor een 5 seconden durende 256p video in 2 seconden gegenereerd kan worden op een enkele H100 GPU. In automatische evaluatie behaalt daVinci-MagiHuman de hoogste visuele kwaliteit en tekstalignering onder toonaangevende open modellen, samen met de laagste word error rate (14,60%) voor spraakverstaanbaarheid. In paarsgewijze humane evaluatie behaalt het winstpercentages van 80,0% tegen Ovi 1.1 en 60,9% tegen LTX 2.3 over 2000 vergelijkingen. Wij open-sourcen de complete modelstack, inclusief het basismodel, het gedistilleerde model, het superresolutiemodel en de inferentiecodebase.
Het trainen van diepgaande onderzoeksagenten vereist trajecten met een lange horizon die zoeken, het samenvoegen van bewijsmateriaal en meerstaps redeneren door elkaar heen weven. Bestaande datainzamelingspijplijnen zijn echter doorgaans afhankelijk van propriëtaire web-API's, waardoor grootschalige trajectensynthese kostbaar, instabiel en moeilijk reproduceerbaar is. Wij presenteren OpenResearcher, een reproduceerbare pijplijn die eenmalige corpusbootstrapping ontkoppelt van multiturn-trajectensynthese en de zoek-en-browse-lus volledig offline uitvoert met behulp van drie expliciete browserprimitieven: zoeken, openen en vinden, over een corpus van 15 miljoen documenten. Met behulp van GPT-OSS-120B als het leraarmodel synthetiseren we meer dan 97.000 trajecten, inclusief een aanzienlijke lange-staart met 100+ toolaanroepen. Supervised fine-tuning van een 30B-A3B-backbone op deze trajecten behaalt een nauwkeurigheid van 54,8% op BrowseComp-Plus, een verbetering van +34,0 punten ten opzichte van het basismodel, terwijl het competitief blijft op BrowseComp, GAIA en xbench-DeepSearch. Omdat de omgeving offline en volledig geïnstrumenteerd is, maakt het ook gecontroleerde analyse mogelijk, waarbij onze studie praktische inzichten oplevert in het ontwerp van diepe onderzoekspijplijnen, inclusief datafilterstrategieën, agentconfiguratiekeuzes en hoe retrievalsucces zich verhoudt tot de uiteindelijke antwoordnauwkeurigheid. We geven de pijplijn, gesynthetiseerde trajecten, modelcheckpoints en de offline zoekomgeving vrij op https://github.com/TIGER-AI-Lab/OpenResearcher.
Vision-language models (VLMs) verwerken beelden doorgaans op hun oorspronkelijke hoge resolutie, wat een afweging tussen nauwkeurigheid en rekenefficiëntie forceert: invoer met hoge resolutie legt fijne details vast maar brengt aanzienlijke rekenkosten met zich mee, terwijl invoer met lage resolutie weliswaar efficiëntie bevordert, maar mogelijk cruciale visuele informatie mist, zoals kleine tekst. Wij presenteren AwaRes, een ruimtelijk-on-demand raamwerk dat deze nauwkeurigheid-efficiëntie-afweging oplost door te werken met een globaal beeld met lage resolutie en tool-calling te gebruiken om alleen de hoogresolutie-segmenten op te halen die nodig zijn voor een bepaalde query. Wij construeren automatisch gesuperviseerde data: een beoordelaar vergelijkt antwoorden op lage versus hoge resolutie om te labelen of bijsnijden nodig is, en een orakel-localiseringsmodel lokaliseert het bewijsmateriaal voor het correcte antwoord, dat wij in kaart brengen op een discrete set van uitsneden om meerdaagse tool-use trajecten te vormen. Wij trainen ons raamwerk met cold-start SFT gevolgd door meerdaagse GRPO met een samengestelde beloning die semantische antwoordnauwkeurigheid combineert met expliciete straffen voor uitsnedekosten. Projectpagina: https://nimrodshabtay.github.io/AwaRes
Wij introduceren LongCat-Flash-Prover, een vlaggenschip open-source Mixture-of-Experts (MoE)-model met 560 miljard parameters, dat Native Formeel Redeneren in Lean4 bevordert via agent-gedreven, tool-geïntegreerd redeneren (TIR). Wij ontleden de taak van native formeel redeneren in drie onafhankelijke formele capaciteiten, namelijk auto-formalisering, schetsen en bewijzen. Om deze capaciteiten te faciliteren, stellen wij een Hybride-Experts Iteratieraamwerk voor om hoogwaardige taaktrajecten uit te breiden, inclusief het genereren van een formele bewering op basis van een gegeven informeel probleem, het produceren van een volledig bewijs direct vanuit de bewering, of een lemma-stijl schets. Tijdens agent-gericht RL presenteren wij een Hiërarchisch Belangsteekproef Beleidsoptimalisatie (HisPO) algoritme, dat tot doel heeft de training van het MoE-model op dergelijke langetermijntaken te stabiliseren. Het hanteert een gradiëntmaskeringsstrategie die rekening houdt met de veroudering van het beleid en de inherente discrepanties tussen train- en inference-engine op zowel sequentie- als tokenniveau. Daarnaast incorporeren wij ook mechanismen voor consistentie van stellingen en legaliteitsdetectie om reward hacking-problemen te elimineren. Uitgebreide evaluaties tonen aan dat onze LongCat-Flash-Prover een nieuwe state-of-the-art vestigt voor open-gewicht modellen in zowel auto-formalisering als stellingenbewijzen. Het demonstreert een opmerkelijke steekproefefficiëntie door een slaagpercentage van 97,1% te behalen op MiniF2F-Test met slechts 72 inference-budget per probleem. Op meer uitdagende benchmarks lost het 70,8% van ProverBench en 41,5% van PutnamBench op met niet meer dan 220 pogingen per probleem, waarmee het bestaande open-gewicht baseline-modellen significant overtreft.
Het begrijpen van lange video's blijft een uitdaging voor multimodale grote taalmodellen (MLLM's) vanwege beperkte contextvensters, waardoor het noodzakelijk is om schaarse, vraagrelevante videosegmenten te identificeren. Bestaande methoden lokaliseren echter voornamelijk aanwijzingen uitsluitend op basis van de vraag, waarbij de intrinsieke structuur van de video en de variërende relevantie tussen segmenten over het hoofd worden gezien. Om dit aan te pakken, stellen we VideoDetective voor, een framework dat vraag-naar-segmentrelevantie en onderlinge segmentaffiniteit integreert voor effectieve zoektochten naar aanwijzingen bij vraagbeantwoording over lange video's. Concreet verdelen we een video in verschillende segmenten en representeren deze als een visueel-temporele affiniteitsgrafiek, opgebouwd uit visuele gelijkenis en temporele nabijheid. Vervolgens voeren we een Hypothese-Verificatie-Verfijningslus uit om de relevantiescores van geobserveerde segmenten ten opzichte van de vraag te schatten en deze door te geven aan niet-geobserveerde segmenten, wat resulteert in een globale relevantieverdeling die de lokalisatie van de meest kritieke segmenten leidt voor uiteindelijke beantwoording met schaarse observatie. Experimenten tonen aan dat onze methode consistente, substantiële verbeteringen behaalt over een breed scala aan mainstream MLLM's op representatieve benchmarks, met nauwkeurigheidsverbeteringen tot 7,5% op VideoMME-long. Onze code is beschikbaar op https://videodetective.github.io/
Ondanks de opmerkelijke successen van grootschalige vooraf getrainde beeldrepresentatiemodellen (zogenaamde vision encoders) in diverse visuele taken, worden ze voornamelijk getraind op 2D-beeldgegevens. Hierdoor slagen ze er vaak niet in om de 3D-ruimtelijke relaties tussen objecten en achtergronden in de echte wereld vast te leggen, wat hun effectiviteit in veel downstream-toepassingen beperkt. Om dit aan te pakken, stellen we SpatialBoost voor, een schaalbaar raamwerk dat het ruimtelijk bewustzijn van bestaande vooraf getrainde vision encoders verbetert door 3D-ruimtelijke kennis, uitgedrukt in linguïstische beschrijvingen, in te brengen. De kernidee bestaat uit het omzetten van dichte 3D-ruimtelijke informatie uit 2D-beelden in linguïstische expressies, die vervolgens wordt gebruikt om dergelijke ruimtelijke kennis via een Large Language Model (LLM) in vision encoders te injecteren. Hiertoe passen we een multi-turn Chain-of-Thought (CoT) redeneerproces toe dat geleidelijk dichte ruimtelijke kennis incorporeert en een hiërarchisch ruimtelijk begrip opbouwt. Om de effectiviteit te valideren, passen we SpatialBoost aan op state-of-the-art vision encoders zoals DINOv3 en evalueren we de prestatieverbetering op een breed scala aan benchmarks die zowel 3D-perceptie als algemene visuele vaardigheden vereisen. SpatialBoost verbetert bijvoorbeeld de prestaties van DINOv3 op ADE20K van 55,9 naar 59,7 mIoU, wat een state-of-the-art prestatie oplevert met een winst van 3,8% ten opzichte van de vooraf getrainde DINOv3.
Hoewel recente vooruitgang in generatieve latente ruimten aanzienlijke progressie heeft geboekt in de generatie van enkele afbeeldingen, blijft de optimale latente ruimte voor novel view synthesis (NVS) grotendeels onontgonnen. NVS vereist in het bijzonder een geometrisch consistente generatie over verschillende gezichtspunten, maar bestaande benaderingen werken typisch in een view-onafhankelijke VAE-latente ruimte. In dit artikel stellen we Geometric Latent Diffusion (GLD) voor, een raamwerk dat de geometrisch consistente feature-ruimte van geometrische foundation-modellen hergebruikt als de latente ruimte voor multi-view diffusie. We tonen aan dat deze features niet alleen hoogwaardige RGB-reconstructie ondersteunen, maar ook sterke geometrische correspondenties tussen views coderen, wat een goed geschikte latente ruimte voor NVS biedt. Onze experimenten tonen aan dat GLD zowel VAE als RAE overtreft op het gebied van 2D-beeldkwaliteit en 3D-consistentiemetrieken, terwijl de training met meer dan 4,4x wordt versneld in vergelijking met de VAE-latente ruimte. Opmerkelijk is dat GLD competitief blijft met state-of-the-art methoden die gebruikmaken van grootschalige text-to-image pre-training, ondanks het feit dat het diffusiemodel vanaf nul wordt getraind zonder dergelijke generatieve pre-training.
Bij de huidige training van taalmodelen wordt vaak multi-task Supervised Fine-Tuning (SFT) toegepast met een homogeen rekenbudget voor alle subdatasets. Deze aanpak is fundamenteel suboptimaal: heterogene leer dynamieken zorgen ervoor dat sneller lerende taken vroegtijdig overfitten, terwijl langzamere taken onderfit blijven. Om dit aan te pakken, introduceren wij mSFT, een iteratief, overfitting-bewust zoekalgoritme voor multi-task datamengsels. mSFT traint het model op een actief mengsel, identificeert en sluit de vroegst overfittende subdataset uit, en keert terug naar het bijbehorende optimale checkpoint voordat wordt verdergegaan. Uitgebreide evaluaties tonen aan dat mSFT consistent beter presteert dan 4 baseline-methoden over 10 benchmarks en 6 basis modellen heen. Verdere analyse bevestigt dat mSFT robuuste verbeteringen handhaaft bij diverse datasetgroottes en taakgranulariteiten, en ongevoelig is voor zijn enkele nieuwe hyperparameter (rekenbudget). Opmerkelijk is dat mSFT bij een laag rekenbudget de prestaties kan verbeteren terwijl de trainings-FLOPs worden verlaagd. Uiteindelijk biedt mSFT een praktisch, overfitting-bewust algoritme voor multi-task SFT dat het potentieel van modellen over diverse datamengsels maximaliseert.
Groepsrelatief Beleidsoptimalisatie (GRPO)-methoden voor videogeneratie, zoals FlowGRPO, blijven aanzienlijk minder betrouwbaar dan hun tegenhangers voor taalmodelen en afbeeldingen. Deze kloof ontstaat omdat videogeneratie een complexe oplossingsruimte heeft, en de ODE-naar-SDE-conversie die wordt gebruikt voor exploratie excessieve ruis kan injecteren. Dit verlaagt de kwaliteit van de rollouts en maakt beloningsschattingen minder betrouwbaar, wat de stabiliteit van de post-training alignment ondermijnt. Om dit probleem aan te pakken, beschouwen we het vooraf getrainde model als de definitie van een geldige videodatavariëteit en formuleren we de kern van het probleem als het beperken van de exploratie tot de nabijheid van deze variëteit. Dit garandeert dat de rollout-kwaliteit behouden blijft en de beloningsschattingen betrouwbaar blijven. Wij stellen SAGE-GRPO voor (Stable Alignment via Exploration), dat beperkingen toepast op zowel micro- als macroniveau. Op microniveau leiden we een precieze, variëteit-bewuste SDE af met een logaritmische krommingscorrectie en introduceren we een gradientnorm-gelijkrichter om de steekproefname en updates over tijdstappen heen te stabiliseren. Op macroniveau gebruiken we een dubbele vertrouwensregio met een periodiek bewegend anker en stapsgewijze beperkingen, zodat de vertrouwensregio checkpoints volgt die dichter bij de variëteit liggen en langetermijndrift beperkt. We evalueren SAGE-GRPO op HunyuanVideo1.5 met de oorspronkelijke VideoAlign als beloningsmodel en observeren consistente verbeteringen ten opzichte van eerdere methoden in VQ, MQ, TA en visuele metrieken (CLIPScore, PickScore). Dit demonstreert superieure prestaties in zowel beloningsmaximalisatie als algehele videokwaliteit. De code en visuele galerij zijn beschikbaar op https://dungeonmassster.github.io/SAGE-GRPO-Page/.
Feed-forward 3D Gaussian Splatting-methoden maken single-pass reconstructie en real-time rendering mogelijk. Ze hanteren echter typisch rigide pixel-naar-Gaussiaan- of voxel-naar-Gaussiaan-pipelines die Gaussiaanse verdelingen uniform toewijzen, wat leidt tot redundante Gaussiaanse verdelingen tussen verschillende viewpoints. Bovendien ontbreekt een effectief mechanisme om het totale aantal Gaussiaanse verdelingen te controleren terwijl de reconstructiekwaliteit behouden blijft. Om deze beperkingen aan te pakken, presenteren we F4Splat, dat Feed-Forward predictieve verdichting uitvoert voor Feed-Forward 3D Gaussian Splatting door een toewijzingsstrategie te introduceren die geleid wordt door verdichtingsscores. Deze strategie deelt Gaussiaanse verdelingen adaptief toe op basis van ruimtelijke complexiteit en multi-view overlap. Ons model voorspelt verdichtingsscores per regio om de vereiste Gaussiaanse dichtheid in te schatten en maakt expliciete controle over het uiteindelijke Gaussiaanse budget mogelijk zonder hertraining. Deze ruimtelijk adaptieve toewijzing vermindert redundantie in eenvoudige regio's en minimaliseert dubbele Gaussiaanse verdelingen in overlappende viewpoints, wat compacte maar hoogkwalitatieve 3D-representaties oplevert. Uitgebreide experimenten tonen aan dat ons model superieure novel-view synthesis prestaties bereikt in vergelijking met eerdere ongekalibreerde feed-forward methoden, terwijl het significant minder Gaussiaanse verdelingen gebruikt.
Open-vocabulary 3D-objectdetectie heeft als doel objecten te lokaliseren en te herkennen buiten een vaste trainings-taxonomie om. In multi-view RGB-instellingen ontkoppelen recente benaderingen vaak op geometrie gebaseerde instantieconstructie van semantische labeling, waarbij klasse-agnostische fragmenten worden gegenereerd en open-vocabulary-categorieën achteraf worden toegewezen. Hoewel flexibel, laat een dergelijke ontkoppeling de instantieconstructie voornamelijk gestuurd door geometrische consistentie, zonder semantische beperkingen tijdens het samenvoegen. Wanneer geometrische aanwijzingen view-dependent en incompleet zijn, kan dit puur op geometrie gebaseerde samenvoegen leiden tot onomkeerbare associatiefouten, waaronder overmatig samenvoegen van verschillende objecten of fragmentatie van een enkel exemplaar. Wij stellen Group3D voor, een multi-view open-vocabulary 3D-detectiekader dat semantische beperkingen rechtstreeks integreert in het instantieconstructieproces. Group3D houdt een scene-adaptieve vocabulaire aan, afgeleid van een multimodaal groot taalmodel (MLLM), en organiseert deze in semantische compatibiliteitsgroepen die plausibele cross-view categorie-equivalentie coderen. Deze groepen fungeren als beperkingen tijdens het samenvoegen: 3D-fragmenten worden alleen geassocieerd wanneer ze zowel aan semantische compatibiliteit als geometrische consistentie voldoen. Dit semantisch gegateerde samenvoegen vermindert geometriegestuurd overmatig samenvoegen terwijl het variabiliteit in multi-view categorieën absorbeert. Group3D ondersteunt zowel pose-known als pose-free instellingen, en vertrouwt uitsluitend op RGB-waarnemingen. Experimenten op ScanNet en ARKitScenes tonen aan dat Group3D state-of-the-art prestaties bereikt in multi-view open-vocabulary 3D-detectie, terwijl het sterke generalisatie vertoont in zero-shot scenario's. De projectpagina is beschikbaar op https://ubin108.github.io/Group3D/.
Het verbeteren van embodied reasoning (belichaamde redeneervaardigheid) in multimodale grote taalmodellen (MLLM's) is essentieel voor de ontwikkeling van vision-language-action-modellen (VLA's) die hierop voortbouwen, om multimodaal begrip direct te kunnen vertalen naar low-level acties. Recent onderzoek heeft daarom geprobeerd de embodied reasoning in MLLM's te verbeteren door middel van supervisie van het vision-question-answering-type. Uit deze benaderingen is echter gebleken dat ze leiden tot een instabiele VLA-prestatie, waarbij vaak slechts marginale of zelfs negatieve verbeteringen worden behaald. In dit artikel stellen we een meer systematisch MLLM-trainingskader voor, RoboAlign genaamd, dat de VLA-prestatie betrouwbaar verbetert. Onze kernidee is om actietokens te bemonsteren via zero-shot redeneren in natuurlijke taal en deze redeneervaardigheid te verfijnen met reinforcement learning (RL) om de actienauwkeurigheid te verbeteren. Hierdoor overbrugt RoboAlign de modaliteitskloof tussen taal en low-level acties in MLLM's en vergemakkelijkt het de kennisoverdracht van MLLM naar VLA. Om de effectiviteit van RoboAlign te valideren, trainen we VLA's door een op diffusie gebaseerde actie-head toe te voegen aan een MLLM-backbone en evalueren we deze op belangrijke roboticabenchmarks. Opmerkelijk is dat RoboAlign, door RL-gebaseerde alignment uit te voeren na SFT met minder dan 1% van de data, prestatieverbeteringen behaalt van respectievelijk 17,5%, 18,9% en 106,6% ten opzichte van SFT-baselines op LIBERO, CALVIN en real-world omgevingen.
Grote Taalmodellen (LLM's) vertonen hallucinaties bij kennisintensieve taken. Op grafen gebaseerde retrieval-augmented generation (RAG) is naar voren gekomen als een veelbelovende oplossing, maar bestaande benaderingen lijden onder fundamentele beperkingen in recall en precisie bij gebruik op black-box knowledge graphs – grafen waarvan het schema en de structuur van tevoren onbekend zijn. Wij identificeren drie kernuitdagingen die recall-verlies veroorzaken (semantische instantiatieonzekerheid en structurele padonzekerheid) en precisieverlies (bewijskrachtvergelijkingsonzekerheid). Om deze uitdagingen aan te pakken, formaliseren we de retrievetaak als het Optimal Informative Subgraph Retrieval (OISR) probleem – een variant van het Group Steiner Tree probleem – en bewijzen we dat dit NP-moeilijk en APX-moeilijk is. Wij stellen BubbleRAG voor, een trainingsvrije pipeline die systematisch optimaliseert voor zowel recall als precisie door middel van semantische anker-groepering, heuristische bubble-expansie om kandidaat-bewijsgrafen (CEG's) te ontdekken, composiete rangschikking en reasoning-aware expansie. Experimenten op multi-hop QA benchmarks tonen aan dat BubbleRAG state-of-the-art resultaten behaalt, sterke baseline-methoden overtreft in zowel F1 als nauwkeurigheid, en plug-and-play blijft.
Versterkend leren met verifieerbare beloningen (RLVR) heeft het redeneervermogen van grote taalmodellen aanzienlijk verbeterd. Hoewel bestaande analyses aantonen dat RLVR-geïnduceerde veranderingen spaarzaam zijn, richten ze zich voornamelijk op de omvang van deze updates en negeren ze grotendeels hun richting. In dit werk beargumenteren we dat de richting van de updates een kritischer perspectief biedt om de effecten van RLVR te begrijpen, wat kan worden vastgelegd door het getekende, token-niveau log-kansverschil Δlog p tussen het basis- en het uiteindelijke RLVR-model. Door middel van statistische analyse en token-vervangingsinterventies tonen we aan dat Δlog p effectiever spaarzame, maar voor redenering cruciale updates identificeert dan op grootte gebaseerde metrieken (bijv. divergentie of entropie). Voortbouwend op dit inzicht stellen we twee praktische toepassingen voor: (1) een extrapolatiemethode tijdens het testen die het beleid versterkt langs de geleerde Δlog p-richting om de redeneernauwkeurigheid te verbeteren zonder verdere training; (2) een herwegingmethode tijdens de training die het leren concentreert op tokens met een lage kans (overeenkomend met een hogere Δlog p), wat de redeneerprestaties verbetert over verschillende modellen en benchmarks heen. Ons werk vestigt de richting van verandering als een sleutelprincipe voor het analyseren en verbeteren van RLVR.
Post-training voor langetermijn agent-taken kent een spanning tussen rekenefficiëntie en generalisatie. Hoewel supervised fine-tuning (SFT) rekenefficiënt is, lijdt het vaak onder out-of-domain (OOD) degradatie. Omgekeerd behoudt end-to-end reinforcement learning (E2E RL) de OOD-capaciteiten, maar brengt het hoge rekenkosten met zich mee vanwege vele iteraties van on-policy rollouts. Wij introduceren PivotRL, een nieuw framework dat opereert op bestaande SFT-trajecten om de rekenefficiëntie van SFT te combineren met de OOD-nauwkeurigheid van E2E RL. PivotRL steunt op twee belangrijke mechanismen: ten eerste voert het lokale, on-policy rollouts uit en filtert het op pivots – informatieve tussenstappen waarin gesampelde acties een hoge variantie in uitkomsten vertonen; ten tweede benut het beloningen voor functioneel-equivalente acties in plaats van strikte string matching met de SFT-datademonstratie te eisen. Wij tonen theoretisch aan dat deze mechanismen sterke leer-signalen aanmoedigen met een hoge natural gradient norm, terwijl ze de volgorde van beleidskansen voor acties ongerelateerd aan de trainingstaken maximaal behouden. In vergelijking met standaard SFT op identieke data, demonstreren wij dat PivotRL gemiddeld over vier agent-domeinen een +4,17% hogere in-domain nauwkeurigheid bereikt, en een +10,04% hogere OOD-nauwkeurigheid in niet-agent taken. Opmerkelijk is dat PivotRL bij agent-coderingstaken een vergelijkbare nauwkeurigheid bereikt als E2E RL met 4x minder rollout-iteraties. PivotRL wordt gebruikt door NVIDIA's Nemotron-3-Super-120B-A12B en fungeert als de werkpaard voor post-training op productieschaal voor agent-taken.
Bestaande prompt-optimalisatietechnieken vertrouwen op lokale signalen om gedrag bij te werken, waarbij bredere en terugkerende patronen tussen taken vaak worden verwaarloosd, wat leidt tot slechte generalisatie; ze zijn verder afhankelijk van herschrijvingen van volledige prompts of ongestructureerde samenvoegingen, wat resulteert in kennisverlies. Deze beperkingen worden versterkt in onderzoekscoderingsworkflows, die heterogene repositories, ongespecificeerde omgevingen en zwakke feedback omvatten, waarbij het reproduceren van resultaten uit publieke codebasissen een gevestigd evaluatieregime is. Wij introduceren Reflective Evolving Research Engineer (REVERE), een raamwerk dat continu leert vanuit een Globale Trainingscontext, terugkerende faalpatronen in uitvoeringstrajecten tussen repositories herkent, deze destilleert tot herbruikbare heuristieken en gerichte bewerkingen uitvoert over drie configureerbare velden: de systeemprompt, een taakprompt-sjabloon en een cumulatieve cheatsheet. REVERE verbetert via dit reflectieve optimalisatieraamwerk de prestaties ten opzichte van eerder state-of-the-art, door experts gemaakte instructies voor onderzoekscoderingstaken met 4,50% op SUPER, 3,51% op ResearchCodeBench en 4,89% op ScienceAgentBench volgens hun respectievelijke metrieken. Deze resultaten tonen aan dat agents die zijn uitgerust met mechanismen voor continu leren en globale geheugenconsolidatie hun capaciteiten in de loop van de tijd betekenisvol kunnen ontwikkelen.
Modellen die visie en taal verbinden, zoals CLIP, zijn cruciale componenten van multimodale AI, maar hun grootschalige, ongefiltreerde trainingsdata introduceren ernstige sociale en spurious biases. Bestaande post-hoc debiasingmethoden werken vaak direct in de dense CLIP-embeddingruimte, waar bias en taakrelevante informatie sterk verweven zijn. Deze verwevenheid beperkt hun vermogen om bias te verwijderen zonder de semantische trouw aan te tasten. In dit werk stellen we Sparse Embedding Modulation (SEM) voor, een post-hoc, zero-shot debiasingraamwerk dat opereert in een Sparse Autoencoder (SAE) latente ruimte. Door CLIP-tekstembeddings te ontbinden in ontvlochten kenmerken, identificeert en moduleert SEM biasrelevante neuronen terwijl queryrelevante behouden blijven. Dit maakt preciezere, niet-lineaire interventies mogelijk. Over vier benchmarkdatasets en twee CLIP-backbones heen behaalt SEM aanzienlijke verbeteringen in eerlijkheid bij retrieval en zero-shot classificatie. Onze resultaten tonen aan dat sparse latente representaties een effectieve basis bieden voor post-hoc debiasing van visie-taalmodellen.
Generatieve modellen en visuele encoders hebben zich grotendeels onafhankelijk ontwikkeld, geoptimaliseerd voor verschillende doelen en gebaseerd op verschillende wiskundige principes. Toch delen ze een fundamentele eigenschap: Gaussianiteit in de latente ruimte. Generatieve modellen transformeren Gaussische ruis naar afbeeldingen, terwijl encoders afbeeldingen afbeelden naar semantische embeddings waarvan de coördinaten empirisch een Gaussisch gedrag vertonen. Wij veronderstellen dat beide gezichtspunten zijn van een gedeelde latente bron, de Universeel Normale Embedding (UNE): een bij benadering Gaussische latente ruimte waaruit encoder-embeddings en DDIM-geïnverteerde ruis ontstaan als ruisvolle lineaire projecties. Om onze hypothese te testen, introduceren we NoiseZoo, een dataset van per-afbeelding latente representaties bestaande uit DDIM-geïnverteerde diffusieruis en bijbehorende encoderrepresentaties (CLIP, DINO). Op CelebA leveren lineaire probes in beide ruimten sterke, uitgelijnde attribuutvoorspellingen op, wat erop wijst dat generatieve ruis betekenisvolle semantiek codeert langs lineaire richtingen. Deze richtingen maken verder getrouwe, controleerbare bewerkingen mogelijk (bijv. glimlach, geslacht, leeftijd) zonder architectuurwijzigingen, waarbij eenvoudige orthogonalisatie ongewenste verstrengelingen vermindert. Samengenomen bieden onze resultaten empirische ondersteuning voor de UNE-hypothese en onthullen ze een gedeelde, Gaussiaans-aandoende latente geometrie die codering en generatie concreet met elkaar verbindt. Code en data zijn beschikbaar op https://rbetser.github.io/UNE/.
Gewichtsgedecomponeerde Low-Rank-aanpassing (DoRA) breidt LoRA uit door de gewichtsgrootte los te koppelen van de richting, maar de voorwaartse doorgang vereist de rijgewijze norm van W + sBA, een berekening die elk groot framework dat we onderzochten implementeert door het dichte [d_out, d_in] product BA te materialiseren. Bij d_in = 8192 en rang r = 384 vereist de norm van een enkele module ongeveer 512 MB tijdelijk werkgeheugen in bf16, wat DoRA met hoge rang kostbaar en vaak onhaalbaar maakt op gangbare single-GPU-opstellingen zodra honderden aangepaste modules en checkpointing betrokken zijn. Wij presenteren twee systeembijdragen. Een gefactoriseerde norm decomposeert de kwadratische norm in basis-, kruis- en Gram-termen die berekenbaar zijn via O(d_out r + r^2) tussenproducten, waardoor het dichte product wordt geëlimineerd. Gefuseerde Triton-kernels vouwen de vier-kernel DoRA-compositie samen tot een enkele doorgang, waardoor het geheugenverkeer met ongeveer 4x wordt verminderd en gebruik wordt gemaakt van een numeriek stabiele vorm die catastrofale cancelatie vermijdt in het near-unity-herschalingsregime waar grootte-schalingen zich in de praktijk concentreren. Over zes 8-32B vision-language modellen (VLM's) op drie NVIDIA GPU's (RTX 6000 PRO, H200, B200) bij r = 384 in bf16, is de gefuseerde implementatie 1.5-2.0x sneller dan Hugging Face PEFT's DoRA-implementatie voor inferentie en 1.5-1.9x sneller voor gradiëntberekening (optimizer-stap uitgesloten), met tot 7 GB lagere piek-VRAM. Microbenchmarks op zes GPU's over vier architectuurgeneraties (L40S, A100, RTX 6000 PRO, H200, B200, B300) bevestigen een 1.5-2.7x versnelling van de compose-kernel. De cosinusgelijkenis van de laatste logits overschrijdt 0.9999 over alle model/GPU-paren, en trainingscurves met meerdere seeds komen overeen binnen een gemiddeld verliesverschil per stap van 7.1 x 10^-4 over 2000 stappen.
Grootschalige Taalmodellen (LLM's) hebben opmerkelijke betrouwbaarheid en geavanceerde capaciteiten bereikt door uitgebreide redeneerprocessen tijdens testtijd. Het uitbreiden van deze capaciteiten naar Multimodale Grootschalige Taalmodellen (MLLM's) blijft echter een aanzienlijke uitdaging, voornamelijk door een kritisch tekort aan hoogwaardige, lange-redeneerketendata en geoptimaliseerde trainingspijplijnen. Om deze kloof te overbruggen, presenteren we een verenigd multi-agent visueel redeneerkader dat zich systematisch ontwikkelt vanuit ons fundamentele, beeldgerichte model Insight-V naar een gegeneraliseerde ruimtelijk-temporele architectuur, Insight-V++. We introduceren eerst een schaalbare datageneratiepijplijn, uitgerust met multi-granulariteitsbeoordeling, die autonoom gestructureerde, complexe redeneertrajecten synthetiseert over beeld- en videodomeinen heen, zonder menselijke tussenkomst. Omdat we erkennen dat het direct aansturen van MLLM's met dergelijk ingewikkelde data suboptimale resultaten oplevert, ontwerpen we een dual-agent architectuur bestaande uit een redeneeragent om uitgebreide analytische ketens uit te voeren, en een samenvattingsagent om de eindresultaten kritisch te evalueren en te destilleren. Hoewel ons initiële framework Direct Preference Optimization (DPO) gebruikte, belemmerde het *off-policy* karakter fundamenteel het potentieel voor reinforcement learning. Om deze beperkingen te overwinnen, met name voor videobegrip op lange termijn, introduceert Insight-V++ twee nieuwe algoritmen, ST-GRPO en J-GRPO, die het ruimtelijk-temporeel redeneren verbeteren en de evaluatierobustheid vergroten. Cruciaal is dat we door gebruik te maken van betrouwbare feedback van de samenvattingsagent, een iteratief proces voor het genereren van redeneerpaden sturen, waarbij het gehele multi-agent systeem opnieuw wordt getraind in een continu, zelfverbeterende lus. Uitgebreide experimenten op basismodellen zoals LLaVA-NeXT en Qwen2.5-VL demonstreren significante prestatieverbeteringen op uitdagende beeld- en videoredeneerbenchmarks, terwijl sterke capaciteiten op traditionele, perceptiegerichte taken behouden blijven.
Wij introduceren Generalized Discrete Diffusion from Snapshots (GDDS), een uniform raamwerk voor discrete diffusiemodellering dat willekeurige verstorende processen over grote discrete toestandsruimten ondersteunt. Onze formulering omvat alle bestaande discrete diffusiebenaderingen, terwijl het aanzienlijk meer flexibiliteit biedt in de keuze van corruptiedynamica. Het voorwaartse verstorende proces steunt op uniformisatie en maakt snelle willekeurige corruptie mogelijk. Voor het omgekeerde proces leiden we een eenvoudige evidence lower bound (ELBO) af, gebaseerd op momentopname-latente variabelen in plaats van het gehele verstorende pad, die efficiënte training van standaard generatieve modelarchitecturen mogelijk maakt met een duidelijke probabilistische interpretatie. Onze experimenten met discrete generatietaken met een grote woordenschat tonen aan dat het voorgestelde raamwerk de bestaande discrete diffusiemethoden overtreft wat betreft trainings efficiëntie en generatiekwaliteit, en voor het eerst op deze schaal autoregressieve modellen verslaat. Wij stellen de code beschikbaar samen met een blogpost op de projectpagina: https://oussamazekri.fr/gdds.
Het "AI-singulariteit" wordt vaak ten onrechte voorgesteld als een monolitische, goddelijke geest. Evolutie wijst op een ander pad: intelligentie is fundamenteel meervoudig, sociaal en relationeel. Recente vooruitgang in agent-gebaseerde AI laat zien dat geavanceerde redeneermodellen, zoals DeepSeek-R1, niet simpelweg verbeteren door "langer te denken". In plaats daarvan simuleren ze interne "denkcollectieven": spontane cognitieve debatten die argumenteren, verifiëren en verzoenen om complexe taken op te lossen. Bovendien betreden we een tijdperk van mens-AI-centauren: hybride actoren waarbij collectief handelen het individuele overstijgt. Het opschalen van deze intelligentie vereist een verschuiving van dyadische afstemming (RLHF) naar institutionele afstemming. Door digitale protocollen te ontwerpen, gemodelleerd naar organisaties en markten, kunnen we een sociale infrastructuur van checks and balances bouwen. De volgende intelligentie-explosie zal geen enkele siliciumbrein zijn, maar een complexe, combinatorische samenleving die zich specialiseert en uitbreidt als een stad. Geen enkele geest is een eiland.
Prompt routing selecteert dynamisch het meest geschikte grote taalmodel uit een kandidaatpool voor elke query, waarbij prestaties worden geoptimaliseerd en kosten worden beheerd. Naarmate modelpools uitbreiden naar tientallen frontier-modellen met minimale prestatieverschillen, kampen bestaande aanpakken met aanzienlijke uitdagingen: handmatig gedefinieerde taakclassificaties kunnen fijnmazige onderscheiden in capaciteiten niet vastleggen, terwijl monolitische routers moeite hebben met het differentiëren van subtiele verschillen bij diverse taken. Wij stellen een routeringsarchitectuur in twee fasen voor die deze beperkingen aanpakt door geautomatiseerde, fijnmazige taakdetectie en taakbewuste kwaliteitsschatting. Onze eerste fase gebruikt op grafieken gebaseerde clustering om latente taaktypen te ontdekken en traint een classifier om prompts aan ontdekte taken toe te wijzen. De tweede fase gebruikt een mixture-of-experts-architectuur met taakspecifieke voorspellingsmodules voor gespecialiseerde kwaliteitsschattingen. Tijdens inferentie aggregeren we voorspellingen van beide fasen om taakniveau-stabiliteit te balanceren met promptspecifieke aanpasbaarheid. Evaluatie op 10 benchmarks met 11 frontier-modellen toont aan dat onze methode consistent beter presteert dan bestaande baseline-methoden en het sterkste individuele model overtreft, tegen minder dan de helft van de kosten.
Het hergebruiken en aanroepen van bestaande code blijft kostbaar en onbetrouwbaar, omdat de meeste praktische tools zijn ingebed in heterogene coderepositories en geen gestandaardiseerde, uitvoerbare interfaces hebben. Hoewel grote taalmodelmodellen (LLM's) en op het Model Context Protocol (MCP) gebaseerde toolaanroepframeworks de uitvoering van taken in natuurlijke taal mogelijk maken, zijn huidige benaderingen sterk afhankelijk van handmatige toolcuratie en -standaardisatie, wat de schaalbaarheid fundamenteel beperkt. In dit artikel stellen we ToolRosetta voor, een uniform raamwerk dat open-source coderepositories en API's automatisch vertaalt naar MCP-compatibele tools die betrouwbaar door LLM's kunnen worden aangeroepen. Gegeven een gebruikers-taak plant ToolRosetta autonoom toolketens, identificeert relevante codebasissen en zet deze om in uitvoerbare MCP-services, waardoor end-to-end taakvoltooiing met minimale menselijke tussenkomst mogelijk wordt. Bovendien bevat ToolRosetta een beveiligingsinspectielaag om de inherente risico's van het uitvoeren van willekeurige code te beperken. Uitgebreide experimenten in diverse wetenschappelijke domeinen tonen aan dat ToolRosetta een groot aantal open-source tools automatisch kan standaardiseren en de benodigde menselijke inspanning voor codereproductie en -implementatie kan verminderen. Opmerkelijk is dat agents aangedreven door ToolRosetta, door naadloos gebruik te maken van gespecialiseerde open-source tools, consequent betere taakvoltooiingsprestaties leveren in vergelijking met commerciële LLM's en bestaande agentsystemen.
Low Rank Adaptation (LoRA) is de facto de fijnafstemmingsstrategie om gepersonaliseerde afbeeldingen te genereren uit vooraf getrainde diffusiemodellen. Het kiezen van een goede rang (rank) is uiterst kritiek, omdat het een afweging vormt tussen prestaties en geheugengebruik. Toch wordt deze beslissing tegenwoordig vaak overgelaten aan de consensus binnen de gemeenschap, ongeacht de complexiteit van het gepersonaliseerde onderwerp. De reden is duidelijk: de kosten voor het selecteren van een goede rang voor elke LoRA-component zijn combinatorisch, waardoor we kiezen voor praktische oplossingen, zoals het vaststellen van dezelfde rang voor alle componenten. In dit artikel zetten we een eerste stap om deze uitdaging te overwinnen. Geïnspireerd door variationele methoden die een adaptieve breedte van neurale netwerken leren, laten we de rang van elke laag vrij aanpassen tijdens het fijnafstemmen op een onderwerp. We bereiken dit door een ordening van belangrijkheid op te leggen aan de posities binnen de rang, waardoor effectief wordt aangemoedigd om hogere rangen te creëren wanneer dit strikt nodig is. Kwalitatief en kwantitatief bereikt onze aanpak, LoRA^2, een competitieve afweging tussen DINO, CLIP-I en CLIP-T over 29 onderwerpen, terwijl aanzienlijk minder geheugen en een lagere rang nodig zijn dan bij LoRA-versies met een hoge rang. Code: https://github.com/donaldssh/NotAllLayersAreCreatedEqual.
Diffusion Transformers (DiTs) vormen de basis voor hoogwaardige videowereldmodellen, maar blijven rekenkundig kostbaar vanwege sequentiële denoisering en dure spatio-temporele aandacht. Training-vrije feature caching versnelt de inferentie door het hergebruiken van tussenliggende activeringen over denoiseringsstappen heen; bestaande methodes steunen echter grotendeels op een Zero-Order Hold-aanname, d.w.z. het hergebruiken van gecachete features als statische momentopnames wanneer de globale drift klein is. Dit leidt vaak tot ghosting-artefacten, vervaging en beweginginconsistenties in dynamische scènes. Wij stellen WorldCache voor, een Perception-Constrained Dynamical Caching-framework dat zowel verbetert wannéér als hóé features hergebruikt moeten worden. WorldCache introduceert beweging-adaptieve drempels, saliency-gewogen drift-schatting, optimale approximatie via blending en warping, en fase-bewuste drempelplanning over diffusiestappen heen. Onze samenhangende aanpak maakt adaptief, beweging-consistent feature-hergebruik mogelijk zonder hertraining. Op Cosmos-Predict2.5-2B, geëvalueerd met PAI-Bench, behaalt WorldCache een 2,3× versnelling van de inferentie, waarbij 99,4% van de baseline-kwaliteit behouden blijft, wat aanzienlijk beter is dan eerdere training-vrije caching-benaderingen. Onze code is toegankelijk op https://umair1221.github.io/World-Cache/{World-Cache}.
Grote Vision-Taalmodellen (LVLM's) blinken uit in semantisch begrip maar hebben moeite met fijnmazige ruimtelijke verankering, omdat het model complexe geometrie impliciet moet afleiden zonder ooit een ruimtelijke interpretatie te produceren. Wij presenteren Perceptio, een perceptie-versterkt LVLM met 2D- en 3D-ruimtelijk redeneervermogen, mogelijk gemaakt via expliciete semantische segmentatietokens en dieptetokens die direct in de autoregressieve sequentie worden gegenereerd. Concreet: (i) destilleren we een VQ-VAE-dieptecodeboek van een sterke monocular teacher om dichte diepte te tokeniseren tot compacte sequenties, en (ii) integreren we SAM2-gebaseerde semantische segmentatietokens en VQ-VAE-dieptetokens in het LLM, zodat het model eerst ruimtelijke tokens uitstuurt en daarna antwoordt. Om de dieptetoken-generatie te stabiliseren, introduceren we nieuwe samengestelde dieptetoken-doelstellingen (marker-, token- en telverliezen) en een soft-merging-techniek voor differentieerbare reconstructie. We hanteren een multi-task co-trainingsstrategie over diverse datasets, waardoor het model perceptietokens leert om meerdere downstreamtaken aan te pakken. Voortbouwend op InternVL behaalt Perceptio state-of-the-art prestaties op benchmarks: het verbetert referring expression segmentation met +0,8/+1,4/+1,1 cIoU op RefCOCO/+/g, verhoogt de ruimtelijk begripsnauwkeurigheid van HardBLINK met 10,3% en de MMBench-nauwkeurigheid met 1,0%. Dit demonstreert dat een expliciete ruimtelijke redeneerketen de ruimtelijke verankering in LVLM's substantieel versterkt.
AI-agents zijn steeds beter geworden in geïsoleerde software-engineeringtaken, zoals het oplossen van problemen op GitHub. Toch vormen langetermijntaken met meerdere onderling afhankelijke deeltaken nog steeds een uitdaging, zowel wat betreft nauwkeurigheid als tijdige voltooiing. Een natuurlijke aanpak om deze langetermijntaken tijdig op te lossen is asynchrone multi-agent samenwerking, waarbij meerdere agents gelijktijdig aan verschillende delen van de taak werken. Maar effectieve toepassing van multi-agent systemen is verrassend moeilijk gebleken: gelijktijdige bewerkingen door meerdere agents storen elkaar, afhankelijkheden zijn moeilijk te synchroniseren en het combineren van gedeeltelijke vooruitgang tot een coherent geheel is uitdagend. Aan de andere kant hebben menselijke ontwikkelaars lange tijd vertrouwd op volwassen samenwerkingsinfrastructuur om deze uitdagingen in grote softwareprojecten te beheren. Geïnspireerd door deze samenwerkingsprimitieven introduceren wij *Centralized Asynchronous Isolated Delegation* (CAID), een gestructureerd multi-agent coördinatieparadigma gebaseerd op drie kern-SWE-primitieven: gecentraliseerde taakdelegatie, asynchrone uitvoering en geïsoleerde werkruimten. CAID construeert afhankelijkheidsbewuste taakplannen via een centrale manager, voert deeltaken gelijktijdig uit in geïsoleerde werkruimten en consolideert de voortgang via gestructureerde integratie met uitvoerbare testgebaseerde verificatie. In empirische evaluatie constateren we dat CAID de nauwkeurigheid verbetert ten opzichte van single-agent baseline-systemen met 26,7% absoluut bij taken voor het reproduceren van wetenschappelijke artikelen (PaperBench) en met 14,3% bij Python-bibliotheekontwikkelingstaken (Commit0). Door systematische analyse stellen we vast dat *branch-and-merge* een centraal coördinatiemechanisme is voor multi-agent samenwerking, en dat SWE-primitieven zoals `git worktree`, `git commit` en `git merge` het mogelijk maken dit op een betrouwbare en uitvoerbare manier te realiseren.
Offline veilige reinforcement learning (RL) streeft naar beloningmaximaliserende beleidsregels uit statische datasets onder strikte veiligheidsbeperkingen. Bestaande methoden vertrouwen vaak op zachte verwachtingskosten-doelstellingen of iteratieve generatieve inferentie, wat ontoereikend kan zijn voor veiligheidskritische realtime-regeling. Wij stellen Veilige Flow Q-Learning (SafeFQL) voor, dat FQL uitbreidt naar offline veilige RL door een veiligheidswaardefunctie, geïnspireerd op Hamilton-Jacobi-bereikbaarheid, te combineren met een efficiënt één-staps flowbeleid. SafeFQL leert de veiligheidswaarde via een zelfconsistentie-Bellman-recursie, traint een flowbeleid door gedragsklonen, en destilleert dit tot een één-staps actor voor beloningmaximaliserende veilige actieselectie zonder afkeuringssteekproef tijdens implementatie. Om rekening te houden met eindige-data-approximatiefouten in de geleerde veiligheidsgrens, voegen we een conformal prediction-kalibratiestap toe die de veiligheidsdrempel aanpast en eindige-steekproef probabilistische veiligheidsdekking biedt. Empirisch gezien verruilt SafeFQL een bescheiden hogere offline trainingskost voor een aanzienlijk lagere inferentielatentie dan diffusion-style veilige generatieve baseline-methoden, wat voordelig is voor veiligheidskritische realtime-implementatie. Over bootnavigatie- en Safety Gymnasium MuJoCo-taken heen evenaart of overtreft SafeFQL eerdere offline veilige RL-prestaties terwijl het overtredingen van beperkingen aanzienlijk reduceert.
Wereldmodellen leren toekomstige toestanden van een omgeving te voorspellen, wat planning en mentale simulatie mogelijk maakt. Huidige benaderingen gebruiken standaard Transformer-gebaseerde voorspellers die opereren in aangeleerde latente ruimtes. Dit heeft een prijskaartje: O(N²)-berekeningen en geen expliciete ruimtelijke inductieve bias. Dit artikel stelt een fundamentele vraag: is zelf-attentie noodzakelijk voor voorspellende wereldmodellering, of kunnen alternatieve computationele substraten vergelijkbare of superieure resultaten bereiken? Ik introduceer FluidWorld, een proof-of-concept wereldmodel waarvan de voorspellende dynamica wordt bepaald door partiële differentiaalvergelijkingen (PDE's) van het reactie-diffusie type. In plaats van een aparte neurale netwerkvoorspeller te gebruiken, produceert de PDE-integratie zelf de voorspelling van de toekomstige toestand. In een strikt parameter-gelijkwaardige drievoudige ablatiestudie voor onvoorwaardelijke UCF-101 videovoorspelling (64x64, ~800K parameters, identieke encoder, decoder, lossfuncties en data), wordt FluidWorld vergeleken met zowel een Transformer-basislijn (zelf-attentie) als een ConvLSTM-basislijn (convolutie-recurrentie). Hoewel alle drie de modellen convergeren naar een vergelijkbare verlieswaarde voor één-staps voorspelling, behaalt FluidWorld een 2x lagere reconstructiefout, produceert het representaties met 10-15% hogere preservatie van ruimtelijke structuur en 18-25% effectievere dimensionaliteit, en – cruciaal – handhaaft het coherente multi-stap simulaties waar beide basislijnen snel degraderen. Alle experimenten werden uitgevoerd op een enkele consumenten-pc (Intel Core i5, NVIDIA RTX 4070 Ti), zonder enige grootschalige rekenkracht. Deze resultaten tonen aan dat PDE-gebaseerde dynamica, die van nature O(N) ruimtelijke complexiteit, adaptieve berekening en globale ruimtelijke coherentie via diffusie bieden, een levensvatbaar en parameter-efficiënt alternatief zijn voor zowel attentie als convolutionele recurrentie voor wereldmodellering.
Recente vooruitgang in tekst-naar-spraaktechnologieën maakt het mogelijk om hoogwaardige synthetische spraak te genereren die bijna niet van echte menselijke stemmen is te onderscheiden. Hoewel recente studies de effectiviteit aantonen van op zelf-toezicht leren gebaseerde spraakencoders voor deepfake-detectie, hebben deze modellen moeite met generaliseren naar onbekende sprekers. Onze kwantitatieve analyse suggereert dat deze encoderrepresentaties aanzienlijk worden beïnvloed door sprekersinformatie, waardoor detectoren sprekerspecifieke correlaties benutten in plaats van aan artefacten gerelateerde aanwijzingen. Wij noemen dit fenomeen sprekerverstrengeling. Om deze afhankelijkheid te verminderen, introduceren wij SNAP, een raamwerk voor sprekerneutralisatie. Wij schatten een sprekersdeelruimte en passen orthogonale projectie toe om sprekerafhankelijke componenten te onderdrukken, waardoor synthese-artefacten worden geïsoleerd in de residuele kenmerken. Door sprekerverstrengeling te verminderen, stimuleert SNAP detectoren om zich te richten op artefactgerelateerde patronen, wat leidt tot state-of-the-art prestaties.
Diffusie-taalmodellen (DLM's) bieden aantrekkelijke voordelen ten opzichte van auto-regressieve (AR) modellen, zoals parallelle decodering met volledige aandacht en flexibele generatie. Ze lijden echter onder een opmerkelijk train-inferentie-mismatch: DLM's worden getraind met een statisch, enkelstaps doel van gemaskeerde voorspelling, maar worden ingezet via een meerstaps progressief denoisetraject. Wij stellen MemDLM (Memory-Enhanced DLM) voor, dat deze kloof verkleint door een gesimuleerd denoiseproces in de training in te bedden via Bi-level Optimalisatie. Een binnenste lus werkt een set snelle gewichten bij, die een Parametrisch Geheugen vormen dat de lokale trajectervaring van elk sample vastlegt, terwijl een buitenste lus het basismodel update, conditioneel op dit geheugen. Door de memorisatiedruk van tokenrepresentaties naar parameters te verplaatsen, levert MemDLM een snellere convergentie en een lager trainingsverlies op. Bovendien kan de binnenste lus tijdens inferentie opnieuw worden geactiveerd als een aanpassingsstap, wat extra winst oplevert bij begrip van lange context. Wij ontdekken dat, wanneer geactiveerd tijdens inferentie, dit Parametrisch Geheugen fungeert als een emergent retrievalmechanisme in de gewichten, waardoor MemDLM token-level aandachtsknelpunten verder vermindert bij uitdagende Needle-in-a-Haystack-retrievaltaken. Code: https://github.com/JarvisPei/MemDLM.
Dierlijke vocalisaties bieden cruciale inzichten voor wildbeoordeling, met name in complexe omgevingen zoals bossen, en ondersteunen soortenidentificatie en ecologische monitoring. Recente vooruitgang in deep learning heeft automatische soortclassificatie op basis van vocalisaties mogelijk gemaakt. Het classificeren van soorten die niet tijdens de training zijn gezien, blijft echter een uitdaging. Om deze beperking aan te pakken, introduceren we AnimalCLAP, een taxonomiebewust taal-audio raamwerk bestaande uit een nieuwe dataset en een model dat hiërarchische biologische informatie integreert. Concreet bestaat onze vocalisatiedataset uit 4.225 uur aan opnames van 6.823 soorten, geannoteerd met 22 ecologische kenmerken. Het AnimalCLAP-model wordt op deze dataset getraind om audio- en tekstuele representaties af te stemmen met behulp van taxonomische structuren, wat de herkenning van onbekende soorten verbetert. Wij tonen aan dat ons voorgestelde model effectief ecologische en biologische eigenschappen van soorten afleidt direct vanuit hun vocalisaties, en superieure prestaties bereikt in vergelijking met CLAP. Onze dataset, code en modellen zullen openbaar beschikbaar zijn op https://dahlian00.github.io/AnimalCLAP_Page/.
Audiovisuele navigatie stelt belichaamde agents in staat om naar geluidproducerende doelen te navigeren door gebruik te maken van zowel auditieve als visuele aanwijzingen. De meeste bestaande methoden vertrouwen echter op vooraf berekende ruimtelijke impulsresponsies (RIR's) voor binauraal audiorendering, wat agents beperkt tot discrete rasterposities en leidt tot ruimtelijk discontinue waarnemingen. Om een realistischere setting te creëren, introduceren wij Semantische Audiovisuele Navigatie in Continue Omgevingen (SAVN-CE), waarbij agents vrij kunnen bewegen in 3D-ruimtes en temporeel en ruimtelijk coherente audiovisuele stromen waarnemen. In deze setting kunnen doelen intermitterend stilvallen of volledig stoppen met geluid produceren, waardoor agents doelinformatie verliezen. Om deze uitdaging aan te pakken, stellen we MAGNet voor, een multimodaal transformer-gebaseerd model dat ruimtelijke en semantische doelrepresentaties gezamenlijk codeert en historische context integreert met zelfbewegingsaanwijzingen om geheugen-augmented doelredenering mogelijk te maken. Uitgebreide experimenten tonen aan dat MAGNet state-of-the-art methoden significant overtreft, met een absolute verbetering van tot 12,1% in succespercentage. Deze resultaten benadrukken tevens de robuustheid ervan tegen kortdurende geluiden en langeafstandsnavigatiescenario's. De code is beschikbaar op https://github.com/yichenzeng24/SAVN-CE.
Versterkend leren (RL) is essentieel om grote taalmmodellen (LLM's) te laten evolueren naar autonome agenten die in staat zijn tot planning op lange termijn, maar een praktische aanpak voor het schalen van RL in complexe, multi-turn omgevingen blijft ongrijpbaar. Dit artikel presenteert een systematische empirische studie met behulp van TravelPlanner, een uitdagende testomgeving die gereedschapscoördinatie vereist om veelzijdige beperkingen te vervullen. We ontleden de ontwerpruimte voor agent-gebaseerd RL langs 5 assen: beloningsvorming, modelschaling, datasamenstelling, algoritmekeuze en omgevingsstabiliteit. Onze gecontroleerde experimenten leveren 7 belangrijke inzichten op, bijvoorbeeld: (1) keuzes in beloning en algoritmen zijn schaalafhankelijk, waarbij kleinere modellen profiteren van gefaseerde beloningen en verbeterde exploratie, terwijl grotere modellen efficiënt convergeren met eenvoudigere, directe beloningen; (2) ~1K trainingsvoorbeelden met een gebalanceerde moeilijkheidsgraad vormen een ideaal evenwicht voor zowel in-domein als out-of-domein prestaties; en (3) omgevingsstabiliteit is cruciaal om beleidsdegradatie te voorkomen. Op basis van ons gedistilleerde recept bereiken onze met RL getrainde modellen state-of-the-art prestaties op TravelPlanner, waarbij ze aanzienlijk beter presteren dan toonaangevende LLM's.
Wij onderzoeken of een aperiodieke hiërarchie een structureel voordeel kan bieden voor verliesloze compressie ten opzichte van periodieke alternatieven. Wij tonen aan dat Fibonacci-quasikristal-betegelingen het eindige-diepte-instorten vermijden dat periodieke hiërarchieën treft: bruikbare n-gram zoekposities blijven op elk niveau niet-nul, terwijl periodieke betegelingen instorten na O(log p) niveaus voor periode p. Dit resulteert in een aperiodiek hiërarchievoordeel: hergebruik van het woordenboek blijft beschikbaar over alle schalen in plaats van te verdwijnen voorbij een eindige diepte. Onze analyse levert vier hoofdconsequenties op. Ten eerste toont de Gulden-Snede-compensatie-eigenschap aan dat de exponentiële afname in het aantal posities exact in evenwicht wordt gehouden door de exponentiële groei in zinsnedelengte, zodat de potentiële dekking schaalinvariant blijft met asymptotische waarde Wφ/5. Ten tweede, gebruikmakend van de Sturmische complexiteitswet p(n)=n+1, tonen wij aan dat Fibonacci/Sturmische hiërarchieën de efficiëntie van codeboekdekking maximaliseren onder binaire aperiodieke betegelingen. Ten derde, onder langetermijnafhankelijkheid, bereikt de resulterende hiërarchie een lagere coderingsentropie dan vergelijkbare periodieke hiërarchieën. Ten vierde vervalt redundantie super-exponentieel met de diepte, terwijl periodieke systemen opgesloten blijven op de diepte waar het instorten optreedt. Wij valideren deze resultaten met Quasicryth, een verliesloze tekstcompressor gebouwd op een tien niveaus tellende Fibonacci-hiërarchie met zinsnedelengtes {2,3,5,8,13,21,34,55,89,144}. In gecontroleerde A/B-experimenten met identieke codebooks groeit het aperiodieke voordeel ten opzichte van een Periode-5-basislijn van 36.243 B bij 3 MB tot 11.089.469 B bij 1 GB, wat verklaard wordt door de activering van diepere hiërarchieniveaus. Op enwik9 behaalt Quasicryth 225.918.349 B (22,59%), waarbij 20.735.733 B wordt bespaard door de Fibonacci-betegeling ten opzichte van geen betegeling.
Gedragsklonen is een fundamenteel paradigma in machinaal leren, dat beleidsleren mogelijk maakt op basis van expertdemonstraties in uiteenlopende gebieden zoals robotica, autonoom rijden en generatieve modellen. Autoregressieve modellen zoals de transformer hebben zich bijzonder effectief getoond, van grote taalmodellen (LLM's) tot visie-taal-actie-systemen (VLA's). Het toepassen van autoregressieve modellen op continue controle vereist echter het discretiseren van acties via kwantisatie, een veelgebruikte praktijk die theoretisch nog slecht wordt begrepen. Dit artikel legt de theoretische fundamenten voor deze praktijk. Wij analyseren hoe kwantisatiefouten zich voortplanten langs de horizon en interageren met statistische steekproefcomplexiteit. Wij tonen aan dat gedragsklonen met gekwantiseerde acties en log-verlies een optimale steekproefcomplexiteit bereikt, overeenkomend met bestaande ondergrenzen, en slechts een polynoomafhankelijkheid van de horizon oplevert ten opzichte van de kwantisatiefout, mits de dynamica stabiel zijn en het beleid voldoet aan een probabilistische gladheidsvoorwaarde. Verder karakteriseren wij wanneer verschillende kwantiseringsschema's aan deze vereisten voldoen of ze schenden, en stellen wij een op modellen gebaseerde augmentatie voor die de foutengrens aantoonbaar verbetert zonder gladheid van het beleid te vereisen. Ten slotte leggen wij fundamentele grenzen vast die de effecten van kwantisatiefout en statistische complexiteit gezamenlijk vastleggen.
Diepe neurale netwerken (DNN's) hebben opmerkelijke successen geboekt in computervisie, maar blijven zeer kwetsbaar voor adversariële aanvallen. Daaronder manipuleren camouflage-aanvallen de zichtbare verschijning van een object om detectoren te misleiden, terwijl ze voor mensen onopgemerkt blijven. In dit artikel stellen we een nieuw raamwerk voor dat voertuigcamouflage-aanvallen formuleert als een conditioneel beeldbewerkingsprobleem. Concreet onderzoeken we zowel beeldniveau- als scèneniveau-strategieën voor camouflagegeneratie, en fine-tunen we een ControlNet om gecamoufleerde voertuigen direct op echte afbeeldingen te synthetiseren. We ontwerpen een uniforme doelstelling die tegelijkertijd voertuigstructurele trouw, stijlconsistentie en adversariële effectiviteit afdwingt. Uitgebreide experimenten op de COCO- en LINZ-datasets tonen aan dat onze methode een aanzienlijk sterkere aanvalseffectiviteit bereikt, wat leidt tot een daling van meer dan 38% AP50, terwijl de voertuigstructuur beter behouden blijft en de door mensen waargenomen onopvallendheid verbetert in vergelijking met bestaande benaderingen. Bovendien generaliseert ons raamwerk effectief naar onzichtbare black-box-detectoren en vertoont het veelbelovende overdraagbaarheid naar de fysieke wereld. De projectpagina is beschikbaar op https://humansensinglab.github.io/CtrlCamo.
Kennisgebaseerde dialoogsystemen hebben als doel informatieve, contextueel relevante antwoorden te genereren door zich te baseren op externe kennisbronnen. De meeste bestaande benaderingen richten zich echter uitsluitend op het Engels, ontberen expliciete citatiemechanismen voor het verifiëren van feitelijke beweringen en bieden beperkte transparantie in de besluitvorming van het model. Wij presenteren XKD-Dial, een progressieve vierfasen-trainingspijplijn voor uitlegbare, kennisgebaseerde dialooggeneratie in een tweetalige (Engels-Hindi) setting, bestaande uit: (1) meertalige adaptatie, (2) Engels dialoog-SFT (Supervised Fine-Tuning) met citatiegrondslag, (3) tweetalige dialoog-SFT, en (4) GRPO-afstemming (Group Relative Policy Optimization) met citatiebewuste beloningen. Wij evalueren zes modellen, variërend in encoder-decoder (250M-3B) en decoder-only (1B-7B) architecturen, in elke pijplijnfase. Onze belangrijkste bijdragen zijn: (i) drie *post-hoc* uitlegbaarheidsanalyses - cross-attention-uitlijning, attributie met Integrated Gradients en op occlusie gebaseerde causale grondslag - systematisch toegepast over het leertraject om te onthullen *hoe* citatiegedrag wordt aangeleerd, niet alleen *of* het wordt aangeleerd; (ii) citatiegegrond SFT reduceert hallucinatie tot 0,0% voor encoder-decoder modellen vanaf Fase 2; (iii) de progressieve pijplijn voorkomt catastrofaal vergeten terwijl de Hindi-capaciteiten verbeteren; (iv) kleinere modellen evenaren grotere modellen in het Engels na SFT; en (v) GRPO biedt een marginale verbetering ten opzichte van goed ontworpen SFT voor gestructureerde citatietaken. Wij evalueren aan de hand van zes automatische metrieken (BLEU, ROUGE, BERTScore, FactScore, Citation-F1 en hallucinatiefrequentie).
Dit werk presenteert AdditiveLLM2, een multimodaal, domein-aangepast groot taalmodel dat is gebouwd op de instructie-afgestemde variant van het Gemma 3-model met behulp van een relatief kleine dataset van ongeveer 50 miljoen tokens. De dataset (AdditiveLLM2-OA) bestaat uit open-access wetenschappelijke artikelen over additieve productie, waarvan gegevens zijn geëxtraheerd voor de domeinadaptieve voorafgaande training en het visuele instructie-afstemmingsproces. Verschillende fasen van het ontwikkelde model worden geëvalueerd met de Additive-Manufacturing-Benchmark, die bestaat uit domeinspecifieke taken voor additieve productie, samengesteld uit gepubliceerde bronnen. AdditiveLLM2 toont bekwaamheid in zowel op taal als op visie gebaseerde taken en behaalt nauwkeurigheden van meer dan 90% voor algemene kennis over additieve productie. Deze strategie van domeinadaptieve voorafgaande training en instructie-afstemming schetst een toegankelijke specialisatiemethode voor grote taalmodellen voor een domein zoals additieve productie.