Dagelijkse Papers

Fijngranulaire gezichtsuitdrukkingsbewerking wordt al lang beperkt door intrinsieke semantische overlap. Om dit aan te pakken, construeren we de Flex Facial Expression (FFE)-dataset met continue affectieve annotaties en stellen we FFE-Bench op om structurele verwarring, bewerkingsnauwkeurigheid, lineaire bestuurbaarheid en de afweging tussen expressiebewerking en identiteitsbehoud te evalueren. Wij stellen PixelSmile voor, een diffusieraamwerk dat expressiesemantiek ontwart via volledig symmetrische gezamenlijke training. PixelSmile combineert intensiteitstoezicht met contrastief leren om sterkere en beter onderscheidbare expressies te produceren, en bereikt precieze en stabiele lineaire expressiecontrole door tekstuele latente interpolatie. Uitgebreide experimenten tonen aan dat PixelSmile superieure ontwarring en robuuste identiteitsbehoud bereikt, wat de effectiviteit bevestigt voor continue, bestuurbare en fijngranulaire expressiebewerking, terwijl het naadloos vloeiende expressiemenging ondersteunt.

Wij introduceren Intern-S1-Pro, het eerste wetenschappelijke multimodale foundation-model met één biljoen parameters. Door deze schaalvergroting naar een ongekende omvang biedt het model een algehele verbetering op zowel algemene als wetenschappelijke domeinen. Naast sterkere redeneer- en beeld-tekstbegripcapaciteiten, is de intelligentie ervan versterkt met geavanceerde agentmogelijkheden. Tegelijkertijd is de wetenschappelijke expertise aanzienlijk uitgebreid om meer dan 100 gespecialiseerde taken te beheersen in cruciale wetenschapsgebieden, waaronder chemie, materialen, levenswetenschappen en aardwetenschappen. Het bereiken van deze enorme schaal is mogelijk gemaakt door de robuuste infrastructuurondersteuning van XTuner en LMDeploy, die zeer efficiënte Reinforcement Learning (RL) training op het niveau van één biljoen parameters mogelijk maakt, terwijl strikte precisieconsistentie tussen training en inferentie wordt gegarandeerd. Door deze vooruitgang naadloos te integreren, versterkt Intern-S1-Pro verder de fusie van algemene en gespecialiseerde intelligentie. Het functioneert als een specialiseerbare generalist, toont zijn positie in de top van open-source modellen voor algemene capaciteiten, en overtreft propriëtaire modellen in de diepgang van gespecialiseerde wetenschappelijke taken.

Beeldrestauratie onder real-world degradaties is cruciaal voor downstreamtaken zoals autonoom rijden en objectdetectie. Bestaande restauratiemodellen worden echter vaak beperkt door de schaal en verdeling van hun trainingsdata, wat resulteert in een slechte generalisatie naar real-world scenario's. Recent hebben grootschalige beeldbewerkingsmodellen sterke generalisatiecapaciteit getoond bij restauratietaken, met name gesloten bronmodellen zoals Nano Banana Pro, die beelden kunnen herstellen met behoud van consistentie. Desalniettemin vereist het bereiken van dergelijke prestaties met die grote universele modellen aanzienlijke data- en rekenkosten. Om dit probleem aan te pakken, construeren we een grootschalige dataset die negen veelvoorkomende real-world degradatietypen omvat en trainen we een state-of-the-art open-source model om de kloof met gesloten bronalternatieven te verkleinen. Verder introduceren we RealIR-Bench, dat 464 gedegradeerde real-world beelden bevat en toegesneden evaluatiemetricen die focussen op degradatieremoving en consistentiebehoud. Uitgebreide experimenten tonen aan dat ons model eerste plaats bekleedt onder open-source methoden en state-of-the-art prestaties bereikt.

In dit artikel onthullen we het verborgen potentieel van Diffusion Transformers (DiTs) om generatieve taken aanzienlijk te verbeteren. Door een diepgaande analyse van het ruisverwijderingsproces tonen we aan dat de introductie van een enkele geleerde schaalparameter de prestaties van DiT-blokken aanzienlijk kan verbeteren. Voortbouwend op dit inzicht presenteren we Calibri, een parameter-efficiënte benadering die DiT-componenten optimaal kalibreert om de generatieve kwaliteit te verhogen. Calibri benadert DiT-kalibratie als een black-box beloningsoptimalisatieprobleem, dat efficiënt wordt opgelost met een evolutionair algoritme en slechts ~100 parameters wijzigt. Experimentele resultaten tonen aan dat Calibri, ondanks zijn lichtgewicht ontwerp, consistent de prestaties verbetert bij diverse tekst-naar-beeldmodellen. Opmerkelijk is dat Calibri ook het aantal benodigde inferentiestappen voor beeldgeneratie reduceert, terwijl het hoge kwaliteit van de output behoudt.

Langetermijngeheugen is een hoeksteen van de menselijke intelligentie. Het mogelijk maken dat AI levenslangschaal-informatie kan verwerken blijft een lang gekoesterd streven in het vakgebied. Door de beperkingen van volledige-attentie-architecturen is de effectieve contextlengte van grote taalmodel(len) (LLM's) typisch beperkt tot 1M tokens. Bestaande benaderingen, zoals hybride lineaire aandacht, vaste-geheugenstatussen (bijv. RNN's), en externe opslagmethoden zoals RAG of agentsystemen, proberen deze limiet te verleggen. Zij lijden echter vaak aan ernstige precisievermindering en snel toenemende latentie naarmate de contextlengte groeit, een onvermogen om geheugeninhoud dynamisch aan te passen, of een gebrek aan end-to-end-optimalisatie. Deze knelpunten belemmeren complexe scenario's zoals samenvatting van grote corpora, Digital Twins en agentredenering met een lange geschiedenis, terwijl ze de geheugencapaciteit beperken en de inferentie vertragen. Wij presenteren Memory Sparse Attention (MSA), een end-to-end trainbaar, efficiënt en massaal schaalbaar geheugenmodelraamwerk. Door kerninnovaties, waaronder schaalbare sparse attention en documentgewijze RoPE, bereikt MSA lineaire complexiteit in zowel training als inferentie, terwijl het uitzonderlijke stabiliteit behoudt, met minder dan 9% degradatie bij het opschalen van 16K naar 100M tokens. Verder maakt KV-cachecompressie, gecombineerd met Memory Parallel, inferentie van 100M tokens mogelijk op 2xA800 GPU's. Wij stellen ook Memory Interleaving voor om complexe multi-hop-redenering over verspreide geheugensegmenten te vergemakkelijken. MSA overtreft frontier-LLM's, state-of-the-art RAG-systemen en toonaangevende geheugenagenten aanzienlijk in long-context benchmarks. Deze resultaten tonen aan dat MSA, door geheugencapaciteit te ontkoppelen van redenering, een schaalbare basis biedt om algemene modellen te voorzien van intrinsiek, levenslangschaal-geheugen.

Wij introduceren Voxtral TTS, een expressief meertalig tekst-naar-spraakmodel dat natuurlijke spraak genereert op basis van slechts 3 seconden referentie-audio. Voxtral TTS hanteert een hybride architectuur die auto-regressieve generatie van semantische spraaktokens combineert met flow-matching voor akoestische tokens. Deze tokens worden gecodeerd en gedecodeerd met Voxtral Codec, een spraaktokenizer die van de grond af is getraind met een hybride VQ-FSQ-kwantiseringsschema. In humane evaluaties uitgevoerd door moedertaalsprekers wordt Voxtral TTS voor meertalige stemkloning verkozen vanwege de natuurlijkheid en expressiviteit, met een winstpercentage van 68,4% ten opzichte van ElevenLabs Flash v2.5. Wij geven de modelgewichten vrij onder een CC BY-NC-licentie.

Het genereren van beelden op basis van meerdere visuele referenties is cruciaal voor real-world toepassingen zoals composities met meerdere onderwerpen, narratieve illustratie en novel view synthesis. Toch lijden huidige modellen onder een ernstige prestatievermindering naarmate het aantal invoerreferenties toeneemt. Wij identificeren de hoofdoorzaak als een fundamenteel dataknelpunt: bestaande datasets worden gedomineerd door paren met één of enkele referenties en missen de gestructureerde, langetermijnsupervisie die nodig is om dichte onderlinge afhankelijkheden tussen referenties te leren. Om dit aan te pakken, introduceren wij MacroData, een grootschalige dataset van 400K samples, elk met maximaal 10 referentiebeelden, systematisch georganiseerd langs vier complementaire dimensies – Customization, Illustratie, Ruimtelijk redeneren en Temporele dynamiek – om een uitgebreide dekking van de multi-referentiegeneratieruimte te bieden. Erkennend dat er tegelijkertijd een gebrek is aan gestandaardiseerde evaluatieprotocollen, stellen wij verder MacroBench voor, een benchmark van 4.000 samples die de generatieve coherentie beoordeelt over gegradeerde taakdimensies en invoerschalen. Uitgebreide experimenten tonen aan dat fine-tuning op MacroData aanzienlijke verbeteringen oplevert in multi-referentiegeneratie, en ablatiestudies onthullen verder synergetische voordelen van cross-task co-training en effectieve strategieën voor het omgaan met langetermijncomplexiteit. De dataset en benchmark zullen openbaar worden vrijgegeven.

Softwareontwikkeling is iteratief, maar agentgestuurde codeerbenchmarks evalueren overweldigend enkelvoudige oplossingen tegen volledige specificaties. Code kan de testsuite doorstaan, maar progressief moeilijker worden uit te breiden. Recente iteratieve benchmarks proberen deze kloof te dichten, maar beperken de ontwerpbeslissingen van de agent te sterk om getrouw te meten hoe codekwaliteit toekomstige uitbreidingen vormgeeft. Wij introduceren SlopCodeBench, een taalagnostische benchmark bestaande uit 20 problemen en 93 checkpoints, waarin agents herhaaldelijk hun eigen eerdere oplossingen uitbreiden onder evoluerende specificaties die architecturale beslissingen forceren zonder de interne structuur voor te schrijven. Wij volgen twee kwaliteitssignalen op trajectniveau: verboseheid, het aandeel overbodige of gedupliceerde code, en structurele erosie, het deel van de complexiteitsmassa geconcentreerd in functies met hoge complexiteit. Geen enkele agent lost welk probleem dan ook end-to-end op over 11 modellen; het hoogste checkpoint-oplossingspercentage is 17,2%. De kwaliteit verslechtert gestaag: erosie stijgt in 80% van de trajecten en verboseheid in 89,8%. Vergeleken met 48 open-source Python-repositories is agentcode 2,2x verbaarser en duidelijk meer geërodeerd. Het volgen van 20 van die repositories in de tijd toont aan dat menselijke code vlak blijft, terwijl agentcode met elke iteratie verslechtert. Een promptinterventiestudie toont aan dat de initiële kwaliteit kan worden verbeterd, maar dat dit de degradatie niet stopt. Deze resultaten tonen aan dat benchmarks gebaseerd op slaagpercentages de uitbreidingsrobuustheid systematisch onderschatten, en dat huidige agents de ontwerpdisciplines missen die iteratieve softwareontwikkeling vereist.

Het aansturen van video- en audiogeneratie vereist diverse modaliteiten, van diepte en pose tot cameratrajecten en audiotransformaties. Toch trainen bestaande methodes ofwel één monolithisch model voor een vaste set aansturingen, ofwel introduceren ze kostbare architectuurwijzigingen voor elke nieuwe modaliteit. Wij introduceren AVControl, een lichtgewicht, uitbreidbaar framework gebouwd op LTX-2, een gezamenlijk audio-visueel foundation model. Hierbij wordt elke aansturingsmodaliteit getraind als een aparte LoRA op een parallel canvas dat het referentiesignaal levert als extra tokens in de attention-lagen, zonder architectuurwijzigingen buiten de LoRA-adapters zelf. Wij tonen aan dat het eenvoudig uitbreiden van op afbeeldingen gebaseerde in-context methoden naar video faalt voor structurele aansturing, en dat onze parallelle canvasaanpak dit oplost. Op de VACE Benchmark overtreffen we alle geëvalueerde baselines voor diepte- en pose-gestuurde generatie, inpainting en outpainting, en tonen we competitieve resultaten voor camerabesturing en audio-visuele benchmarks. Ons framework ondersteunt een diverse set onafhankelijk getrainde modaliteiten: ruimtelijk uitgelijnde aansturingen zoals diepte, pose en edges, cameratrajecten met intrinsieke parameters, sparse motion control, videobewerking en, voor zover wij weten, de eerste modulaire audio-visuele aansturingen voor een gezamenlijk generatiemodel. Onze methode is zowel reken- als data-efficiënt: elke modaliteit vereist slechts een kleine dataset en convergeert binnen een paar honderd tot een paar duizend trainingsstappen, een fractie van de kosten van monolithische alternatieven. Wij maken onze code en getrainde LoRA-checkpoints openbaar.

Schaalbare Vectorafbeeldingen (SVG) zijn een essentieel formaat voor technische illustraties en digitaal ontwerp, omdat ze resolutie-onafhankelijkheid en flexibele semantische bewerkbaarheid bieden. In de praktijk gaan de oorspronkelijke vectorbrondbestanden echter vaak verloren of zijn ze niet toegankelijk, waardoor alleen 'platte' gerasterde versies (zoals PNG of JPEG) overblijven die moeilijk aan te passen of te schalen zijn. Het handmatig reconstrueren van deze figuren is een buitengewoon arbeidsintensief proces dat gespecialiseerde expertise vereist om de oorspronkelijke geometrische intentie te herstellen. Om deze kloof te overbruggen, stellen we VFIG voor, een familie van Vision-Language Modellen die zijn getraind voor complexe en hoogwaardige figuur-naar-SVG-conversie. Hoewel deze taak van nature data-gedreven is, zijn bestaande datasets doorgaans kleinschalig en missen ze de complexiteit van professionele diagrammen. Wij lossen dit op door VFIG-DATA te introduceren, een grootschalige dataset met 66K hoogwaardige figuur-SVG-paren, samengesteld uit een diverse mix van figuren uit echte wetenschappelijke artikelen en procedureel gegenereerde diagrammen. Omdat SVG's zijn opgebouwd uit terugkerende primitieven en hiërarchische lokale structuren, introduceren we een coarse-to-fine trainingscurriculum dat begint met supervised fine-tuning (SFT) om atomische primitieven te leren en overgaat naar reinforcement learning (RL)-verfijning om de globale diagramnauwkeurigheid, lay-outconsistentie en topologische edge cases te optimaliseren. Ten slotte introduceren we VFIG-BENCH, een uitgebreide evaluatieset met nieuwe metrieken die zijn ontworpen om de structurele integriteit van complexe figuren te meten. VFIG behaalt state-of-the-art prestaties onder open-source modellen en presteert vergelijkbaar met GPT-5.2, met een VLM-Judge-score van 0.829 op VFIG-BENCH.

Bestaande feed-forward 3D Gaussian Splatting-methoden voorspellen pixel-uitgelijnde primitieven, wat leidt tot een kwadratische groei van het aantal primitieven naarmate de resolutie toeneemt. Dit beperkt fundamenteel hun schaalbaarheid, waardoor hoogresolutie-synthese zoals 4K onhanteerbaar wordt. Wij introduceren LGTM (Less Gaussians, Texture More), een feed-forward raamwerk dat deze resolutieschaleringsbarrière overwint. Door compacte Gaussiaanse primitieven te voorspellen in combinatie met per-primitief texturen, ontkoppelt LGTM geometrische complexiteit van de renderresolutie. Deze aanpak maakt hoogwaardige 4K novel view synthesis mogelijk zonder optimalisatie per scène, een capaciteit die voorheen onbereikbaar was voor feed-forward methoden, en dit alles met aanzienlijk minder Gaussiaanse primitieven. Projectpagina: https://yxlao.github.io/lgtm/

In dit rapport introduceren we de IQuest-Coder-V1-serie (7B/14B/40B/40B-Loop), een nieuwe familie van code-grote-taalmmodellen (LLM's). Voorbij de statische coderepresentaties stellen we het code-flow meerfasige-trainingsparadigma voor, dat de dynamische evolutie van softwarelogica vastlegt door verschillende fasen van de pijplijn. Onze modellen worden ontwikkeld via de evolutionaire pijplijn, beginnend met de initiële voortraining die bestaat uit codefeiten, repository- en voltooiingsgegevens. Daarna implementeren we een gespecialiseerde midden-trainingsfase die redeneer- en agenttrajecten integreert in 32k-context en repository-schaal in 128k-context om diepe logische fundamenten te smeden. De modellen worden vervolgens afgerond met natraining van gespecialiseerde codeercapaciteiten, die wordt gesplitst in twee gespecialiseerde paden: het denkpad (gebruikmakend van redeneringsgedreven RL) en het instructiepad (geoptimaliseerd voor algemene assistentie). IQuest-Coder-V1 behaalt state-of-the-art prestaties onder concurrerende modellen op kritieke dimensies van code-intelligentie: agent-gedreven software-engineering, competitief programmeren en complex toolgebruik. Om implementatiebeperkingen aan te pakken, introduceert de IQuest-Coder-V1-Loop-variant een recurrent mechanisme dat is ontworpen om de afweging tussen modelcapaciteit en implementatiefootprint te optimaliseren, en biedt zo een architectonisch verbeterd pad voor effectiviteit-efficiëntie-afweging. Wij zijn van mening dat de release van de IQuest-Coder-V1-serie, inclusief de complete white-box keten van checkpoints van voor-trainingsbasissen tot de uiteindelijke denk- en instructiemodellen, het onderzoek naar autonome code-intelligentie en real-world agentsystemen zal bevorderen.

On-policy distillatie (OPD) is aantrekkelijk voor post-training van grote taalmodellen (LLM's) omdat het teacher-feedback evalueert op student-gegenereerde rollouts in plaats van vaste teacher-traces. In langetermijnsettings is de veelgebruikte variant met gesampelde tokens echter fragiel: het reduceert distributie-matching tot een één-token signaal en wordt steeds onbetrouwbaarder naarmate rollouts verder afdrijven van prefixes die de teacher vaak bezoekt. Wij herbezien OPD vanuit de estimator- en implementatiekant. Theoretisch gezien is token-level OPD bevooroordeeld ten opzichte van sequence-level reverse-KL, maar het heeft een veel strengere bovengrens voor variantie in het ergste geval; onze kleinschalige studie toont dezelfde afweging empirisch aan, waarbij sterkere koppeling van toekomstige beloning hogere gradientvariantie en instabieler leren veroorzaakt. Empirisch identificeren wij drie faalwijzen van gesampelde-token OPD: een ongebalanceerd één-token signaal, onbetrouwbare teacher-begeleiding op student-gegenereerde prefixes, en vervormingen veroorzaakt door tokenizer- of speciale-token-mismatch. Wij pakken deze problemen aan met teacher top-K lokale ondersteuningsmatching, geïmplementeerd als afgeknotte reverse-KL met top-p rollout sampling en maskering van speciale tokens. Voor zowel enkelvoudige wiskundige redeneertaken als multi-task agentische-plus-wiskunde training levert deze doelstelling stabielere optimalisatie en betere downstreamprestaties op dan gesampelde-token OPD.

Representatie-uitlijning (REPA) is naar voren gekomen als een eenvoudige manier om de training van Diffusion Transformers in latente ruimte te versnellen. Tegelijkertijd hebben pixelruimte-diffusietransformers zoals Just Image Transformers (JiT) groeiende aandacht getrokken omdat ze een afhankelijkheid van een voorgetrainde tokenizer verwijderen en zo de reconstructiebottleneck van latente diffusie vermijden. Dit artikel toont aan dat REPA kan falen voor JiT. REPA levert een slechtere FID op voor JiT naarmate de training vordert en doet de diversiteit instorten op beeldsubsets die sterk geclusterd zijn in de representatieruimte van een voorgetrainde semantische encoder op ImageNet. Wij herleiden het falen tot een informatie-asymmetrie: denoiseren vindt plaats in de hoogdimensionale beeldruimte, terwijl het semantische doel sterk gecomprimeerd is, waardoor directe regressie een kortsluitingsdoelstelling wordt. Wij stellen PixelREPA voor, dat het uitlijningsdoel transformeert en de uitlijning beperkt met een Gemaskeerde Transformer Adapter die een ondiepe transformer-adapter combineert met gedeeltelijke token-masking. PixelREPA verbetert zowel de trainingsconvergentie als de uiteindelijke kwaliteit. PixelREPA reduceert de FID van 3,66 naar 3,17 voor JiT-B/16 en verbetert de Inception Score (IS) van 275,1 naar 284,6 op ImageNet 256×256, terwijl het een >2× snellere convergentie bereikt. Ten slotte behaalt PixelREPA-H/16 een FID=1,81 en IS=317,2. Onze code is beschikbaar op https://github.com/kaist-cvml/PixelREPA.

Vision Foundation Models (VFMs) zijn de hoeksteen geworden van moderne computer vision, en bieden robuuste representaties voor een breed scala aan taken. Hoewel recente ontwikkelingen deze modellen in staat stellen om variërende invoergroottes tijdens de training te verwerken, blijft de inferentie doorgaans beperkt tot een enkele, vaste schaal. Dit heersende enkelschalige paradigma negeert een fundamentele eigenschap van visuele waarneming: verschillende resoluties bieden complementaire inductieve biases, waarbij laagresolutie-beelden uitblinken in globale semantische herkenning en hoogresolutie-beelden essentieel zijn voor fijnmazige verfijning. In dit werk stellen we Multi-Resolution Fusion (MuRF) voor, een eenvoudige maar universeel effectieve strategie om deze synergie tijdens de inferentie te benutten. In plaats van te vertrouwen op een enkele weergave, construeert MuRF een verenigde representatie door een afbeelding op meerdere resoluties te verwerken via een bevroren VFM en de resulterende kenmerken te fuseren. De universaliteit van MuRF is zijn meest overtuigende eigenschap. Het is niet gebonden aan een specifieke architectuur, maar dient als een fundamentele, trainingsvrije verbetering van visuele representatie. We valideren dit empirisch door MuRF toe te passen op een breed spectrum van kritieke computer vision-taken over meerdere verschillende VFM-families - voornamelijk DINOv2, maar tonen ook succesvolle generalisatie aan naar contrastieve modellen zoals SigLIP2.

Dit artikel introduceert FinMCP-Bench, een nieuwe benchmark voor het evalueren van grote taalmodellen (LLM's) bij het oplossen van praktische financiële problemen door middel van tool-aanroeping via financiële modelcontextprotocollen. FinMCP-Bench bevat 613 voorbeelden verdeeld over 10 hoofdsenario's en 33 subsenario's, met zowel echte als synthetische gebruikersvragen om diversiteit en authenticiteit te waarborgen. Het integreert 65 echte financiële MCP's en drie soorten voorbeelden: enkelvoudige tool, meervoudige tools en multi-turn, waardoor evaluatie van modellen op verschillende niveaus van taakcomplexiteit mogelijk is. Met behulp van deze benchmark evalueren we systematisch een reeks mainstream LLM's en introduceren we metrieken die tool-aanroepnauwkeurigheid en redeneervermogen expliciet meten. FinMCP-Bench biedt een gestandaardiseerde, praktische en uitdagende testomgeving voor het bevorderen van onderzoek naar financiële LLM-agenten.

Agentic Variation Operators (AVO) vormen een nieuwe familie van evolutionaire variatie-operatoren die de vaste mutatie, crossover en handmatig ontworpen heuristieken van klassieke evolutionaire zoekopdrachten vervangen door autonome coderingsagenten. In plaats van een taalmodel te beperken tot kandidaatgeneratie binnen een voorgeschreven pijplijn, instantieert AVO variatie als een zelfgestuurd agentlus die de huidige afstammingslijn, een domeinspecifieke kennisbank en uitvoeringsfeedback kan raadplegen om implementatiewijzigingen voor te stellen, te repareren, te bekritiseren en te verifiëren. We evalueren AVO op attention, een van de meest geoptimaliseerde kernel-doelen in AI, op NVIDIA Blackwell (B200) GPU's. Na 7 dagen van continue autonome evolutie op multi-head attention ontdekt AVO kernels die cuDNN met tot 3,5% en FlashAttention-4 met tot 10,5% overtreffen in de geëvalueerde configuraties. De ontdekte optimalisaties zijn eenvoudig over te dragen naar grouped-query attention, waarvoor slechts 30 minuten extra autonome aanpassing nodig is en die winsten opleveren van tot 7,0% ten opzichte van cuDNN en 9,3% ten opzichte van FlashAttention-4. Gezamenlijk tonen deze resultaten aan dat agentic variation operators verder gaan dan eerdere evolutionaire pijplijnen met een LLM-in-de-lus door de agent te verheffen van kandidaatgenerator naar variatie-operator, en dat ze micro-architecturale optimalisaties kunnen ontdekken die kritiek zijn voor de prestaties, waardoor kernels worden geproduceerd die de state-of-the-art, door experts ontworpen attention-implementaties overtreffen op de meest geavanceerde GPU-hardware van vandaag.

Bij een gegeven vraag codeert een taalmodel (TM) impliciet een verdeling over mogelijke antwoorden. In de praktijk zorgen natreiningsprocedures voor TM's er vaak voor dat deze verdeling instort tot een enkele dominante modus. Hoewel dit over het algemeen geen probleem is voor benchmarkachtige evaluaties die uitgaan van één correct antwoord, houden veel taken in de praktijk inherent meerdere geldige antwoorden of onherleidbare onzekerheid in. Voorbeelden hiervan zijn medische diagnose, het beantwoorden van dubbelzinnige vragen en situaties met onvolledige informatie. In dergelijke gevallen willen we dat TM's meerdere plausibele hypotheses genereren, bij voorkeur met betrouwbaarheidsschattingen voor elk, en zonder computationeel intensieve herhaalde steekproeftrekking om niet-modale antwoorden te produceren. Dit artikel beschrijft een multi-antwoord reinforcement learning-benadering voor het trainen van TM's om distributioneel redeneren over meerdere antwoorden uit te voeren tijdens de inferentie. We passen het RL-doel aan om modellen in staat te stellen expliciet meerdere kandidaat-antwoorden te genereren in een enkele voorwaartse pass, waarbij aspecten van inferentie-tijd zoekopdrachten worden geïnternaliseerd in het generatieve proces van het model. Over vraag-antwoord-, medisch diagnostische- en programmeerbenchmarks heen observeren we verbeterde diversiteit, dekking en set-level kalibratiescores in vergelijking met baselines die zijn getraind op enkelvoudige antwoorden. Modellen die met onze aanpak zijn getraind, hebben minder tokens nodig om meerdere antwoorden te genereren dan concurrerende benaderingen. Bij programmeertaken zijn ze ook aanzienlijk nauwkeuriger. Deze resultaten positioneren multi-antwoord RL als een principiële en rekenzuinige alternatief voor inferentie-tijd schaalprocedures, zoals best-of-k. Code en meer informatie zijn te vinden op https://multi-answer-rl.github.io/.

Geheugen-versterkte LLM-agenten onderhouden externe geheugenbanken om langdurige interactie te ondersteunen, maar de meeste bestaande systemen behandelen constructie, retrieval en gebruik als geïsoleerde subroutines. Dit creëert twee gekoppelde uitdagingen: strategische blindheid op het voorwaartse pad van de geheugencyclus, waar constructie en retrieval worden aangedreven door lokale heuristieken in plaats van expliciete strategische redenering, en sporadische, vertraagde supervisie op het achterwaartse pad, waar downstream-fouten zelden vertalen naar directe reparaties van de geheugenbank. Om deze uitdagingen aan te pakken, stellen we MemMA voor, een plug-and-play multi-agentframework dat de geheugencyclus coördineert langs zowel het voorwaartse als achterwaartse pad. Op het voorwaartse pad produceert een Meta-Denker gestructureerde richtlijnen die een Geheugenbeheerder stuurt tijdens constructie en een Query-Redeneerder aanstuurt tijdens iteratieve retrieval. Op het achterwaartse pad introduceert MemMA in-situ zelf-evoluerende geheugenconstructie, die probeer-VA-paren synthetiseert, het huidige geheugen verifieert en fouten omzet in reparatie-acties voordat het geheugen wordt gefinaliseerd. Uitgebreide experimenten op LoCoMo tonen aan dat MemMA consistent beter presteert dan bestaande baseline-methoden over meerdere LLM-backbones heen en drie verschillende opslagbackends verbetert op een plug-and-play-manier. Onze code is publiekelijk beschikbaar op https://github.com/ventr1c/memma.

Blokdiffusie-taalmodellen bieden een veelbelovende weg naar snellere-dan-autoregressieve generatie door bloksgewijs autoregressieve decodering te combineren met parallelle denoisering binnen blokken. In het weinig-stappen regime dat nodig is voor praktische versnelling, is standaard op vertrouwensdrempel gebaseerde decodering echter vaak broos: agressieve drempels schaden de kwaliteit, terwijl conservatieve drempels onnodige denoiseringsstappen vereisen. Bestaande benaderingen die dit probleem aanpakken, vereisen óf extra training óf veroorzaken extra rekenkosten tijdens het testen. Wij presenteren S2D2, een trainingsvrij zelf-speculatief decoderingskader voor blokdiffusie-taalmodellen. Onze belangrijkste observatie is dat een blokdiffusiemodel autoregressief wordt wanneer de blokgrootte wordt teruggebracht tot één, waardoor hetzelfde voorgetrainde model kan fungeren als zowel opsteller als verifier. S2D2 voegt een speculatieve verificatiestap in de standaard blokdiffusie-decodering in en gebruikt lichtgewicht routeringsbeleid om te beslissen wanneer verificatie zijn kost waard is. Dit resulteert in een hybride decoderingspad waarbij diffusie tokens parallel voorstelt, terwijl de autoregressieve modus fungeert als een lokale sequentie-niveau criticus. Over drie mainstream blokdiffusiefamilies heen verbetert S2D2 consistent de nauwkeurigheid-snelheid afweging ten opzichte van sterke baseline-methoden met vertrouwensdrempels. Op SDAR observeren we een versnelling tot 4,7 keer ten opzichte van autoregressieve decodering, en tot 1,57 keer ten opzichte van een afgestemde dynamische decoderings-baseline, terwijl de nauwkeurigheid met tot 4,5 punten verbetert. Op LLaDA2.1-Mini blijft S2D2 complementair aan ingebouwde zelfcorrectie, inclusief een conservatieve instelling waar het 4,4 keer sneller is dan de statische baseline met lichtelijk hogere nauwkeurigheid.

Het begrijpen van diersoorten op basis van multimodale data vormt een opkomende uitdaging op het snijvlak van computervisie en ecologie. Hoewel recente biologische modellen, zoals BioCLIP, een sterke afstemming hebben aangetoond tussen afbeeldingen en tekstuele taxonomische informatie voor soortidentificatie, blijft de integratie van de audiomodule een onopgelost probleem. Wij stellen BioVITA voor, een nieuw visueel-textueel-akoestisch afstemmingsraamwerk voor biologische toepassingen. BioVITA omvat (i) een traindataset, (ii) een representatiemodel en (iii) een retrievalbenchmark. Ten eerste construeren we een grootschalige traindataset bestaande uit 1,3 miljoen audioclips en 2,3 miljoen afbeeldingen, die 14.133 soorten bestrijkt, geannoteerd met 34 ecologische kenmerklabels. Ten tweede introduceren we, voortbouwend op BioCLIP2, een tweefasen-trainingsraamwerk om audiorepresentaties effectief af te stemmen op visuele en tekstuele representaties. Ten derde ontwikkelen we een cross-modale retrievalbenchmark die alle mogelijke directionele retrieval tussen de drie modaliteiten dekt (d.w.z. beeld-naar-audio, audio-naar-tekst, tekst-naar-beeld en hun omgekeerde richtingen), met drie taxonomische niveaus: Familie, Geslacht en Soort. Uitgebreide experimenten tonen aan dat ons model een verenigde representatieruimte leert die semantiek op soortniveau vastlegt die verder gaat dan taxonomie, waardoor het multimodale begrip van biodiversiteit wordt bevorderd. De projectpagina is beschikbaar op: https://dahlian00.github.io/BioVITA_Page/

Wij introduceren WAFT-Stereo, een eenvoudige en effectieve op *warping* gebaseerde methode voor stereomatching. WAFT-Stereo toont aan dat kostvolumes, een veelgebruikt ontwerpelement in veel toonaangevende methoden, niet noodzakelijk zijn voor sterke prestaties en kunnen worden vervangen door *warping* met verbeterde efficiëntie. WAFT-Stereo bezet de eerste plaats op de publieke benchmarks van ETH3D, KITTI en Middlebury, vermindert de *zero-shot* fout met 81% op de ETH3D-benchmark en is tegelijkertijd 1,8-6,7x sneller dan concurrerende methoden. Code en modelgewichten zijn beschikbaar op https://github.com/princeton-vl/WAFT-Stereo.

Vision-language-action-modellen hebben autonoom rijden getransformeerd door taal te integreren in het besluitvormingsproces. De meeste bestaande systemen gebruiken het taalmodaal echter alleen voor scènesbeschrijvingen of redenering en missen de flexibiliteit om diverse gebruikersinstructies voor gepersonaliseerd rijden op te volgen. Om dit aan te pakken, construeren we eerst een grootschalige rijdataset (InstructScene) met ongeveer 100.000 scènes, geannoteerd met diverse rij-instructies en bijbehorende trajecten. Vervolgens presenteren we een verenigd Vision-Language-World-Action-model, Vega, voor op instructies gebaseerde generatie en planning. We gebruiken het autoregressieve paradigma om visuele invoer (vision) en taal-instructies (language) te verwerken, en het diffusieparadigma om toekomstvoorspellingen (wereldmodellering) en trajecten (actie) te genereren. We voeren gezamenlijke aandacht (joint attention) uit om interacties tussen de modaliteiten mogelijk te maken en gebruiken individuele projectielagen voor verschillende modaliteiten voor meer capaciteiten. Uitgebreide experimenten tonen aan dat onze methode niet alleen superieure planningsprestaties bereikt, maar ook sterke instructie-volgcapaciteiten vertoont, wat de weg effent voor intelligente en gepersonaliseerde rijsystemen.

Wij presenteren een volledig vaste-stof halfgeleiderapparaat, gebaseerd op epitaxiale enkelkristallijne metaalhalide-perovskieten, dat een reversibele controle van de fotoluminescentie van een perovskiet mogelijk maakt met behulp van een gatespanning. Fundamenteel verschillend van elektroluminescente diodes, gebruikt een dergelijke fotoluminescentie-veldeffecttransistor het elektrische veld van de gate om de interfaciale dichtheid van mobiele ladingen elektrostatisch te moduleren, waardoor de radiatieve en niet-radiatieve recombineatiekanalen van fotodragers worden beïnvloed. Het variëren van de gatespanning in dergelijke transistoren verandert efficiënt de snelheid van niet-radiatieve interfaciale recombinatie en moduleert de fotoluminescentie-intensiteit met 65 tot 98 procent (afhankelijk van de temperatuur). Onder gunstige gate-omstandigheden kan een bijna volledige eliminatie van niet-radiatieve verliezen worden bereikt. Deze functionaliteit, gecombineerd met de sterke absorptie en emissie in het zichtbare spectrum – mogelijk gemaakt door de hoge absorptiecoëfficiënt, evenals de controleerbare dikte en macroscopisch homogene morfologie van epitaxiale perovskietfilms – leidt tot hoge externe fotoluminescentie-kwantumrendementen in dunne-filmapparaten met een groot oppervlak. Dergelijke hoogrendement, schaalbare, elektrostatisch afstembare opto-elektronische schakelaars verbreden de potentiële toepassingen van metaalhalide-perovskieten in de fotonica en opto-elektronica.

Het beoordelen van handgeschreven kladwerk van studenten is cruciaal voor gepersonaliseerde educatieve feedback, maar brengt unieke uitdagingen met zich mee vanwege divers handschrift, complexe lay-outs en uiteenlopende oplossingsstrategieën. Bestaand educatief NLP-onderzoek richt zich voornamelijk op tekstuele antwoorden en negeert de complexiteit en multimodaliteit die inherent zijn aan authentiek handgeschreven kladwerk. Huidige multimodale grote taalmodellen (MLLM's) blinken uit in visueel redeneren, maar hanteren typisch een "examendeelnemersperspectief" door prioriteit te geven aan het genereren van correcte antwoorden in plaats van het diagnosticeren van studentenfouten. Om deze kloof te overbruggen, introduceren we ScratchMath, een nieuwe benchmark specifiek ontworpen voor het verklaren en classificeren van fouten in authentiek handgeschreven wiskundig kladwerk. Onze dataset omvat 1.720 wiskundige voorbeelden van Chinese basisschool- en middelbare schoolleerlingen, en ondersteunt twee kerntaken: Foutoorzaakverklaring (ECE) en Foutoorzaakclassificatie (ECC), met zeven gedefinieerde fouttypes. De dataset is nauwkeurig geannoteerd via rigoureuze mens-machine samenwerkingsmethoden met meerdere fasen van expertlabeling, review en verificatie. We evalueren systematisch 16 toonaangevende MLLM's op ScratchMath, wat significante prestatiekloofen ten opzichte van menselijke experts aan het licht brengt, vooral in visuele herkenning en logisch redeneren. Propriëtaire modellen presteren opmerkelijk beter dan open-source modellen, waarbij grote redeneermodellen sterk potentieel tonen voor foutverklaring. Alle evaluatiedata en -frameworks zijn openbaar beschikbaar om verder onderzoek te faciliteren.

Voor robotagenten die opereren in dynamische omgevingen is het leren van visuele toestandsrepresentaties uit streamende videoobservaties essentieel voor sequentieel besluitvorming. Recente zelfgesuperviseerde leermethoden hebben sterke overdraagbaarheid tussen visietaken getoond, maar ze behandelen niet expliciet wat een goede visuele toestand zou moeten coderen. Wij stellen dat effectieve visuele toestanden wat-waar-is moeten vastleggen door zowel de semantische identiteiten van scène-elementen als hun ruimtelijke posities gezamenlijk te coderen, waardoor betrouwbare detectie van subtiele dynamiek tussen observaties mogelijk wordt. Hiertoe stellen we CroBo voor, een raamwerk voor het leren van visuele toestandsrepresentaties gebaseerd op een globaal-naar-lokaal reconstructiedoel. Gegeven een referentieobservatie gecomprimeerd tot een compacte bottleneck-token, leert CroBo zwaar gemaskeerde patches in een lokaal doelgebied te reconstrueren op basis van schaars zichtbare aanwijzingen, waarbij de globale bottleneck-token als context wordt gebruikt. Dit leerdoel moedigt de bottleneck-token aan om een fijnkorrelige representatie te coderen van semantische entiteiten in de gehele scène, inclusief hun identiteiten, ruimtelijke posities en configuraties. Hierdoor onthullen de geleerde visuele toestanden hoe scène-elementen in de tijd bewegen en interacteren, wat sequentiële besluitvorming ondersteunt. We evalueren CroBo op diverse visiegebaseerde benchmarks voor robotbeleidsleren, waar het state-of-the-art prestaties behaalt. Reconstructieanalyses en perceptual straightness-experimenten tonen verder aan dat de geleerde representaties pixel-level scènesamenstelling behouden en coderen wat-waar-naartoe-beweegt tussen observaties. Projectpagina beschikbaar op: https://seokminlee-chris.github.io/CroBo-ProjectPage.

Chain-of-thought (CoT) prompting is uitgebreid naar grote audio-taalmodellen (LALMs) om redeneren op te roepen, maar het verbeteren van de effectiviteit ervan zonder training blijft een uitdaging. Wij bestuderen modelsturing tijdens inferentie als een trainingsvrije aanpak om LALM-redenering te verbeteren. We introduceren drie strategieën die gebruikmaken van diverse informatiebronnen en evalueren deze op vier LALMs en vier benchmarks. Resultaten tonen algemene nauwkeurigheidswinsten tot 4,4% ten opzichte van CoT-prompting. Opmerkelijk is dat we een cross-modale transfer identificeren waarbij stuurvectoren afgeleid van enkele tekstvoorbeelden spraakgebaseerd redeneren effectief sturen, wat een hoge data-efficiëntie aantoont. We onderzoeken ook hyperparametergevoeligheid om de robuustheid van deze benaderingen te begrijpen. Onze bevindingen positioneren modelsturing als een praktische richting voor het versterken van LALM-redenering.

Neerslagnowcasting is cruciaal voor rampenbestrijding en luchtvaartveiligheid. Radar-gebaseerde modellen kampen echter vaak met een gebrek aan grootschalige atmosferische context, wat leidt tot prestatievermindering bij langere voorspellingstermijnen. Hoewel de integratie van meteorologische variabelen voorspeld door weermodellen een mogelijke oplossing biedt, slagen bestaande architecturen er niet in de diepgaande representatieverschillen tussen radarbeelden en meteorologische gegevens te overbruggen. Om deze kloof te dichten, stellen wij PW-FouCast voor, een nieuw fusieraamwerk in het frequentiedomein dat Pangu-Weather-voorspellingen benut als spectrale prioriteiten binnen een op Fourier-gebaseerde backbone. Onze architectuur introduceert drie belangrijke innovaties: (i) Pangu-Weather-gestuurde Frequentiemodulatie om spectrale magnitudes en fasen af te stemmen op meteorologische prioriteiten; (ii) Frequentiegeheugen om faseafwijkingen te corrigeren en temporele evolutie te behouden; en (iii) Inverted Frequency Attention om hoogfrequente details te reconstrueren die typisch verloren gaan bij spectrale filtering. Uitgebreide experimenten op de SEVIR- en MeteoNet-benchmarks tonen aan dat PW-FouCast state-of-the-art prestaties bereikt, de betrouwbare voorspellingstermijn effectief verlengt en tegelijkertijd structurele getrouwheid behoudt. Onze code is beschikbaar op https://github.com/Onemissed/PW-FouCast.

Vision Foundation Models (VFMs) die op grote schaal zijn voorgetraind, maken het mogelijk dat een enkele bevroren encoder meerdere downstreamtaken gelijktijdig kan bedienen. Recente encoder-only modellen op basis van VFM's voor beeld- en videosegmentatie, zoals EoMT en VidEoMT, bereiken een competitieve nauwkeurigheid met opmerkelijk lage latentie, maar vereisen het finetunen van de encoder, waardoor ze de multi-task encoder-deling opofferen die VFM's praktisch aantrekkelijk maakt voor grootschalige implementatie. Om de eenvoud en snelheid van encoder-only ontwerpen te verzoenen met bevroren VFM-kenmerken, stellen we de Plain Mask Decoder (PMD) voor, een snelle op Transformers gebaseerde segmentatiedecoder die werkt op basis van bevroren VFM-kenmerken. Het resulterende model, de Plain Mask Transformer (PMT), behoudt de architecturale eenvoud en lage latentie van encoder-only ontwerpen, terwijl de encoderrepresentatie onveranderd en deelbaar blijft. Het ontwerp is naadloos toepasbaar op zowel beeld- als videosegmentatie en erft de algemeenheid van het encoder-only raamwerk. Op standaard benchmarks voor beeldsegmentatie evenaart PMT de state-of-the-art met een bevroren encoder, terwijl het tot ~3x sneller draait. Voor videosegmentatie presteert het zelfs gelijk aan volledig gefinetunede methoden, terwijl het tot 8x sneller is dan state-of-the-art modellen met bevroren encoder. Code: https://github.com/tue-mps/pmt.