Dagelijkse Papers

AI-agenten zijn in staat geworden om autonoom korte, goed gespecificeerde taken uit te voeren. Bestaande terminalbenchmarks richten zich echter grotendeels op eenvoudige problemen die binnen enkele minuten worden afgerond en alleen op hun eindresultaat worden geëvalueerd. Deze opzet gaat voorbij aan tussentijdse voortgang en gedeeltelijke oplossingen, wat leidt tot spaarzame beloningssignalen en een onvolledig beeld van de capaciteiten van de agent. Wij introduceren Long-Horizon-Terminal-Bench, een terminalbenchmark van 46 taken met een lange horizon over negen categorieën, waaronder experimentreproductie, software-engineering, multimodale analyse, interactieve spellen en wetenschappelijk rekenen. Elke taak volgt een Terminal-Bench-achtige opzet met een referentieoplossing of simulatie-engine, maar wordt verder opgesplitst in fijnmazige, gegradeerde deeltaken. Dit ontwerp maakt dichte tussentijdse beloningen en gedeeltelijke scores mogelijk, waardoor de evaluatie niet alleen kan vaststellen of een agent het einddoel bereikt, maar ook hoe ver hij vordert in open-eindworkflows. Taken in Long-Horizon-Terminal-Bench vereisen typisch honderden episodes en minuten tot uren uitvoeringstijd, waarbij de nadruk ligt op planning over een lange horizon, beheer van lange contexten en iteratief debuggen in plaats van eenmalig probleemoplossen. Wij evalueren 15 frontier-modellen en constateren dat agenten gemiddeld 9,9 miljoen tokens per taak verbruiken, met ongeveer 231 episodes en 85,3 minuten uitvoeringstijd per run, wat Long-Horizon-Terminal-Bench veeleisender maakt dan eerdere terminalgebaseerde benchmarks. Zelfs het sterkst geteste model behaalt 15,2% pass@1 bij een drempel voor gedeeltelijke beloning van 0,95 en 10,9% bij een drempel voor perfecte beloning van 1,0, terwijl de gemiddelde slaagkans over modellen respectievelijk 4,3% en 1,7% is onder de twee drempels. Deze resultaten tonen ruimte voor verbetering. Wij analyseren verder faalmodi en foutpatronen, en stellen Long-Horizon-Terminal-Bench beschikbaar om toekomstige vooruitgang op het gebied van terminalagenten met een lange horizon te ondersteunen.

De snelle vooruitgang van grote funderingsmodellen wordt voornamelijk gedreven door voortraining op grootschalige tekstcorpora. Veel vormen van kennis worden echter overgebracht via visuele representaties, waarbij figuren, gezetregelde vergelijkingen en paginalay-outs rijke informatie bevatten die niet getrouw of volledig door alleen tekst kan worden vastgelegd. Toch negeren huidige voortrainingsbenaderingen deze visuele aanwijzingen door visueel rijke bronnen, zoals documenten en webpagina's, om te zetten naar platte tekst voor het leren van taalkundige intelligentie. Dit artikel daagt de standaardveronderstelling uit dat taalmodellen moeten worden getraind op tekst-only representaties en toont aan dat visuele voortraining een schaalbare leerder is voor funderingsmodelintelligentie. Hiertoe voeren we een systematische studie uit naar ongesuperviseerde visuele voortrainingsparadigma's die direct gebruikmaken van visuele documenten zonder tektextractie. Over meerdere backbones en benchmarks heen presteert visuele voortraining op dezelfde onderliggende corpora consistent beter dan tekst-only voortraining, en biedt het een efficiënt pad naar schaalbare taalkundige intelligentie.

Gedreven door de voorspelling van het volgende token verschoof NLP van taakspecifieke modellen naar krachtige generalistische funderingsmodellen. Wat is dan de equivalente katalysator die nodig is om een algemeen toepasbaar model in computervisie te bereiken? In dit artikel stellen wij dat grootschalige tekst-naar-video generatie dient als een sterke voorbereidende trainingsparadigma voor computervisie, die de noodzakelijke spatiotemporele voorkennis, visie-taal afstemming en schaalbaarheid biedt die vereist zijn voor algemene visuele intelligentie. We introduceren GenCeption, dat gebruikmaakt van een voorgetrainde video-generatieve diffusie-backbone om een feed-forward perceptiemodel te definiëren, dat in staat is om diverse visietaken uit te voeren, gestuurd door tekstinstructies. Empirische resultaten tonen aan dat GenCeption state-of-the-art prestaties levert op een breed scala aan taken, waaronder diepte-, oppervlaktenormaal- en camerapositieschatting, expressie-verwijzende segmentatie en 3D-sleutelpuntvoorspelling, waarbij het vaak gespecialiseerde modellen evenaart of overtreft (bijv. DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo en Lotus-2). Bovendien presteert de voorgetrainde video-generatieve backbone beter dan alternatieve trainingsparadigma's (bijv. V-JEPA en Video MAE) onder vergelijkbare omstandigheden. Belangrijk is dat GenCeption voorlopige data- en modelschaaleigenschappen vertoont, samen met uitzonderlijke data-efficiëntie, waarbij het vergelijkbare prestaties bereikt als toonaangevende modellen zoals D4RT en VGGT-Omega met 7 tot 500 keer minder trainingsdata. Tot slot vertoont GenCeption ook intrigerend opkomend gedrag: een model dat uitsluitend is getraind op synthetische menselijke video's generaliseert naar echte beelden en objectcategorieën buiten de verdeling (bijv. dieren en robots). Deze bevindingen suggereren dat videogeneratie niet alleen een synthesetool is, maar een fundamentele weg naar generalistische visie-intelligentie voor de fysieke wereld. Projectpagina: https://genception.github.io

Grote doelen zijn moeilijk in één keer te bereiken; het is verstandiger om ze op te splitsen in kleine stappen. Wij presenteren Trust Region Policy Distillation (TOP-D), dat de beruchte instabiele en hoog-variante On-Policy Distillation (OPD) omvormt tot een stabiel trainingsparadigma door dynamisch een proximale leraar te construeren. Theoretisch leggen we een rigoureus kader vast dat aantoont dat TOP-D inherent de gradiëntvariantie beheerst. Door een formele globale convergentieanalyse samen met een monotone verbeteringsgrens te bieden, formaliseren we wiskundig de betrouwbaarheid en stabiliteit van de algehele trainingsdynamiek. Empirisch gezien verbetert TOP-D de trainingsstabiliteit, sample-efficiëntie en uiteindelijke prestaties bij wiskundige redeneertaken aanzienlijk. Nog belangrijker is dat TOP-D nul extra rekenkundige overhead introduceert, wat het positioneert als een veelbelovend alternatief voor het gevestigde OPD-paradigma.

Natrainkwantisatie (Post-training quantization, PTQ) is een breed toegepaste techniek voor het comprimeren van grote taalmodellen (LLM's) zonder hertraining. Bestaande tweede-orde PTQ-methoden, waaronder GPTQ, construeren kwantisatiedoelstellingen uitsluitend op basis van invoeractiveringsstatistieken, waarbij in wezen wordt aangenomen dat alle uitgangskanalen gelijk bijdragen aan de laagsgewijze reconstructiedoelstelling. Wij stellen KronQ voor, een PTQ-raamwerk dat deze aanname uitdaagt door de gradiëntcovariantie in de kwantisatiepijplijn te introduceren. Onder de Kronecker-gefactoriseerde Hessiaanbenadering hangt het kwantisatieverlies gezamenlijk af van zowel de activerings- als de gradiëntcovarianties, en KronQ benut dit op twee complementaire niveaus. (1) KronQ introduceert bidirectionele incoherentieverwerking, waarbij de bestaande willekeurige rotatie aan de ingangszijde wordt uitgebreid naar de uitgangsdimensie met behulp van de gradiëntcovariantie, waardoor de variantie van gewichtsmagnitudes over zowel invoer- als uitgangsdimensies wordt verminderd. (2) KronQ leidt een nieuwe gevoeligheidsmetriek af voor toewijzing van gemengde precisie tussen lagen, gestuurd door de sporen van de gradiënt- en activeringshessianen. Opmerkelijk is dat in het geval van 2-bit alleen-gewichtenkwantisatie op LLaMA-3-70B, terwijl GPTQ en GPTAQ divergeren of gedegenereerde kwantisaties produceren (>2000 perplexity op WikiText-2), KronQ een perplexity van 7,93 behaalt.

Grootschalige tekst-naar-beeld modellen zijn aantrekkelijke backbones voor dichte voorspellingen omdat RGB-generatie pre-training rijke semantische, structurele en geometrische prioriën leert. Bestaande generatieve en bewerkingsbenaderingen hergebruiken deze prioriën door dichte voorspelling als doelgeneratie te gieten: annotaties zoals diepte, normalen, alfamatten, maskers en heatmaps worden gecodeerd in een met RGB getrainde VAE-latente ruimte en teruggedecodeerd als beeldachtige doelen. Wij beargumenteren dat dit meer van de generatieve uitvoerinterface erft dan dichte voorspelling vereist: in tegenstelling tot RGB-synthese vraagt dichte voorspelling om pixel-correcte, taakgebonden velden op hetzelfde beeldvlak, niet om nieuwe RGB-inhoud die moet worden weergegeven. Onze belangrijkste observatie is dat een voorgetrainde DiT al RGB-ingangen organiseert via een patch-naar-token-naar-patch rooster op het beeldvlak, dus elke token indexeert een vaste uitvoerpatch waarvan de kanalen taakgebonden grootheden kunnen dragen in plaats van RGB-uiterlijk. We implementeren dit als ReChannel: we behouden de VAE-encoder voor de invoerverdeling van de DiT maar laten de doelzijde-decoder weg, passen de bevroren DiT aan met taak-LoRA, en koppelen elke token aan zijn p x p x K_t pixelruimte-patch via een gedeelde token-lokale lineaire kop -- ongeveer 33K parameters, geen ruimtelijke menging. Met FLUX-Klein evalueren we op zes dichte voorspellingstaken en meer dan een dozijn benchmarks. Deze minimale interface zet een nieuwe state-of-the-art op trimap-vrij matten, KITTI-diepte, en verwijzende segmentatie, en blijft concurrerend op normalen, saillantie en pose. In een gematchte 4B-setting is het nauwkeuriger en 2,48x sneller dan een edit-plus-latent-decode tegenhanger -- dichte perceptie kan profiteren van generatieve pre-training zonder de uitvoerinterface ervan over te nemen.

Verwerking van lange contexten is steeds belangrijker geworden voor grote taalmodellen (LLMs), maar een simpele verlenging van het contextvenster garandeert geen effectief gebruik van lange invoeren. Naarmate de invoerlengte toeneemt, neemt de nauwkeurigheid vaak af, wat erop wijst dat modellen nog moeite hebben met het identificeren en gebruiken van het bewijs dat het meest relevant is voor een vraag. Een veelbelovende manier om het gebruik van lange contexten te verbeteren, is test-time training (TTT), waarbij de testcontext wordt behandeld als een trainingsvoorbeeld voor instantie-specifieke parameteraanpassing. Het toepassen van TTT op de gehele lange context is echter prohibitief duur, terwijl aanpassing op willekeurig geselecteerde fragmenten ernstige ruis introduceert. Omdat de meeste fragmenten in een lange context irrelevant zijn voor de specifieke vraag, kan training daarop de prestaties van het basismodel zelfs verslechteren. Ons vooronderzoek toont aan dat TTT zeer gevoelig is voor de kwaliteit van trainingsfragmenten: op LongBench-v2 schaadt TTT op willekeurig geselecteerde fragmenten de prestaties, terwijl TTT op orakelfragmenten deze aanzienlijk verbetert. Gemotiveerd door dit stellen we een eenvoudige methode voor, Self-Guided TTT (S-TTT): vóór aanpassing identificeert het model de bewijsfragmenten waarvan het moet leren, en de standaard taalmodelleringsdoelstelling wordt alleen toegepast op die geselecteerde fragmenten. Op twee uitdagende benchmarks voor redeneren met lange contexten, LongBench-v2 en LongBench-Pro, verbetert S-TTT de nauwkeurigheid voor zowel Qwen3-4B-Thinking-2507 als Llama-3.1-8B-Instruct, met een relatieve verbetering tot 15%.

Het finetunen van LLM's om nieuwe kennis te injecteren kent een kritieke uitdaging: LLM's kunnen nieuwe feiten snel memoriseren, maar slagen er niet in deze te gebruiken voor stroomafwaartse redeneertaken. We formaliseren dit falen als de \textbf{Kennis–Gebruik kloof}, gekenmerkt door een nauwkeurigheidskloof en een temporele vertraging tussen memorisatie en generalisatie. Om dit fenomeen te begrijpen, finetunen we LLM's met ongeziene kennis en monitoren we de interne ruimtelijke diffusiedynamiek van de kennis met behulp van een nieuwe interventietechniek genaamd zelf-patching. Zelf-patching identificeert activatielocaties waar het verplaatsen van representaties mislukte generalisatiegevallen aanzienlijk verbetert. Deze resultaten zijn consistent met een hypothese van verkeerde uitlijning van kenniscircuits: gememoriseerde representaties kunnen intern bestaan, maar worden mogelijk niet naar rekeneffectieve lagen geleid. Om de praktische toepasbaarheid van deze diagnostische bevinding aan te tonen, ontwerpen we een eenvoudige heuristische strategie die 58–75% van de oracle-headroom bij generalisatiefalen herstelt. De experimenten worden cross-domein uitgevoerd voor de robuustheid van deze bevinding.

In dit werk beogen we de uitdaging van geheugen over lange afstand in panoramische wereldmodellen aan te pakken door gebruik te maken van de rotatie-equivariante eigenschap van omnidirectionele representaties, waarin rotatie kan worden behandeld als een impliciete geometrische transformatie. Voortbouwend op dit inzicht stellen we PanoWorld voor, dat cameratrajecten vereenvoudigt tot translaties via vaste richtingen voor zowel het modelleren van huidige acties als geheugen over lange afstand door middel van Dense Panoramic Ray-Conditioning (DPRC) en Geometry-aware Memory Augmentation (GMA). Vervolgens wordt een drie-traps trainingspijplijn geïntroduceerd om elk onderdeel stapsgewijs te optimaliseren. Om fysieke consistentie beter te evalueren onder grootschalige ruimtelijke variaties en uiteenlopende verlichtingsomstandigheden, waar bestaande datasets relatief stabiel zijn, construeren we World360, een grootschalige dataset bestaande uit zowel echte videoclips verzameld via panoramische onbemande luchtvaartuigen als hoogwaardige gesimuleerde clips gegenereerd door AirSim360. Uitgebreide experimenten op World360 tonen de effectiviteit van PanoWorld aan, dat alternatieve methoden met een ruime marge overtreft. Onze modellen, trainingscode en dataset zullen openbaar beschikbaar worden gesteld. Meer informatie is te vinden op onze projectpagina: https://lihaoy-ux.github.io/panoworld-page/.

Realistische en diverse verkeerssimulatie is essentieel voor de ontwikkeling van autonoom rijden. Toch belonen gangbare benchmarks voornamelijk realisme, en recente methoden zijn daarop geoptimaliseerd, waardoor diversiteit onderbelicht blijft. Wij introduceren Flow-ERD, een multi-agent simulator die zowel realisme als diversiteit nastreeft. De ruggengraat ervan, Agent-Type Aware Flow Matching (AFM), koppelt de multimodale expressiviteit van flow matching aan typespecifieke kinematische uitvoering. Het behoudt fijnmazige diversiteit terwijl bewegingen consistent blijven met elk agenttype. Een tweede fase, Entropie-geregulariseerde Distillatie (ERD), verfijnt de closed-loop uitrolverdeling met een entropie-geregulariseerde omgekeerde KL-doelstelling. Dit vermindert covariate shift en voorkomt expliciet instorting op hoog-dichtheidsmodi. We evalueren Flow-ERD met een log-vrije diversiteitsmaatstaf naast standaard realisme-scores. Flow-ERD behaalt de eerste plaats op de WOSAC-testbenchmark en domineert het realisme-diversiteit Pareto-front onder reproduceerbare basislijnen. Onze projectpagina is beschikbaar op https://seulbinhwang.github.io/flow-erd-project-page/{hier}.

Geneeskunde is inherent multimodaal: clinici moeten informatie uit uiteenlopende datastromen synthetiseren. De ontwikkeling van multimodale funderingsmodellen wordt echter beperkt door beperkte toegang tot grootschalige, hoogwaardige klinische gegevens. Hoewel PubMed Central (PMC) een aanvullende bron biedt van door experts geschreven beeld-tekstgegevens, blijven bestaande uit PMC afgeleide bronnen beperkt in getrouwheid, reproduceerbaarheid en klinische validatie. We introduceren MedPMC, een geautomatiseerd, continu bijwerkbaar raamwerk dat permissief gelicentieerde literatuur omzet in een hoogwaardige infrastructuur voor medische multimodale modellen. Toegepast op 6,1 miljoen PMC-artikelen cureerde MedPMC 11 miljoen medische beeld-tekstparen. Componentevaluaties toonden sterke prestaties voor initiële screening (F1 = 93,2), detectie van figuren met meerdere panelen (F1 = 96,5), figuurscheiding (mAP = 89,8), bijschriftscheiding en -uitlijning (F1 = 81,4; ROUGE-L = 85,3) en classificatie van medische figuren (F1 = 96,5). Handmatige beoordeling door vijf annotatoren, van wie drie met medische opleiding, wees uit dat 95,3% van de MedPMC-beelden medisch relevant was, tegenover 19,7% in een eerdere uit PMC afgeleide dataset. Over 26 benchmarks verdeeld over 11 specialismen verbeterde een met MedPMC getraind CLIP-achtig model de gemiddelde nulmeting AUC met 7,1 procentpunt ten opzichte van de sterkste qua architectuur overeenkomende biomedische CLIP-baseline, ondanks dat het minder dan de helft van het aantal beeld-tekstparen gebruikte. Als visuele encoder in een multimodaal groot taalmodel verbeterde het de medische visuele vraagbeantwoording met respectievelijk 1,9 en 16,9 procentpunt over twee benchmarks. In 10.524 dermatologiefoto's van Yale New Haven Health System verbeterde het de morfologie-naar-beeldterugvinding Recall@5 met 11,7 procentpunt. Deze bevindingen tonen aan dat hoogwaardige literatuurcuratie medische multimodale funderingsmodellen versterkt, zowel in benchmark- als klinische omgevingen. We stellen het raamwerk, de corpus, benchmarks en voorgetrainde modellen openbaar beschikbaar.

Foneemsegmentatie en -herkenning zijn inherent gerelateerde taken, maar moderne benaderingen modelleren ze doorgaans apart. Wij stellen dat fonetische structuur al latent aanwezig is in de representaties van zelfgesuperviseerde spraakmodellen (S3Ms), en dat men deze slechts hoeft te sturen om beide taken op te lossen. We maken gebruik van op S3M gebaseerde fonologische activeringsmapping (SPAM), die elk S3M-representatieframe toewijst aan een vector van fonologische kenmerkactivaties, zoals stemhebbendheid en nasaliteit. Bovenop SPAM introduceren we twee eenvoudige maar effectieve, lichtgewicht, gradiëntafdalingsvrije voorspellingskoppen: een herkenningskop en een segmentatiekop. Onze methode vereist minder dan een minuut aan fonetische transcripties en generaliseert naar ongeziene fonemen tijdens de training. Over een diverse reeks datasets behaalt onze aanpak sterke segmentatie- en herkenningsprestaties.

We presenteren Soofi S 30B-A3B, een soeverein, open-source Mixture-of-Experts (MoE) hybride Mamba Transformer-basismodel voor Duits en Engels. Het hybride ontwerp activeert slechts 3B van de 30B parameters per token en houdt de inferentiecache bijna constant naarmate de context groeit, wat het een beslissend doorvoervoordeel geeft ten opzichte van dichte modellen voor inzet bij lange context en hoge gelijktijdigheid. Voorgetraind op ruwweg 27 biljoen tokens met bewust hoger gewogen Duits, evenaart Soofi S dichte modellen van 14 tot 27B op geaggregeerde Engelse en Duitse benchmarks, terwijl het de beste code-aggregaten in beide talen behaalt onder 17 open basismodellen, en presteert het beter dan elke Europese soevereine basislijn in onze vergelijking, inclusief modellen die veel groter zijn in actieve parameters. Onder volledig open modellen behaalt Soofi S de hoogste evaluatiescores voor Engels en Duits, vóór Olmo 3 32B en Apertus 70B. Soofi S is end-to-end gebouwd op de German Industrial AI Cloud, een soevereine HPC-schaal AI-infrastructuur die wordt beheerd door Deutsche Telekom in München. Soofi S zal worden uitgebracht onder zeer permissieve, open-access voorwaarden: gewichten, geselecteerde tussenliggende checkpoints, volledige per-bron gegevensverantwoording, hyperparameters, en trainings- en evaluatiecode. Waar bronlicenties dit toestaan, worden data-constructie-artefacten uitgebracht onder permissieve licenties; commercieel gelicentieerde bronnen worden gedocumenteerd met geaggregeerde statistieken en exacte mengselverantwoording.

Visie-taalmodellen (VLMs) maken interactieve digitale musea steeds haalbaarder door 3D-digitalisering te verbinden met verkenning van artefacten in natuurlijke taal. In domeinen van cultureel erfgoed, zoals Oud-Griekse aardewerk, wordt betrouwbare VLM-ondersteuning echter beperkt door twee uitdagingen. Ten eerste vereist open interpretatie het verankeren van fijnmazig 2D/3D visueel bewijs in gespecialiseerde conservatoriale kennis, maar het retrievalproces kan zwakke bronnen en onverifieerbare referenties introduceren. Ten tweede produceren VLMs, wanneer het beschikbare bewijs onvolledig, ruisachtig of dubbelzinnig is, vaak zelfverzekerde maar niet-onderbouwde antwoorden in plaats van gekalibreerde onzekerheid. Om deze uitdagingen aan te pakken, stellen we VaseMuseum voor, een lichtgewicht en modulair multimodaal agentraamwerk voor intelligente digitale musea van Oud-Griekse aardewerk. VaseMuseum combineert een interactief virtueel museum met VaseAgent, dat zowel 2D-afbeeldingen als 3D-artefacten ondersteunt via multimodale perceptie, 3D-bewust redeneren, externe kennisretrieval en betrouwbaarheidscontrole tijdens inferentie. Specifiek haalt VaseAgent bewijs uit gezaghebbende web- en museumkennisbronnen, en zorgt bronniveaucontrole voor de selectie van diverse en verifieerbare bewijzen vóór generatie. Tegelijkertijd controleert reactieniveaucontrole gegenereerde claims tegen de bewijspool en moedigt het neutrale, bewijsgebonden antwoorden aan wanneer ondersteuning onvoldoende of tegenstrijdig is. Bovendien bevordert een training-vrij GRPO-stijl selectiemechanisme antwoorden met geldige referenties en gekalibreerde zekerheid, zonder de VLM-backbone bij te werken. Experimenten in een realistische digitale museumsimulatie tonen aan dat VaseMuseum de citatiegeldigheid verbetert, hallucinaties bij kennisintensieve queries vermindert en meer neutrale antwoorden produceert bij dubbelzinnigheid in vergelijking met zoekfunctionaliteit-bevattende VLM-baselines.