Dagelijkse Papers

Diffusie-gebaseerde grote taalmodellen (dLLMs) zijn recent naar voren gekomen als een krachtig alternatief voor autoregressieve LLMs, waarbij ze snellere inferentie en grotere interactiviteit bieden via parallelle decodering en bidirectionele modellering. Ondanks sterke prestaties in codegeneratie en tekstinvulling, identificeren we echter een fundamenteel veiligheidsprobleem: bestaande afstemmingsmechanismen slagen er niet in om dLLMs te beschermen tegen contextbewuste, gemaskeerde invoer van adversariële prompts, wat nieuwe kwetsbaarheden blootlegt. Daarom presenteren we DIJA, de eerste systematische studie en jailbreak-aanvalsframework dat unieke veiligheidszwaktes van dLLMs uitbuit. Specifiek construeert ons voorgestelde DIJA adversariële prompts met afgewisselde masker-tekst die de tekstgeneratiemechanismen van dLLMs uitbuiten, namelijk bidirectionele modellering en parallelle decodering. Bidirectionele modellering drijft het model aan om contextueel consistente uitvoer te produceren voor gemaskeerde segmenten, zelfs wanneer deze schadelijk zijn, terwijl parallelle decodering de dynamische filtering en afwijzingssteekproeven van onveilige inhoud beperkt. Hierdoor falen standaard afstemmingsmechanismen, wat schadelijke aanvullingen mogelijk maakt in afgestemde dLLMs, zelfs wanneer schadelijk gedrag of onveilige instructies direct in de prompt worden blootgesteld. Door middel van uitgebreide experimenten tonen we aan dat DIJA aanzienlijk beter presteert dan bestaande jailbreak-methoden, waarbij een voorheen over het hoofd gezien dreigingsoppervlak in dLLM-architecturen wordt blootgelegd. Opmerkelijk is dat onze methode tot 100% keyword-gebaseerde ASR bereikt op Dream-Instruct, wat de sterkste eerdere baseline, ReNeLLM, overtreft met tot 78,5% in evaluator-gebaseerde ASR op JailbreakBench en met 37,7 punten in StrongREJECT-score, zonder dat schadelijke inhoud in de jailbreak-prompt herschreven of verborgen hoeft te worden. Onze bevindingen onderstrepen de dringende noodzaak om de veiligheidsafstemming in deze opkomende klasse van taalmodellen te heroverwegen. Code is beschikbaar op https://github.com/ZichenWen1/DIJA.

Russische spraaksynthese brengt unieke uitdagingen met zich mee, zoals klinkerreductie, stemhebbende medeklinkers, variabele klemtoonpatronen, homografische ambiguïteit en onnatuurlijke intonatie. Dit artikel introduceert Balalaika, een nieuwe dataset die meer dan 2.000 uur aan studio-kwaliteit Russische spraak bevat, vergezeld van uitgebreide tekstuele annotaties, inclusief interpunctie en klemtoonmarkeringen. Experimentele resultaten tonen aan dat modellen die getraind zijn op Balalaika aanzienlijk beter presteren dan modellen die getraind zijn op bestaande datasets, zowel in spraaksynthese als in verbeteringstaken. We beschrijven in detail de constructiepijplijn van de dataset, de annotatiemethodologie en de resultaten van vergelijkende evaluaties.

We presenteren Franca (uitgesproken als Fran-ka): de eerste volledig open-source (data, code, gewichten) vision foundation model die de prestaties van state-of-the-art propriëtaire modellen evenaart en in veel gevallen overtreft, zoals DINOv2, CLIP, SigLIPv2, enz. Onze aanpak is gebaseerd op een transparante trainingspijplijn geïnspireerd door Web-SSL en maakt gebruik van publiek beschikbare data: ImageNet-21K en een subset van ReLAION-2B. Naast het uitbrengen van het model, pakken we kritieke beperkingen aan in SSL-clustermethoden. Terwijl moderne modellen vertrouwen op het toewijzen van beeldkenmerken aan grote codeboeken via clusteralgoritmen zoals Sinkhorn-Knopp, houden ze geen rekening met de inherente ambiguïteit in clustersemantiek. Om dit aan te pakken, introduceren we een parameter-efficiënte, multi-head clusteringprojector gebaseerd op geneste Matryoshka-representaties. Dit ontwerp verfijnt kenmerken progressief in steeds fijnmazigere clusters zonder het modelformaat te vergroten, wat zowel prestaties als geheugenefficiëntie mogelijk maakt. Daarnaast stellen we een nieuwe positionele ontwarringsstrategie voor die expliciet positionele vooroordelen verwijdert uit dichte representaties, waardoor de codering van semantische inhoud wordt verbeterd. Dit leidt tot consistente verbeteringen op verschillende downstream benchmarks, wat het nut van schonere kenmerkruimten aantoont. Onze bijdragen stellen een nieuwe standaard voor transparante, hoogpresterende visionmodellen en openen een pad naar meer reproduceerbare en generaliseerbare foundationmodellen voor de bredere AI-gemeenschap. De code en modelcheckpoints zijn beschikbaar op https://github.com/valeoai/Franca.

In het tijdperk van Large Language Models (LLM's) is alignment naar voren gekomen als een fundamenteel maar uitdagend probleem in de zoektocht naar betrouwbaardere, controleerbaardere en capabelere machine-intelligentie. Het recente succes van redeneermodellen en conversatie-AI-systemen heeft de cruciale rol van reinforcement learning (RL) bij het verbeteren van deze systemen benadrukt, wat heeft geleid tot een groeiende onderzoeksinteresse op het snijvlak van RL en LLM-alignment. Dit artikel biedt een uitgebreid overzicht van recente vooruitgang in LLM-alignment vanuit het perspectief van inverse reinforcement learning (IRL), waarbij de nadruk ligt op de verschillen tussen RL-technieken die worden gebruikt in LLM-alignment en die in conventionele RL-taken. In het bijzonder benadrukken we de noodzaak van het construeren van neurale beloningsmodellen op basis van menselijke gegevens en bespreken we de formele en praktische implicaties van deze paradigmaverschuiving. We beginnen met het introduceren van fundamentele concepten in RL om een basis te bieden voor lezers die niet vertrouwd zijn met het veld. Vervolgens onderzoeken we recente vooruitgang in deze onderzoeksagenda, waarbij we belangrijke uitdagingen en kansen bespreken bij het uitvoeren van IRL voor LLM-alignment. Naast methodologische overwegingen verkennen we praktische aspecten, waaronder datasets, benchmarks, evaluatiemetrics, infrastructuur en computationeel efficiënte trainings- en inferentietechnieken. Ten slotte putten we inzichten uit de literatuur over RL met schaarse beloningen om openstaande vragen en mogelijke onderzoeksrichtingen te identificeren. Door bevindingen uit diverse studies te synthetiseren, streven we ernaar een gestructureerd en kritisch overzicht van het veld te bieden, onopgeloste uitdagingen te belichten en veelbelovende toekomstige richtingen te schetsen voor het verbeteren van LLM-alignment via RL- en IRL-technieken.

Het ontwarren van inhoud en stijl uit een enkele afbeelding, bekend als content-style decomposition (CSD), maakt het mogelijk om de geëxtraheerde inhoud te hercontextualiseren en de geëxtraheerde stijlen te styliseren, wat een grotere creatieve flexibiliteit biedt in visuele synthese. Hoewel recente personalisatiemethoden de ontleding van expliciete inhoud en stijl hebben onderzocht, blijven ze toegespitst op diffusiemodellen. Ondertussen is Visual Autoregressive Modeling (VAR) naar voren gekomen als een veelbelovend alternatief met een next-scale voorspellingsparadigma, dat prestaties bereikt die vergelijkbaar zijn met die van diffusiemodellen. In dit artikel onderzoeken we VAR als een generatief raamwerk voor CSD, waarbij we gebruikmaken van het schaalgewijze generatieproces voor een verbeterde ontwarring. Hiertoe stellen we CSD-VAR voor, een nieuwe methode die drie belangrijke innovaties introduceert: (1) een schaalbewuste alternerende optimalisatiestrategie die inhouds- en stijlrepresentatie afstemt op hun respectievelijke schalen om de scheiding te verbeteren, (2) een SVD-gebaseerde rectificatiemethode om het lekken van inhoud in stijlrepresentaties te verminderen, en (3) een Augmented Key-Value (K-V) geheugen dat de bewaring van inhoudsidentiteit versterkt. Om deze taak te benchmarken, introduceren we CSD-100, een dataset die specifiek is ontworpen voor content-style decomposition, met diverse onderwerpen weergegeven in verschillende artistieke stijlen. Experimenten tonen aan dat CSD-VAR eerdere benaderingen overtreft, met superieure inhoudsbewaring en stilisatietrouw.

Dit artikel richt zich op monolithische Multimodale Grote Taalmodellen (MLLMs), die visuele codering en taaldecodering integreren in één model. Bestaande structuren en pre-trainingsstrategieën voor monolithische MLLMs kampen vaak met instabiele optimalisatie en catastrofaal vergeten. Om deze uitdagingen aan te pakken, is ons belangrijkste idee om een nieuwe visuele parameterruimte in een voorgetraind LLM in te bedden, waardoor stabiel leren van visuele kennis uit ruisige data mogelijk wordt via delta-tuning. Op basis van dit principe introduceren we eerst Mono-InternVL, een geavanceerd monolithisch MLLM dat een set visuele experts incorporeert via een multimodale mixture-of-experts-architectuur. Daarnaast ontwerpen we een innovatieve Endogene Visuele Pre-training (EViP) voor Mono-InternVL om de visuele capaciteiten te maximaliseren via progressief leren. Mono-InternVL behaalt competitieve prestaties ten opzichte van bestaande MLLMs, maar leidt ook tot relatief hoge datakosten. Daarom presenteren we verder Mono-InternVL-1.5, een goedkoper en sterker monolithisch MLLM uitgerust met een verbeterde EViP (EViP++). EViP++ introduceert aanvullende visuele aandachtsexperts in Mono-InternVL-1.5 en herstructureert het pre-trainingsproces op een efficiënte manier. Tijdens inferentie bevat het een gefuseerde CUDA-kernel om de MoE-operaties te versnellen. Met deze ontwerpen reduceert Mono-InternVL-1.5 de trainings- en inferentiekosten aanzienlijk, terwijl het nog steeds competitieve prestaties behoudt ten opzichte van Mono-InternVL. Om onze aanpak te evalueren, voeren we uitgebreide experimenten uit over 15 benchmarks. De resultaten tonen aan dat Mono-InternVL bestaande monolithische MLLMs overtreft op 12 van de 15 benchmarks, bijvoorbeeld een verbetering van +114 punten ten opzichte van Emu3 op OCRBench. Vergeleken met zijn modulaire tegenhanger, namelijk InternVL-1.5, behaalt Mono-InternVL-1.5 vergelijkbare multimodale prestaties terwijl de latentie van het eerste token met maximaal 69% wordt verminderd. Code en modellen zijn vrijgegeven op https://github.com/OpenGVLab/Mono-InternVL.

Het voorspellen van gemaskeerde tokens is naar voren gekomen als een krachtig pre-trainingsdoel voor taal, beeld en spraak, wat de potentie biedt om deze diverse modaliteiten te verenigen via een enkele pre-trainings taak. Echter, de toepassing ervan voor algemeen audio-begrip blijft onderbelicht, met BEATs als enige opvallende voorbeeld. BEATs heeft beperkte aanpassingen ondergaan vanwege het ontbreken van open-source pre-trainingscode. Bovendien is BEATs alleen getraind op AudioSet, wat de bredere downstream-toepasbaarheid beperkt. Om deze lacunes aan te pakken, presenteren we OpenBEATs, een open-source framework dat BEATs uitbreidt via multi-domein audio pre-training. We voeren uitgebreide evaluaties uit over zes soorten taken, vijfentwintig datasets en drie audio-domeinen, waaronder audio-redeneertaken zoals audio-vraagbeantwoording, entailment en captioning. OpenBEATs behaalt state-of-the-art prestaties op zes bioakoestische datasets, twee datasets voor omgevingsgeluid en vijf redeneerdatasets, en presteert beter dan modellen met meer dan een miljard parameters bij een kwart van hun parameteromvang. Deze resultaten tonen de effectiviteit aan van multi-domein datasets en de taak van het voorspellen van gemaskeerde tokens om algemene audio-representaties te leren. Om verder onderzoek en reproduceerbaarheid te bevorderen, geven we alle pre-trainings- en evaluatiecode, pre-getrainde en fijn afgestemde checkpoints, en trainingslogboeken vrij op https://shikhar-s.github.io/OpenBEATs.

Multimodale grote taalmodellen (MLLMs) hebben een revolutie teweeggebracht in het begrip van cross-modale gegevens, maar blijven worstelen met hallucinaties - verzonnen inhoud die in tegenspraak is met visuele invoer. Bestaande methoden om hallucinaties te verminderen, brengen ofwel onoverkomelijke rekenkosten met zich mee, of introduceren distributieverschillen tussen trainingsdata en modeluitvoer. Wij identificeren een cruciaal inzicht: hallucinaties ontstaan voornamelijk in de vroege fasen van tekstgeneratie en verspreiden zich via daaropvolgende uitvoer. Om dit aan te pakken, stellen we **SENTINEL** voor (**S**entence-level **E**arly i**N**tervention **T**hrough **IN**-domain pr**E**ference **L**earning), een raamwerk dat de afhankelijkheid van menselijke annotaties elimineert. Specifiek bootstrappen we eerst hoogwaardige voorkeursparen binnen het domein door iteratief modeluitvoer te bemonsteren, het bestaan van objecten te valideren door kruiscontrole met twee open-vocabulary detectoren, en zinnen te classificeren in hallucinatie/niet-hallucinatie categorieën. Vervolgens gebruiken we context-coherente positieve voorbeelden en hallucinerende negatieve voorbeelden om iteratief contextbewuste voorkeursdata op te bouwen. Ten slotte trainen we modellen met een contextbewust voorkeursverlies (C-DPO) dat discriminatief leren benadrukt op zinsniveau, waar hallucinaties aanvankelijk ontstaan. Experimentele resultaten tonen aan dat SENTINEL hallucinaties met meer dan 90\% kan verminderen in vergelijking met het oorspronkelijke model en de vorige state-of-the-art methode overtreft op zowel hallucinatiebenchmarks als algemene capaciteitenbenchmarks, wat de superioriteit en generalisatievermogen aantoont. De modellen, datasets en code zijn beschikbaar op https://github.com/pspdada/SENTINEL.

Als primair medium voor moderne informatieverspreiding hebben sociale netwerkdiensten (SNS) een snelle groei doorgemaakt, wat aanzienlijke uitdagingen heeft opgeleverd voor het beheer van platforminhoud en de verbetering van interactiekwaliteit. Recentelijk heeft de ontwikkeling van grote taalmodellen (LLM's) potentiële oplossingen geboden, maar bestaande studies richten zich op geïsoleerde taken, wat niet alleen leidt tot afnemende voordelen van dataschaalvergroting binnen individuele scenario's, maar ook niet flexibel kan inspelen op diverse real-world contexten. Om deze uitdagingen aan te pakken, introduceren we RedOne, een domeinspecifiek LLM dat is ontworpen om de prestatiebottleneck van single-task baseline-modellen te doorbreken en een uitgebreide basis te leggen voor SNS. RedOne is ontwikkeld via een drietraps trainingsstrategie bestaande uit voortgezette pretraining, supervised fine-tuning en voorkeursoptimalisatie, waarbij gebruik is gemaakt van een grootschalige real-world dataset. Door uitgebreide experimenten behoudt RedOne sterke algemene capaciteiten en behaalt het een gemiddelde verbetering van maximaal 14,02% over 8 belangrijke SNS-taken en 7,56% in de SNS tweetalige evaluatiebenchmark, vergeleken met basismodellen. Bovendien heeft RedOne tijdens online tests het blootstellingspercentage in schadelijke inhouddetectie met 11,23% verminderd en de klikpaginaratio in post-view zoekopdrachten met 14,95% verbeterd, vergeleken met single-task fine-tuned baseline-modellen. Deze resultaten positioneren RedOne als een robuust domeinspecifiek LLM voor SNS, dat uitstekende generalisatie over verschillende taken demonstreert en veelbelovende toepasbaarheid in real-world scenario's laat zien.

Dit onderzoek presenteert een raamwerk voor kwantitatief risicobeheer in volatiele markten, met specifieke focus op expectielgebaseerde methodologieën toegepast op de FTSE 100-index. Traditionele risicomaatstaven zoals Value-at-Risk (VaR) hebben aanzienlijke beperkingen getoond tijdens periodes van marktstress, zoals geïllustreerd tijdens de financiële crisis van 2008 en daaropvolgende volatiele periodes. Deze studie ontwikkelt een geavanceerd expectielgebaseerd raamwerk dat de tekortkomingen van conventionele kwantielgebaseerde benaderingen aanpakt door een grotere gevoeligheid voor staartverliezen en verbeterde stabiliteit in extreme marktomstandigheden te bieden. Het onderzoek maakt gebruik van een dataset die twee decennia aan FTSE 100-rendementen omvat, inclusief periodes van hoge volatiliteit, marktcrashes en herstelfasen. Onze methodologie introduceert nieuwe wiskundige formuleringen voor expectielregressiemodellen, verbeterde technieken voor drempelbepaling met behulp van tijdreeksanalyse, en robuuste backtestprocedures. De empirische resultaten tonen aan dat expectielgebaseerde Value-at-Risk (EVaR) consistent beter presteert dan traditionele VaR-maten over verschillende betrouwbaarheidsniveaus en marktomstandigheden. Het raamwerk toont superieure prestaties tijdens volatiele periodes, met verminderd modelrisico en verbeterde voorspellende nauwkeurigheid. Bovendien stelt de studie praktische implementatierichtlijnen op voor financiële instellingen en biedt het evidence-based aanbevelingen voor regelgevende naleving en portefeuillebeheer. De bevindingen dragen significant bij aan de literatuur over financieel risicobeheer en bieden praktische tools voor professionals die te maken hebben met volatiele marktomstandigheden.

De evaluatie van grote taalmodellen is een complexe taak, waarbij verschillende benaderingen zijn voorgesteld. De meest gebruikelijke is het gebruik van geautomatiseerde benchmarks, waarbij LLM's meerkeuzevragen over verschillende onderwerpen moeten beantwoorden. Deze methode heeft echter bepaalde beperkingen, waarvan de meest zorgwekkende de slechte correlatie met menselijke beoordelingen is. Een alternatieve benadering is om mensen de LLM's te laten evalueren. Dit brengt schaalbaarheidsproblemen met zich mee, aangezien er een groot en groeiend aantal modellen is om te evalueren, wat het onpraktisch (en kostbaar) maakt om traditionele studies uit te voeren die gebaseerd zijn op het werven van een aantal beoordelaars en het laten rangschikken van de antwoorden van de modellen. Een alternatieve benadering is het gebruik van openbare arena's, zoals de populaire LM Arena, waar elke gebruiker vrijelijk modellen kan evalueren op elke vraag en de antwoorden van twee modellen kan rangschikken. De resultaten worden vervolgens verwerkt tot een modelrangschikking. Een steeds belangrijker aspect van LLM's is hun energieverbruik, en daarom is het interessant om te evalueren hoe energiebewustzijn de beslissingen van mensen beïnvloedt bij het selecteren van een model. In dit artikel presenteren we GEA, de Generative Energy Arena, een arena die informatie over het energieverbruik van het model integreert in het evaluatieproces. Ook worden voorlopige resultaten verkregen met GEA gepresenteerd, die laten zien dat voor de meeste vragen, wanneer gebruikers zich bewust zijn van het energieverbruik, zij kleinere en energiezuinigere modellen verkiezen. Dit suggereert dat voor de meeste gebruikersinteracties de extra kosten en energie die gepaard gaan met de complexere en best presterende modellen, geen toename bieden in de waargenomen kwaliteit van de antwoorden die het gebruik ervan rechtvaardigt.