Dagelijkse Papers

Text-to-music-generatiemodellen zijn nu in staat om hoogwaardige muziek in brede stijlen te genereren. Echter is tekstbesturing vooral geschikt voor het manipuleren van globale muzikale attributen zoals genre, stemming en tempo, en minder geschikt voor precieze controle over tijdvariërende attributen zoals de positie van beats in de tijd of de veranderende dynamiek van de muziek. Wij stellen Music ControlNet voor, een op diffusie gebaseerd muziekgeneratiemodel dat meerdere precieze, tijdvariërende controles biedt over gegenereerde audio. Om tekst-naar-muziekmodellen te voorzien van tijdvariërende controle, stellen we een aanpak voor die analoog is aan pixelgewijze controle van de ControlNet-methode in het beelddomein. Specifiek extraheren we controles uit trainingsaudio, wat gepaarde data oplevert, en fine-tunen we een op diffusie gebaseerd conditioneel generatief model over audiospectrogrammen op basis van melodie-, dynamiek- en ritmecontroles. Hoewel de Uni-ControlNet-methode in het beelddomein al generatie met elke subset van controles toestaat, bedenken we een nieuwe strategie om makers in staat te stellen controles in te voeren die slechts gedeeltelijk in de tijd zijn gespecificeerd. We evalueren zowel op controles die uit audio zijn geëxtraheerd als op controles die we verwachten dat makers zullen aanleveren, en tonen aan dat we realistische muziek kunnen genereren die overeenkomt met controle-ingangen in beide situaties. Hoewel er weinig vergelijkbare muziekgeneratiemodellen bestaan, vergelijken we ons met MusicGen, een recent model dat tekst- en melodie-ingangen accepteert, en laten we zien dat ons model muziek genereert die 49% trouwer is aan ingevoerde melodieën, ondanks het feit dat het 35x minder parameters heeft, getraind is op 11x minder data, en twee extra vormen van tijdvariërende controle mogelijk maakt. Geluidsvoorbeelden zijn te vinden op https://MusicControlNet.github.io/web/.

In dit technische rapport richten we ons op het genereren van gepersonifieerde persona's voor LLM-gebaseerde karakters op een online manier, inclusief visueel uiterlijk, persoonlijkheid en stemgeluid, met alleen tekstbeschrijvingen. Om dit te bereiken, maken we eerst gebruik van de in-context leer capaciteit van LLM's voor persoonlijkheidsgeneratie door zorgvuldig een set systeemprompts te ontwerpen. Vervolgens introduceren we twee nieuwe concepten: de mix van stemmen (MoV) en de mix van diffusers (MoD) voor diverse stem- en uiterlijkgeneratie. Voor MoV gebruiken we text-to-speech (TTS) algoritmen met een verscheidenheid aan vooraf gedefinieerde tonen en selecteren we automatisch de meest passende op basis van de door de gebruiker verstrekte tekstbeschrijving. Voor MoD combineren we recent populaire text-to-image generatietechnieken en talking head algoritmen om het proces van het genereren van pratende objecten te stroomlijnen. We hebben het hele framework ChatAnything genoemd. Hiermee kunnen gebruikers alles animeren met elke gepersonifieerde persona met slechts een paar tekstinvoeren. We hebben echter geobserveerd dat de gepersonifieerde objecten die door huidige generatieve modellen worden geproduceerd vaak niet detecteerbaar zijn door vooraf getrainde gezichtslandmarkdetectoren, wat leidt tot het falen van de gezichtsbewegingsgeneratie, zelfs als deze gezichten mensachtige uiterlijkheden hebben omdat deze afbeeldingen bijna niet zijn gezien tijdens de training (bijv. OOD samples). Om dit probleem aan te pakken, integreren we pixel-level begeleiding om menselijke gezichtslandmarken toe te voegen tijdens de beeldgeneratiefase. Om deze metriek te benchmarken, hebben we een evaluatiedataset opgebouwd. Op basis hiervan verifiëren we dat de detectiesnelheid van de gezichtslandmarken significant is toegenomen van 57,0% naar 92,5%, waardoor automatische gezichtsanimatie op basis van gegenereerde spraakinhoud mogelijk wordt. De code en meer resultaten zijn te vinden op https://chatanything.github.io/.

Het genereren van natuurlijke menselijke bewegingen vanuit een verhaal heeft het potentieel om het landschap van de animatie-, gaming- en filmindustrie te transformeren. Een nieuwe en uitdagende taak, Story-to-Motion, ontstaat wanneer personages naar verschillende locaties moeten bewegen en specifieke bewegingen moeten uitvoeren op basis van een lange tekstbeschrijving. Deze taak vereist een combinatie van laag-niveau controle (trajectories) en hoog-niveau controle (bewegingssemantiek). Eerdere werken op het gebied van karaktercontrole en tekst-naar-beweging hebben gerelateerde aspecten aangepakt, maar een uitgebreide oplossing blijft ongrijpbaar: methoden voor karaktercontrole hanteren geen tekstbeschrijving, terwijl tekst-naar-beweging methoden positiebeperkingen missen en vaak instabiele bewegingen produceren. Gezien deze beperkingen stellen we een nieuw systeem voor dat controleerbare, oneindig lange bewegingen en trajectories genereert die zijn afgestemd op de invoertekst. (1) We maken gebruik van hedendaagse Large Language Models om te fungeren als een tekstgestuurde bewegingplanner om een reeks (tekst, positie, duur) paren uit lange tekst te extraheren. (2) We ontwikkelen een tekstgestuurd bewegingretrievalschema dat bewegingmatching combineert met beweging semantiek en trajectbeperkingen. (3) We ontwerpen een progressieve mask transformer die veelvoorkomende artefacten in de overgangsbeweging aanpakt, zoals onnatuurlijke houdingen en voetglijden. Naast zijn baanbrekende rol als de eerste uitgebreide oplossing voor Story-to-Motion, ondergaat ons systeem evaluatie over drie verschillende sub-taken: trajectvolging, temporele actiecompositie en bewegingblending, waar het de vorige state-of-the-art beweging synthesemethoden overtreft. Homepage: https://story2motion.github.io/.

Multi-modale foundation models, zoals vertegenwoordigd door GPT-4V, hebben een nieuw paradigma gebracht voor taken op het gebied van visuele waarneming en begrip op laag niveau, die kunnen reageren op een breed scala aan natuurlijke menselijke instructies in een model. Hoewel bestaande foundation models opwindende potenties hebben getoond voor visuele taken op laag niveau, zijn hun gerelateerde vaardigheden nog steeds voorlopig en moeten ze worden verbeterd. Om deze modellen te versterken, voeren we een grootschalig subjectief experiment uit waarbij we een groot aantal echte menselijke feedback verzamelen over visuele waarneming op laag niveau. Elke feedback volgt een pad dat begint met een gedetailleerde beschrijving van het visuele uiterlijk op laag niveau (*bijv. helderheid, kleur, helderheid* van een afbeelding) en eindigt met een algemene conclusie, met een gemiddelde lengte van 45 woorden. De geconstrueerde **Q-Pathway** dataset bevat 58K gedetailleerde menselijke feedbacken over 18.973 afbeeldingen met diverse visuele uiterlijken op laag niveau. Bovendien, om foundation models in staat te stellen robuust te reageren op diverse soorten vragen, ontwerpen we een GPT-geparticipeerde conversie om deze feedbacken te verwerken in diverse formaten van 200K instructie-responsparen. Experimentele resultaten geven aan dat **Q-Instruct** consistent de vaardigheden voor waarneming en begrip op laag niveau verhoogt bij verschillende foundation models. We verwachten dat onze datasets de weg kunnen effenen naar een toekomst waarin algemene intelligentie visueel uiterlijk op laag niveau kan waarnemen, begrijpen en visuele kwaliteit kan evalueren zoals een mens. Onze dataset, model zoo en demo zijn gepubliceerd op: https://q-future.github.io/Q-Instruct.

In inzetscenario's zoals woningen en magazijnen wordt van mobiele robots verwacht dat ze gedurende langere perioden autonoom kunnen navigeren en taken naadloos uitvoeren die zijn geformuleerd in termen die intuïtief begrijpelijk zijn voor menselijke operators. Wij presenteren GO To Any Thing (GOAT), een universeel navigatiesysteem dat aan deze vereisten kan voldoen met drie belangrijke kenmerken: a) Multimodaal: het kan doelen aanpakken die zijn gespecificeerd via categorielabels, doelafbeeldingen en taalbeschrijvingen, b) Levenslang: het profiteert van eerdere ervaringen in dezelfde omgeving, en c) Platformonafhankelijk: het kan snel worden ingezet op robots met verschillende verschijningsvormen. GOAT wordt mogelijk gemaakt door een modulair systeemontwerp en een continu uitgebreid instantiebewust semantisch geheugen dat niet alleen de verschijning van objecten vanuit verschillende gezichtspunten bijhoudt, maar ook semantiek op categorieniveau. Hierdoor kan GOAT onderscheid maken tussen verschillende instanties van dezelfde categorie om navigatie naar doelen die zijn gespecificeerd door afbeeldingen en taalbeschrijvingen mogelijk te maken. In experimentele vergelijkingen die meer dan 90 uur beslaan in 9 verschillende woningen, bestaande uit 675 doelen geselecteerd uit meer dan 200 verschillende objectinstanties, blijkt dat GOAT een algeheel slagingspercentage van 83% behaalt, wat 32% (absolute verbetering) hoger is dan eerdere methoden en ablatie-experimenten. GOAT verbetert met ervaring in de omgeving, van een slagingspercentage van 60% bij het eerste doel tot 90% na exploratie. Daarnaast tonen we aan dat GOAT gemakkelijk kan worden toegepast op downstreamtaken zoals pick and place en sociale navigatie.

Bestaande methoden voor visuele instructieafstemming maken doorgaans gebruik van tekstuele beschrijvingen om grote taalmodellen aan te sturen voor het genereren van instructievolgende data. Ondanks de veelbelovende prestaties die hiermee worden bereikt, zijn deze beschrijvingen afgeleid van beeldannotaties, die vaak grofkorrelig zijn. Bovendien kunnen de instructies zelfs in tegenspraak zijn met de visuele inhoud zonder het volledige visuele context te observeren. Om deze uitdaging aan te pakken, introduceren we een fijnmazige visuele instructiedataset, LVIS-Instruct4V, die 220K visueel uitgelijnde en contextbewuste instructies bevat, gegenereerd door het krachtige GPT-4V aan te sturen met afbeeldingen uit LVIS. Door experimentele validatie en casestudies tonen we aan dat hoogwaardige visuele instructiedata de prestaties van LLaVA-1.5, een state-of-the-art groot multimodaal model, op een breed scala aan benchmarks aanzienlijk kunnen verbeteren. Opmerkelijk is dat door simpelweg LLaVA-Instruct te vervangen door onze LVIS-Instruct4V, we betere resultaten behalen dan LLaVA op de meest uitdagende LMM-benchmarks, zoals LLaVA^w (76,7 vs. 70,7) en MM-Vet (40,2 vs. 35,4). We maken onze data en model beschikbaar op https://github.com/X2FD/LVIS-INSTRUCT4V.

We presenteren MM-Navigator, een GPT-4V-gebaseerde agent voor de navigatietaak van grafische gebruikersinterfaces (GUI's) op smartphones. MM-Navigator kan interacteren met een smartphonescherm zoals menselijke gebruikers en vervolgacties bepalen om gegeven instructies uit te voeren. Onze bevindingen tonen aan dat grote multimodale modellen (LMM's), specifiek GPT-4V, uitblinken in zero-shot GUI-navigatie dankzij hun geavanceerde scherminterpretatie, actieredenering en precieze actielokalisatie. We benchmarken eerst MM-Navigator op onze verzamelde iOS-schermdataset. Volgens menselijke beoordelingen vertoonde het systeem een nauwkeurigheid van 91\% in het genereren van redelijke actiebeschrijvingen en een nauwkeurigheid van 75\% in het uitvoeren van de juiste acties voor enkelstapsinstructies op iOS. Daarnaast evalueren we het model op een subset van een Android-schermnavigatiedataset, waar het model eerdere GUI-navigators overtreft in een zero-shot benadering. Onze benchmark en gedetailleerde analyses beogen een stevige basis te leggen voor toekomstig onderzoek naar de GUI-navigatietaak. De projectpagina is te vinden op https://github.com/zzxslp/MM-Navigator.

We presenteren SPHINX, een veelzijdig multi-modale grote taalmodel (MLLM) met een gezamenlijke mix van modelgewichten, afstemmingstaken en visuele embeddings. Ten eerste, voor een sterkere visie-taalafstemming, ontgrendelen we het grote taalmodel (LLM) tijdens de pre-training en introduceren we een gewichtsmixstrategie tussen LLM's die getraind zijn met real-world en synthetische data. Door de gewichten uit de twee domeinen direct te integreren, kan het gemengde LLM efficiënt diverse semantiek incorporeren met gunstige robuustheid. Vervolgens, om multi-purpose mogelijkheden te bieden, mixen we een verscheidenheid aan taken voor gezamenlijke visuele instructieafstemming en ontwerpen we taakspecifieke instructies om inter-task conflicten te voorkomen. Naast de basis visuele vraagbeantwoording, nemen we meer uitdagende taken op zoals regio-niveau begrip, caption grounding, documentlay-outdetectie en menselijke pose-schatting, wat bijdraagt aan wederzijdse verbetering in verschillende scenario's. Daarnaast stellen we voor om uitgebreide visuele embeddings te extraheren uit verschillende netwerkarchitecturen, pre-training paradigma's en informatiegranulariteit, wat taalmodellen voorziet van robuustere beeldrepresentaties. Op basis van onze voorgestelde gezamenlijke mix, vertoont SPHINX superieure multi-modale begripscapaciteiten in een breed scala aan toepassingen. Bovendien stellen we een efficiënte strategie voor die gericht is op het beter vastleggen van fijnmazige verschijningen van hoge-resolutie afbeeldingen. Met een mix van verschillende schalen en hoge-resolutie sub-afbeeldingen, bereikt SPHINX uitzonderlijke visuele parsing en redeneerprestaties op bestaande evaluatiebenchmarks. We hopen dat ons werk een licht kan werpen op de verkenning van gezamenlijke mixen in toekomstig MLLM-onderzoek. Code is vrijgegeven op https://github.com/Alpha-VLLM/LLaMA2-Accessory.

Recentelijk is er een snelle vooruitgang geboekt in het onderzoek naar Large Language Models (LLM's), wat heeft geleid tot aanzienlijke vooruitgang in verschillende Natural Language Processing (NLP)-taken. Hierdoor is er een toename in onderzoek naar de evaluatie van LLM's om de mogelijkheden en beperkingen van deze modellen te begrijpen. Echter, veel van dit onderzoek is beperkt gebleven tot de Engelse taal, waardoor de ontwikkeling en evaluatie van LLM's voor niet-Engelse talen relatief onontgonnen is. Er zijn verschillende nieuwe LLM's geïntroduceerd, wat de noodzaak voor hun evaluatie op niet-Engelse talen vergroot. Deze studie heeft als doel ons MEGA-benchmarkingsuite uit te breiden door zes nieuwe datasets op te nemen om de MEGAVERSE-benchmark te vormen. De benchmark omvat 22 datasets die 81 talen bestrijken, waaronder laag-resource Afrikaanse talen. We evalueren verschillende state-of-the-art LLM's zoals GPT-3.5-Turbo, GPT4, PaLM2 en Llama2 op de MEGAVERSE-datasets. Daarnaast nemen we twee multimodale datasets op in de benchmark en beoordelen we de prestaties van het LLaVa-v1.5-model. Onze experimenten suggereren dat GPT4 en PaLM2 de Llama-modellen overtreffen op verschillende taken, met name op laag-resource talen, waarbij GPT4 op meer datasets beter presteert dan PaLM2 dan omgekeerd. Echter, kwesties zoals datacontaminatie moeten worden aangepakt om een nauwkeurige beoordeling van de prestaties van LLM's op niet-Engelse talen te verkrijgen.

De afgelopen jaren hebben baanbrekende vooruitgangen in natuurlijke taalverwerking geleid tot de opkomst van krachtige grote taalmodellen (LLM's), die opmerkelijke capaciteiten hebben getoond op een breed scala van domeinen, waaronder het begrijpen, genereren en vertalen van natuurlijke taal, en zelfs taken die verder gaan dan taalverwerking. In dit rapport verdiepen we ons in de prestaties van LLM's binnen de context van wetenschappelijke ontdekking, met een focus op GPT-4, het meest geavanceerde taalmodel. Ons onderzoek beslaat een diverse reeks wetenschappelijke gebieden, waaronder geneesmiddelenontdekking, biologie, computationele chemie (dichtheidsfunctionaaltheorie (DFT) en moleculaire dynamica (MD)), materiaalontwerp en partiële differentiaalvergelijkingen (PDE). Het evalueren van GPT-4 op wetenschappelijke taken is cruciaal om het potentieel ervan in verschillende onderzoeksdomeinen te onthullen, de domeinspecifieke expertise te valideren, wetenschappelijke vooruitgang te versnellen, resourceallocatie te optimaliseren, toekomstige modelontwikkeling te sturen en interdisciplinair onderzoek te bevorderen. Onze onderzoeksmethodologie bestaat voornamelijk uit expertgestuurde casestudies, die kwalitatieve inzichten bieden in het begrip van het model van complexe wetenschappelijke concepten en relaties, en af en toe benchmarktests, die het vermogen van het model om goed gedefinieerde domeinspecifieke problemen op te lossen kwantitatief evalueren. Onze voorlopige verkenning geeft aan dat GPT-4 veelbelovend potentieel vertoont voor een verscheidenheid aan wetenschappelijke toepassingen, waarbij het zijn vaardigheid toont in het omgaan met complexe probleemoplossing en kennisintegratietaken. In het algemeen evalueren we de kennisbasis van GPT-4, het wetenschappelijk begrip, de wetenschappelijke numerieke rekenvaardigheden en diverse wetenschappelijke voorspellingscapaciteiten.

Grote taalmmodellen (LLM's) worden getraind op web-schaal corpora die onvermijdelijk tegenstrijdige feitelijke informatie bevatten uit bronnen van uiteenlopende betrouwbaarheid. In dit artikel stellen we voor om een eigenschap van LLM's te meten die we 'trusted source alignment' (TSA) noemen: de neiging van het model om zich aan te sluiten bij inhoud die is geproduceerd door vertrouwde uitgevers in het geval van onzekerheid of controverse. We presenteren FactCheckQA, een TSA-evaluatiedataset gebaseerd op een corpus van factcheck-artikelen. We beschrijven een eenvoudig protocol voor het evalueren van TSA en bieden een gedetailleerde analyse van ontwerpoverwegingen, waaronder respons-extractie, claim-contextualisering en bias in promptformulering. Door het protocol toe te passen op PaLM-2, constateren we dat naarmate we de modelgrootte opschalen, de modelprestaties op FactCheckQA verbeteren van bijna willekeurig tot wel 80% gebalanceerde nauwkeurigheid in het afstemmen op vertrouwde bronnen.

Conditionele grafische lay-outgeneratie, die automatisch gebruikersbeperkingen vertaalt naar hoogwaardige lay-outs, heeft tegenwoordig brede aandacht getrokken. Hoewel recente werken veelbelovende prestaties hebben bereikt, belemmeren het gebrek aan veelzijdigheid en data-efficiëntie hun praktische toepassingen. In dit werk stellen we LayoutPrompter voor, dat grote taalmodellen (LLM's) benut om de bovengenoemde problemen aan te pakken via in-context leren. LayoutPrompter bestaat uit drie belangrijke componenten, namelijk input-output-serialisatie, dynamische voorbeeldselectie en lay-outrangschikking. Specifiek ontwerpt de input-output-serialisatiecomponent zorgvuldig de input- en outputformaten voor elke lay-outgeneratietaak. Dynamische voorbeeldselectie is verantwoordelijk voor het selecteren van de meest nuttige promptvoorbeelden voor een gegeven input. En een lay-outrangschikker wordt gebruikt om de hoogste kwaliteit lay-out te selecteren uit meerdere outputs van LLM's. We voeren experimenten uit op alle bestaande lay-outgeneratietaken met behulp van vier openbare datasets. Ondanks de eenvoud van onze aanpak tonen experimentele resultaten aan dat LayoutPrompter kan concurreren met of zelfs de state-of-the-art benaderingen kan overtreffen op deze taken zonder enige modeltraining of fine-tuning. Dit toont de effectiviteit aan van deze veelzijdige en trainingsvrije aanpak. Daarnaast tonen de ablatiestudies aan dat LayoutPrompter aanzienlijk superieur is aan de trainingsgebaseerde baseline in een situatie met weinig data, wat verder wijst op de data-efficiëntie van LayoutPrompter. Ons project is beschikbaar op https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter.

Grote taalmmodellen (LLM's) zoals T0, FLAN en OPT-IML blinken uit in multitasking binnen een uniform instructievolgend paradigma, waarbij ze ook opmerkelijke generalisatievermogens vertonen voor onbekende taken. Ondanks hun indrukwekkende prestaties vereisen deze LLM's, met groottes variërend van enkele miljarden tot honderden miljarden parameters, aanzienlijke rekenkracht, wat hun training en inferentie duur en inefficiënt maakt. Bovendien is het aanpassen van deze modellen voor downstream-toepassingen, met name complexe taken, vaak onhaalbaar vanwege de uitgebreide hardwarevereisten voor finetuning, zelfs bij gebruik van parameter-efficiënte benaderingen zoals prompt tuning. Daarnaast zijn de krachtigste multitask-LLM's, zoals OPT-IML-175B en FLAN-PaLM-540B, niet publiekelijk toegankelijk, wat hun aanpassingspotentieel ernstig beperkt. Om deze uitdagingen aan te pakken, introduceren we een voorgetrainde kleine scorer, Cappy, ontworpen om de prestaties en efficiëntie van multitask-LLM's te verbeteren. Met slechts 360 miljoen parameters kan Cappy onafhankelijk functioneren bij classificatietaken of dienen als een hulpcomponent voor LLM's, waardoor hun prestaties worden verbeterd. Bovendien maakt Cappy het mogelijk om downstream-supervisie efficiënt te integreren zonder finetuning van de LLM of toegang tot hun parameters te vereisen. Onze experimenten tonen aan dat Cappy, wanneer het onafhankelijk werkt op 11 taalbegriptaken van PromptSource, LLM's overtreft die meerdere ordes van grootte groter zijn. Daarnaast verbetert Cappy op 45 complexe taken van BIG-Bench de prestaties van de geavanceerde multitask-LLM, FLAN-T5, aanzienlijk. Verder is Cappy flexibel in samenwerking met andere LLM-aanpassingen, waaronder finetuning en in-context learning, wat extra prestatieverbetering biedt.

In dit werk breiden we het instructie-afgestemde Llama-2 model uit met end-to-end algemene spraakverwerkings- en redeneervaardigheden, terwijl het brede scala aan LLM-mogelijkheden behouden blijft, zonder gebruik te maken van zorgvuldig samengestelde gepaarde data. Het voorgestelde model kan audioboodschappen gebruiken als vervanging voor tekst en een gesprek volhouden. Zo'n model beschikt ook over uitgebreide cross-modale mogelijkheden, zoals het kunnen uitvoeren van spraakvraagbeantwoording, spraakvertaling en audiosamenvatting, naast vele andere gesloten en open-domeintaken. Dit is anders dan eerdere benaderingen in spraak, waarbij LLM's worden uitgebreid om audio te verwerken voor een beperkt aantal vooraf bepaalde taken. Experimenten tonen aan dat onze end-to-end benadering gelijkwaardig is aan of beter presteert dan een gecascadeerd systeem (spraakherkenner + LLM) wat betreft het modelleren van de reactie op een prompt. Bovendien toont onze benadering, in tegenstelling tot een cascade, het vermogen om tekst- en audiomodaliteiten uit te wisselen en de eerdere context in een gesprek te benutten om betere resultaten te leveren.

We introduceren en bestuderen het probleem van adversarische rekenkunde, dat een eenvoudig maar uitdagend testbed biedt voor de afstemming van taalmodel. Dit probleem bestaat uit rekenkundige vragen gesteld in natuurlijke taal, met een willekeurige adversarische string ingevoegd voordat de vraag compleet is. Zelfs in de eenvoudige setting van 1-cijferige optelproblemen is het gemakkelijk om adversarische prompts te vinden die alle geteste modellen (inclusief PaLM2, GPT4, Claude2) doen mislukken, en zelfs om modellen naar een specifiek fout antwoord te sturen. We bieden daarnaast een eenvoudig algoritme voor het vinden van succesvolle aanvallen door dezezelfde modellen te bevragen, dat we "prompt inversion rejection sampling" (PIRS) noemen. We tonen ten slotte aan dat modellen gedeeltelijk kunnen worden verhard tegen deze aanvallen via reinforcement learning en via agentische constitutionele lussen. We waren echter niet in staat om een taalmodel volledig robuust te maken tegen adversarische rekenkundige aanvallen.