papers.title

Das Maschinelles Vergessen (MU) ist entscheidend zur Verbesserung von Datenschutz und Sicherheit in Deep-Learning-Modellen, insbesondere in großen multimodalen Sprachmodellen (MLLMs), durch Entfernen spezifischer privater oder gefährlicher Informationen. Während MU in textuellen und visuellen Modalitäten signifikante Fortschritte gemacht hat, bleibt multimodales Vergessen (MMU) weitgehend unerforscht, teilweise aufgrund des Mangels an einem geeigneten Open-Source-Benchmark. Um dies zu lösen, stellen wir CLEAR vor, einen neuen Benchmark, der entwickelt wurde, um MMU-Methoden zu bewerten. CLEAR enthält 200 fiktive Personen und 3.700 Bilder, die mit entsprechenden Frage-Antwort-Paaren verknüpft sind, was eine gründliche Bewertung über Modalitäten hinweg ermöglicht. Wir bewerten 10 MU-Methoden, indem wir sie für MMU anpassen, und heben neue Herausforderungen hervor, die spezifisch für multimodales Vergessen sind. Wir zeigen auch, dass einfache ell_1-Regularisierung auf LoRA-Gewichten das katastrophale Vergessen signifikant mildert und die Modellleistung auf den behaltenen Daten bewahrt. Der Datensatz ist verfügbar unter https://huggingface.co/datasets/therem/CLEAR.

Datenwissenschaftliche Aufgaben, die tabellarische Daten beinhalten, stellen komplexe Herausforderungen dar, die ausgefeilte Problemlösungsansätze erfordern. Wir schlagen AutoKaggle vor, ein leistungsstarkes und benutzerzentriertes Framework, das Datenwissenschaftler dabei unterstützt, tägliche Datenpipelines mithilfe eines kollaborativen Multi-Agenten-Systems abzuschließen. AutoKaggle implementiert einen iterativen Entwicklungsprozess, der Codeausführung, Debugging und umfassende Unit-Tests kombiniert, um Codekorrektheit und logische Konsistenz sicherzustellen. Das Framework bietet hochgradig anpassbare Workflows, die es den Benutzern ermöglichen, in jeder Phase einzugreifen und so automatisierte Intelligenz mit menschlicher Expertise zu integrieren. Unser universelles Datenwissenschaftstoolkit, bestehend aus validierten Funktionen für Datenbereinigung, Merkmalsextraktion und Modellierung, bildet das Fundament dieser Lösung und steigert die Produktivität durch die Vereinfachung gängiger Aufgaben. Wir haben 8 Kaggle-Wettbewerbe ausgewählt, um Datenverarbeitungs-Workflows in Szenarien der realen Welt zu simulieren. Die Evaluierungsergebnisse zeigen, dass AutoKaggle eine Validierungseinreichungsrate von 0,85 und eine umfassende Punktzahl von 0,82 in typischen Datenwissenschaftspipelines erreicht, was seine Wirksamkeit und Praktikabilität bei der Bewältigung komplexer datenwissenschaftlicher Aufgaben vollständig belegt.

Die soziale Beziehungsbegründung zielt darauf ab, Beziehungskategorien wie Freunde, Ehepartner und Kollegen aus Bildern zu identifizieren. Während aktuelle Methoden das Paradigma der Schulung eines dedizierten Netzwerks von Anfang bis Ende unter Verwendung von etikettierten Bilddaten übernehmen, sind sie in Bezug auf Generalisierbarkeit und Interpretierbarkeit begrenzt. Um diese Probleme anzugehen, präsentieren wir zunächst ein einfaches, aber gut durchdachtes Framework namens {\name}, das die Wahrnehmungsfähigkeit von Vision Foundation Models (VFMs) und die Argumentationsfähigkeit von Large Language Models (LLMs) innerhalb eines modularen Frameworks kombiniert und eine starke Grundlinie für die soziale Beziehungserkennung bietet. Speziell weisen wir VFMs an, den Bildinhalt in eine textuelle soziale Geschichte zu übersetzen, und nutzen dann LLMs für textbasierte Argumentation. {\name} führt systematische Designprinzipien ein, um VFMs und LLMs getrennt anzupassen und ihre Unterschiede zu überbrücken. Ohne zusätzliches Modelltraining erzielt es wettbewerbsfähige Nullschuss-Ergebnisse auf zwei Datenbanken und bietet interpretierbare Antworten, da LLMs sprachbasierte Erklärungen für die Entscheidungen generieren können. Der manuelle Entwurfsprozess für LLMs in der Argumentationsphase ist mühsam, und eine automatisierte Optimierungsmethode für den Hinweis ist erwünscht. Da wir im Wesentlichen eine visuelle Klassifizierungsaufgabe in eine generative Aufgabe von LLMs umwandeln, stößt die automatische Hinweisoptimierung auf ein einzigartiges Problem der langen Hinweisoptimierung. Um dieses Problem anzugehen, schlagen wir weiterhin die Greedy Segment Prompt Optimization (GSPO) vor, die eine gierige Suche durchführt, indem sie Gradienteninformationen auf Segmentebene nutzt. Experimentelle Ergebnisse zeigen, dass GSPO die Leistung signifikant verbessert, und unsere Methode generalisiert auch auf verschiedene Bildstile. Der Code ist verfügbar unter https://github.com/Mengzibin/SocialGPT.

Große Sprachmodelle (LLMs) haben eine bemerkenswerte Fähigkeit in der Codegenerierung gezeigt, mit mehr als 90 pass@1 bei der Lösung von Python-Codierungsproblemen in HumanEval und MBPP. Eine solch hohe Genauigkeit wirft die Frage auf: Können LLMs menschliche Programmierer ersetzen? Bestehende manuell erstellte, einfache oder einzeilige Codegenerierungstests können diese Frage aufgrund ihrer Diskrepanz zur Softwareentwicklung in der realen Welt nicht beantworten. Um diese Frage zu beantworten, schlagen wir REPOCOD vor, einen Codegenerierungstest mit 980 Problemen, die aus 11 beliebten Projekten der realen Welt gesammelt wurden, wobei mehr als 58% von ihnen Datei- oder Repository-Ebene Kontextinformationen erfordern. Darüber hinaus hat REPOCOD die längste durchschnittliche kanonische Lösungslänge (331,6 Token) und die höchste durchschnittliche zyklomatische Komplexität (9,00) im Vergleich zu bestehenden Tests. In unseren Bewertungen von zehn LLMs konnte keines der Modelle mehr als 30 pass@1 bei REPOCOD erreichen, was die Notwendigkeit unterstreicht, stärkere LLMs zu entwickeln, die Entwicklern in der Softwareentwicklung in der realen Welt helfen können.

Die rasante Entwicklung großer Sprach- und multimodaler Modelle hat ein erhebliches Interesse an der Verwendung proprietärer Modelle wie GPT-4o geweckt, um autonome Agenten zu entwickeln, die in der Lage sind, reale Szenarien wie die Webnavigation zu bewältigen. Obwohl jüngste Open-Source-Bemühungen versucht haben, Agenten mit der Fähigkeit auszustatten, Umgebungen zu erkunden und sich kontinuierlich zu verbessern, bauen sie ausschließlich textbasierte Agenten in synthetischen Umgebungen auf, in denen die Belohnungssignale klar definiert sind. Solche Agenten haben Schwierigkeiten, auf realistische Umgebungen zu verallgemeinern, die multimodale Wahrnehmungsfähigkeiten erfordern und keine Ground-Truth-Signale besitzen. In diesem Papier stellen wir ein Open-Source-Framework vor, das entwickelt wurde, um die Entwicklung eines multimodalen Web-Agenten zu erleichtern, der autonom reale Explorationen durchführen und sich verbessern kann. Zunächst trainieren wir das Basismodell mit Imitationslernen, um grundlegende Fähigkeiten zu erlangen. Anschließend lassen wir den Agenten das offene Web erkunden und Feedback zu seinen Trajektorien sammeln. Danach verbessert er seine Richtlinie weiter, indem er von gut abschneidenden Trajektorien lernt, die von einem anderen allgemeinen Modell beurteilt werden. Dieser Zyklus von Exploration, Feedback und Optimierung kann über mehrere Iterationen fortgesetzt werden. Experimentelle Ergebnisse zeigen, dass unser Web-Agent sich erfolgreich nach jeder Iteration verbessert, was eine starke Leistung über mehrere Testsets hinweg zeigt.

Mathematisches Argumentieren ist eine entscheidende Fähigkeit für große Sprachmodelle (LLMs), doch die Generierung detaillierter und präziser Argumentationsspuren bleibt eine bedeutende Herausforderung. Dieses Paper stellt einen neuartigen Ansatz vor, um hochwertige Argumentationsspuren für das Feinabstimmen von LLMs mithilfe von Online-Lernflüssen zu erzeugen. Unsere Methode nutzt einen inkrementellen Output-Produktionsfluss, in dem Komponenten-LLMs gemeinsam Lösungen durch iterative Kommunikation konstruieren. Wir trainieren den Fluss mithilfe des Online-Direktpräferenzoptimierungs-Lernens (DPO) mit Rollouts, generieren DPO-Paare für jedes Trainingsbeispiel und aktualisieren Modelle in Echtzeit. Wir vergleichen direkt die Qualität der durch unsere Methode generierten Argumentationsspuren mit denen, die durch direkte Modellinferenz erzeugt wurden, und zeigen die Wirksamkeit unseres Ansatzes bei der Verbesserung der Leistung von LLMs bei mathematischen Argumentationsaufgaben.

Das Reinforcement Learning (RL) birgt großes Potenzial für die autonome Erlangung komplexer robotischer Manipulationsfähigkeiten, jedoch gestaltet sich die Umsetzung dieses Potenzials in realen Umgebungen als herausfordernd. Wir präsentieren ein RL-System mit menschlicher Beteiligung, das auf visionärer Basis beeindruckende Leistungen bei einer Vielzahl von geschickten Manipulationsaufgaben zeigt, darunter dynamische Manipulation, präzise Montage und Koordination mit beiden Armen. Unser Ansatz integriert Demonstrationen und menschliche Korrekturen, effiziente RL-Algorithmen und andere systematische Designentscheidungen, um Richtlinien zu erlernen, die nahezu perfekte Erfolgsraten und schnelle Zykluszeiten nach nur 1 bis 2,5 Stunden Training erreichen. Wir zeigen, dass unsere Methode im Vergleich zu Imitationslern-Baselines und früheren RL-Ansätzen signifikant bessere Leistungen erbringt, mit durchschnittlich einer 2-fachen Verbesserung der Erfolgsrate und einer 1,8-fachen schnelleren Ausführung. Durch umfangreiche Experimente und Analysen geben wir Einblicke in die Wirksamkeit unseres Ansatzes und zeigen, wie er robuste, anpassungsfähige Richtlinien für reaktive und vorausschauende Steuerungsstrategien erlernt. Unsere Ergebnisse legen nahe, dass RL tatsächlich eine Vielzahl komplexer, visionärer Manipulationsrichtlinien innerhalb praktikabler Trainingszeiten direkt in der realen Welt erlernen kann. Wir hoffen, dass diese Arbeit eine neue Generation erlernter robotischer Manipulationstechniken inspirieren wird, die sowohl industrielle Anwendungen als auch Forschungsfortschritte unterstützen. Videos und Code sind auf unserer Projektwebsite verfügbar: https://hil-serl.github.io/.

Ketten-Denkanstöße (CoT) haben sich zu einer weit verbreiteten Strategie für die Arbeit mit großen Sprach- und multimodalen Modellen entwickelt. Obwohl gezeigt wurde, dass CoT die Leistung in vielen Aufgaben verbessert, bleibt die Bestimmung der Einstellungen, in denen es wirksam ist, eine fortlaufende Bemühung. Insbesondere ist es immer noch eine offene Frage, in welchen Einstellungen CoT systematisch die Modellleistung reduziert. In diesem Artikel versuchen wir, die Merkmale von Aufgaben zu identifizieren, in denen CoT die Leistung reduziert, indem wir uns von der kognitiven Psychologie inspirieren lassen und Fälle betrachten, in denen (i) verbales Denken oder Überlegungen die Leistung des Menschen beeinträchtigen und (ii) die Einschränkungen, die die menschliche Leistung regeln, auf Sprachmodelle verallgemeinern. Drei solcher Fälle sind implizites statistisches Lernen, visuelle Erkennung und Klassifizierung mit Mustern, die Ausnahmen enthalten. In umfangreichen Experimenten in allen drei Einstellungen stellen wir fest, dass eine vielfältige Sammlung von Spitzenmodellen signifikante Leistungseinbußen aufweist (z. B. bis zu 36,3% absolute Genauigkeit für OpenAI o1-preview im Vergleich zu GPT-4o), wenn bei der Inferenzzeit das Denken im Vergleich zu Null-Schuss-Gegenstücken verwendet wird. Wir identifizieren auch drei Aufgaben, die Bedingung (i) erfüllen, jedoch nicht (ii), und stellen fest, dass während verbales Denken die menschliche Leistung in diesen Aufgaben reduziert, CoT die Modellleistung beibehält oder erhöht. Insgesamt zeigen unsere Ergebnisse, dass es zwar keine genaue Parallele zwischen den kognitiven Prozessen von Modellen und denen von Menschen gibt, jedoch das Betrachten von Fällen, in denen Denken negative Auswirkungen auf die menschliche Leistung hat, uns helfen kann, Einstellungen zu identifizieren, in denen es sich negativ auf Modelle auswirkt. Durch die Verknüpfung der Literatur über menschliche Überlegungen mit Bewertungen von CoT bieten wir ein neues Werkzeug an, das zur Verständnis der Auswirkungen von Promptauswahlen und Inferenzzeit-Denken verwendet werden kann.

Wir untersuchen die internen Repräsentationen von Vision-and-Language-Modellen (VLMs) und wie sie Aufgaben darstellen. Wir betrachten Aufgaben, die durch Beispiele oder Anweisungen spezifiziert sind und entweder Text- oder Bildinputs verwenden. Überraschenderweise stellen wir fest, dass konzeptuell ähnliche Aufgaben ähnlichen Aufgabenvektorrepräsentationen zugeordnet werden, unabhängig davon, wie sie spezifiziert sind. Unsere Ergebnisse legen nahe, dass zur Ausgabe von Antworten Tokens in VLMs drei verschiedene Phasen durchlaufen: Eingabe, Aufgabe und Antwort, ein Prozess, der unabhhängig von verschiedenen Modalitäten und Spezifikationen konsistent ist. Die von uns identifizierten Aufgabenvektoren in VLMs sind allgemein genug, um in einer Modalität (z.B. Text) abgeleitet und auf eine andere (z.B. Bild) übertragen zu werden. Darüber hinaus stellen wir fest, dass die Kombination von beispiel- und instruktionsbasierten Aufgabenvektoren bessere Aufgabenrepräsentationen liefert. Zusammenfassend beleuchten diese Erkenntnisse die zugrunde liegenden Mechanismen von VLMs, insbesondere ihre Fähigkeit, Aufgaben auf eine gemeinsame Weise über verschiedene Modalitäten und Aufgabenspezifikationen hinweg darzustellen. Projektseite: https://task-vectors-are-cross-modal.github.io.

Mit der weit verbreiteten Bereitstellung von langen Kontexten und großen Sprachmodellen (LLMs) besteht ein wachsender Bedarf an effizienter Unterstützung für Hochdurchsatz-Inferenz. Allerdings führen die zunehmende Speicherbelegung des Schlüssel-Wert (KV)-Caches mit der Sequenzlänge sowie die Notwendigkeit, bei jeder Token-Generierung darauf zuzugreifen, bei der Bedienung von LLMs mit langem Kontext zu einer geringen Durchsatzrate. Obwohl verschiedene dynamische spärliche Aufmerksamkeitsmethoden vorgeschlagen wurden, um die Inferenz zu beschleunigen und gleichzeitig die Generierungsqualität zu erhalten, scheitern sie entweder daran, den GPU-Speicherverbrauch ausreichend zu reduzieren oder führen durch die Auslagerung des KV-Caches auf die CPU zu einer erheblichen Decodierungsverzögerung. Wir stellen ShadowKV vor, ein Hochdurchsatz-Inferenzsystem für lange Kontexte von LLMs, das den Cache für Schlüssel mit niedriger Rangordnung speichert und den Cache für Werte auslagert, um den Speicherbedarf für größere Batch-Größen und längere Sequenzen zu reduzieren. Um die Decodierungsverzögerung zu minimieren, verwendet ShadowKV eine genaue KV-Auswahlstrategie, die minimale spärliche KV-Paare dynamisch rekonstruiert. Durch die Evaluierung von ShadowKV anhand einer breiten Palette von Benchmarks, einschließlich RULER, LongBench und Needle In A Haystack, sowie Modellen wie Llama-3.1-8B, Llama-3-8B-1M, GLM-4-9B-1M, Yi-9B-200K, Phi-3-Mini-128K und Qwen2-7B-128K, zeigen wir, dass es bis zu 6-mal größere Batch-Größen unterstützen und den Durchsatz auf einer A100 GPU um bis zu 3,04-mal steigern kann, ohne die Genauigkeit zu beeinträchtigen, und sogar die mit unendlicher Batch-Größe erreichbare Leistung übertrifft, unter der Annahme von unendlichem GPU-Speicher. Der Code ist verfügbar unter https://github.com/bytedance/ShadowKV.

Die Vortrainierung von visuellen Repräsentationen hat die Effizienz des Roboterlernens verbessert. Aufgrund des Mangels an groß angelegten in-domain Roboterdatensätzen nutzen frühere Arbeiten in freier Wildbahn aufgenommene menschliche Videos zur Vortrainierung der visuellen Roboterrepräsentation. Trotz vielversprechender Ergebnisse unterliegen Repräsentationen aus menschlichen Videos zwangsläufig Verteilungsverschiebungen und es fehlt die für die Aufgabenerfüllung entscheidende dynamische Information. Wir evaluieren zunächst verschiedene vortrainierte Repräsentationen hinsichtlich ihrer Korrelation mit den nachgelagerten robotergesteuerten Manipulationstätigkeiten (d.h. Manipulationszentriertheit). Interessanterweise stellen wir fest, dass die "Manipulationszentriertheit" ein starker Indikator für den Erfolg bei der Anwendung auf nachgelagerte Aufgaben ist. Basierend auf diesen Erkenntnissen schlagen wir die Manipulationszentrierte Repräsentation (MCR) vor, ein Grundlagen-Repräsentationslernframework, das sowohl visuelle Merkmale als auch die dynamische Information wie Aktionen und Eigenwahrnehmungen von Manipulationstätigkeiten erfasst, um die Manipulationszentriertheit zu verbessern. Konkret vortrainieren wir einen visuellen Encoder auf dem DROID-Roboterdatensatz und nutzen bewegungsrelevante Daten wie die Roboter-eigenen propriozeptiven Zustände und Aktionen. Wir führen einen neuartigen kontrastiven Verlust ein, der visuelle Beobachtungen mit der propriozeptiven Zustands-Aktionsdynamik des Roboters in Einklang bringt, kombiniert mit einem Behavior Cloning (BC)-ähnlichen Aktorverlust zur Vorhersage von Aktionen während der Vortrainierung, zusammen mit einem zeitkontrastiven Verlust. Empirische Ergebnisse über 4 Simulationsdomänen mit 20 Aufgaben bestätigen, dass MCR die stärkste Basismethode um 14,8% übertrifft. Darüber hinaus steigert MCR die Leistung des dateneffizienten Lernens mit einem UR5e-Arm bei 3 realen Aufgaben um 76,9%. Projektwebsite: https://robots-pretrain-robots.github.io/.

Der Aufbau effektiver dichter Abrufsysteme bleibt schwierig, wenn keine Relevanzüberwachung verfügbar ist. In jüngster Zeit wurde versucht, diese Herausforderung zu überwinden, indem ein Large Language Model (LLM) verwendet wird, um hypothetische Dokumente zu generieren, die verwendet werden können, um das nächstgelegene echte Dokument zu finden. Dieser Ansatz verlässt sich jedoch ausschließlich darauf, dass das LLM über domänenspezifisches Wissen verfügt, das für die Abfrage relevant ist, was möglicherweise nicht praktikabel ist. Darüber hinaus kann die Generierung hypothetischer Dokumente ineffizient sein, da das LLM eine große Anzahl von Token für jede Abfrage generieren muss. Um diese Herausforderungen anzugehen, führen wir Real Document Embeddings from Relevance Feedback (ReDE-RF) ein. Inspiriert von Rückmeldung zur Relevanz schlägt ReDE-RF vor, die Generierung hypothetischer Dokumente als eine Aufgabe der Relevanzschätzung neu zu formulieren, wobei ein LLM auswählt, welche Dokumente für die Suche nach dem nächsten Nachbarn verwendet werden sollen. Durch diese Neuausrichtung benötigt das LLM kein domänenspezifisches Wissen mehr, sondern muss nur beurteilen, was relevant ist. Darüber hinaus erfordert die Relevanzschätzung nur, dass das LLM ein einziges Token ausgibt, wodurch die Suchlatenz verbessert wird. Unsere Experimente zeigen, dass ReDE-RF konsequent die state-of-the-art Zero-Shot-Dichte-Abrufmethoden über eine breite Palette von Abrufdatensätzen mit geringen Ressourcen übertrifft und gleichzeitig signifikante Verbesserungen bei der Latenz pro Abfrage erzielt.

Offline-Paarpräferenzoptimierungsalgorithmen sind zu einem beliebten Ansatz für die Feinabstimmung von Präferenzdaten geworden und übertreffen traditionelle überwachte Feinabstimmung in verschiedenen Aufgaben. Traditionelle Implementierungen beinhalten jedoch oft redundante Berechnungen, insbesondere für Aufgaben mit langen gemeinsamen Eingabeaufforderungen. Wir stellen das Präfix-Sharing für die Präferenzabstimmung vor, eine neuartige Technik, die ausgewählte und abgelehnte Antworten als eine Sequenz mit einem gemeinsamen Präfix verarbeitet. Um eine Kreuzantwortkontamination zu verhindern, verwenden wir eine benutzerdefinierte block-sparse Aufmerksamkeitsmaske. Unsere Methode erzielt eine Verbesserung der Trainingsdurchsatzrate um das 1,1- bis 1,5-fache auf beliebten DPO-Datensätzen, ohne Auswirkungen auf die Konvergenz. In Kombination mit Sequenzverpackung beobachten wir konsistente Beschleunigungen um das 1,3- bis 1,6-fache, was selbst Datensätzen mit kürzeren Sequenzlängen zugutekommt. Obwohl wir uns auf die Direkte Präferenzoptimierung (DPO) konzentrieren, ist unser Ansatz auch auf andere Methoden zur Paarpräferenzabstimmung anwendbar. Durch die Verbesserung der Recheneffizienz trägt unsere Arbeit dazu bei, die präferenzbasierte Feinabstimmung für eine breitere Palette von Anwendungen und Modellgrößen zugänglicher zu machen. Wir stellen unseren Code unter https://github.com/frankxwang/dpo-prefix-sharing als Open Source zur Verfügung.

Große Sprachmodelle (LLMs) sind anfällig dafür, Trainingsdaten auswendig zu lernen, was Bedenken hinsichtlich der potenziellen Extraktion sensibler Informationen aufwirft. Aktuelle Methoden zur Messung der Memorierungsrate von LLMs, hauptsächlich die entdeckbare Extraktion (Carlini et al., 2022), beruhen auf gieriger Einzelsequenz-Auswahl, wodurch das wahre Ausmaß der Memorierung möglicherweise unterschätzt wird. Dieser Artikel stellt eine probabilistische Entspannung der entdeckbaren Extraktion vor, die die Wahrscheinlichkeit quantifiziert, eine Zielsequenz innerhalb einer Reihe generierter Proben zu extrahieren, unter Berücksichtigung verschiedener Probenahmeschemata und mehrerer Versuche. Dieser Ansatz behebt die Einschränkungen bei der Berichterstattung von Memorierungsrate durch entdeckbare Extraktion, indem er die probabilistische Natur von LLMs und Benutzerinteraktionsmuster berücksichtigt. Unsere Experimente zeigen, dass dieses probabilistische Maß Fälle höherer Memorierungsrate aufdecken kann im Vergleich zu den Raten, die durch entdeckbare Extraktion gefunden wurden. Wir untersuchen weiterhin den Einfluss verschiedener Probenahmeschemata auf die Extrahierbarkeit, was eine umfassendere und realistischere Bewertung der LLM-Memorierung und ihrer damit verbundenen Risiken ermöglicht. Unsere Beiträge umfassen eine neue probabilistische Memorierungsdefinition, empirische Beweise für ihre Wirksamkeit und eine gründliche Bewertung über verschiedene Modelle, Größen, Probenahmeschemata und Wiederholungen von Trainingsdaten.

Wir untersuchen, ob In-Context-Beispiele, die in Decoder-Only-Sprachmodellen (LLMs) weit verbreitet sind, die Leistung des Einbettungsmodells bei Abrufaufgaben verbessern können. Im Gegensatz zu LLMs funktioniert das einfache Voranstellen von In-Context-Beispielen (Abfrage-Dokument-Paare) zur Zielabfrage zur Inferenzzeit nicht sofort. Wir stellen einen einfachen Ansatz vor, um Rekurrenten die Verwendung von In-Context-Beispielen zu ermöglichen. Unser Ansatz, RARe, feinabgestimmt ein vorab trainiertes Modell mit In-Context-Beispielen, deren Abfrage semantisch ähnlich zur Zielabfrage ist. Dies kann auf verschiedene Basismodelle (d. h. Decoder-Only-Sprachmodelle, Rekurrentenmodelle) angewendet werden und erzielt konsistent Leistungssteigerungen von bis zu +2,72% nDCG über verschiedene Open-Domain-Abrufdatensätze (BeIR, RAR-b). Insbesondere stellen wir fest, dass RARe eine stärkere Generalisierung außerhalb des Domänenbereichs aufweist im Vergleich zu Modellen, die Abfragen ohne In-Context-Beispiele verwenden, ähnlich wie bei In-Context-Lernen in LLMs beobachtet wird. Darüber hinaus bieten wir eine Analyse der Designentscheidungen zur In-Context-Beispielvergrößerung und legen den Grundstein für zukünftige Arbeiten in diesem Bereich.