KI-Forschungspapiere Täglich

SWE-RL: Verbesserung des logischen Denkens von LLMs durch Reinforcement Learning bei offener Softwareentwicklung

OmniAlign-V: Auf dem Weg zu einer verbesserten Ausrichtung von MLLMs an menschlichen Präferenzen

SpargeAttn: Präzise sparsame Aufmerksamkeit zur Beschleunigung jeglicher Modellinferenz

KV-Edit: Trainingsfreie Bildbearbeitung zur präzisen Hintergrunderhaltung

ART: Anonymer Regionstransformator zur variablen Erzeugung mehrschichtiger transparenter Bilder

Enthüllung der Skalierung der Downstream-Leistung von LLMs: Eine clusterbasierte Perspektive

Curie: Auf dem Weg zu rigoroser und automatisierter wissenschaftlicher Experimentation mit KI-Agenten

Abstract: Low-Rank Adaptation (LoRA) has emerged as a powerful technique for parameter-efficient fine-tuning of large language models. However, combining multiple LoRAs trained on different subjects and styles remains challenging, often requiring retraining or complex fusion methods. We introduce K-LoRA, a novel approach that enables training-free fusion of any subject and style LoRAs. K-LoRA leverages kernel-based interpolation to seamlessly combine the learned representations from multiple LoRAs, preserving their individual characteristics while enabling new, coherent outputs. Our experiments demonstrate that K-LoRA outperforms existing methods in terms of both flexibility and quality, opening up new possibilities for creative applications of LoRA-based models. Keywords: LoRA, parameter-efficient fine-tuning, model fusion, kernel interpolation, creative AIK-LoRA: Trainingfreie Fusion von beliebigen Subjekt- und Stil-LoRAs Zusammenfassung: Low-Rank Adaptation (LoRA) hat sich als leistungsstarke Technik für parameter-effizientes Fine-Tuning von großen Sprachmodellen etabliert. Die Kombination mehrerer LoRAs, die auf verschiedenen Themen und Stilen trainiert wurden, bleibt jedoch eine Herausforderung und erfordert oft ein erneutes Training oder komplexe Fusionsmethoden. Wir stellen K-LoRA vor, einen neuartigen Ansatz, der eine trainingfreie Fusion von beliebigen Subjekt- und Stil-LoRAs ermöglicht. K-LoRA nutzt kernelbasierte Interpolation, um die gelernten Repräsentationen mehrerer LoRAs nahtlos zu kombinieren, wobei deren individuelle Eigenschaften erhalten bleiben und gleichzeitig neue, kohärente Ausgaben ermöglicht werden. Unsere Experimente zeigen, dass K-LoRA bestehende Methoden in Bezug auf Flexibilität und Qualität übertrifft und neue Möglichkeiten für kreative Anwendungen von LoRA-basierten Modellen eröffnet. Schlüsselwörter: LoRA, parameter-effizientes Fine-Tuning, Modellfusion, Kernelinterpolation, kreative KI

Einführung von Visual Perception Token in Multimodale Large Language Models

with Reduced Precision Die Entkopplung von Skalierung und Verteilung: Ermöglichung stabiler und effektiver Trainings von großen Sprachmodellen mit reduzierter Präzision

WebGames: Herausforderungen für allgemeine KI-Agenten zur Webbrowsing-Nutzung

Die Lottery-LLM-Hypothese: Überdenken, welche Fähigkeiten die LLM-Kompression bewahren sollte?

MLLMs wissen, wo sie suchen müssen: Trainingsfreie Wahrnehmung kleiner visueller Details mit multimodalen LLMs

Prompt-zu-Leaderboard

Den optimalen Punkt finden: Konstruktion von Präferenzdaten für die Skalierung der Präferenzoptimierung

LDGen: Verbesserung der Text-zu-Bild-Synthese durch sprachliche Repräsentation mittels großer Sprachmodelle

AAD-LLM: Neuronale Aufmerksamkeitsgesteuerte Auditive Szenenverständigung

Ein Überblick über große Sprachmodelle für Statistiker

LaTIM: Messung latenter Token-zu-Token-Interaktionen in Mamba-Modellen

Shakti-VLMs: Skalierbare Vision-Sprache-Modelle für Enterprise-KI

WiCkeD: Eine einfache Methode, um Multiple-Choice-Benchmarks anspruchsvoller zu gestalten

Skalierung des LLM-Pretrainings mit Vokabular-Curriculum