Sturing van verborgen toestanden: Trainingsvrije modelsturing voor ketting-van-gedachten-redenering in grote audio-taalmodellen

Samenvatting

Chain-of-thought (CoT) prompting is uitgebreid naar grote audio-taalmodellen (LALMs) om redeneren op te roepen, maar het verbeteren van de effectiviteit ervan zonder training blijft een uitdaging. Wij bestuderen modelsturing tijdens inferentie als een trainingsvrije aanpak om LALM-redenering te verbeteren. We introduceren drie strategieën die gebruikmaken van diverse informatiebronnen en evalueren deze op vier LALMs en vier benchmarks. Resultaten tonen algemene nauwkeurigheidswinsten tot 4,4% ten opzichte van CoT-prompting. Opmerkelijk is dat we een cross-modale transfer identificeren waarbij stuurvectoren afgeleid van enkele tekstvoorbeelden spraakgebaseerd redeneren effectief sturen, wat een hoge data-efficiëntie aantoont. We onderzoeken ook hyperparametergevoeligheid om de robuustheid van deze benaderingen te begrijpen. Onze bevindingen positioneren modelsturing als een praktische richting voor het versterken van LALM-redenering.

English

Chain-of-thought (CoT) prompting has been extended to large audio-language models (LALMs) to elicit reasoning, yet enhancing its effectiveness without training remains challenging. We study inference-time model steering as a training-free approach to improve LALM reasoning. We introduce three strategies using diverse information sources and evaluate them across four LALMs and four benchmarks. Results show general accuracy gains up to 4.4% over CoT prompting. Notably, we identify a cross-modal transfer where steering vectors derived from few text samples effectively guide speech-based reasoning, demonstrating high data efficiency. We also examine hyperparameter sensitivity to understand the robustness of these approaches. Our findings position model steering as a practical direction for strengthening LALM reasoning.