Fiducia Orchestratore-Agente: Un Sistema Modulare di Classificazione Visiva con Intelligenza Artificiale Agente, Orchestrazione Consapevole della Fiducia e Ragionamento Basato su RAG

Abstract

L'Intelligenza Artificiale (IA) moderna si basa sempre più su architetture multi-agente che integrano la comprensione visiva e linguistica. Tuttavia, rimane una sfida pressante: come possiamo fidarci di questi agenti, specialmente in contesti zero-shot senza fine-tuning? Introduciamo un nuovo framework modulare di classificazione visiva Agentic AI che integra agenti multimodali generalisti con un orchestratore di ragionamento non visivo e un modulo di Retrieval-Augmented Generation (RAG). Applicato alla diagnosi delle malattie delle foglie di melo, confrontiamo tre configurazioni: (I) zero-shot con orchestrazione basata sulla confidenza, (II) agenti fine-tuned con prestazioni migliorate e (III) orchestrazione calibrata sulla fiducia potenziata da recupero di immagini basato su CLIP e cicli di rivalutazione. Utilizzando metriche di calibrazione della confidenza (ECE, OCR, CCC), l'orchestratore modula la fiducia tra gli agenti. I nostri risultati dimostrano un miglioramento dell'accuratezza del 77,94% nello scenario zero-shot utilizzando l'orchestrazione consapevole della fiducia e RAG, raggiungendo un'accuratezza complessiva dell'85,63%. GPT-4o ha mostrato una migliore calibrazione, mentre Qwen-2.5-VL ha evidenziato un'eccessiva confidenza. Inoltre, le previsioni basate su image-RAG sono state ancorate a casi visivamente simili, consentendo la correzione dell'eccessiva confidenza degli agenti attraverso una rivalutazione iterativa. Il sistema proposto separa la percezione (agenti visivi) dal meta-ragionamento (orchestratore), consentendo un'IA multi-agente scalabile e interpretabile. Questo modello è estensibile a diagnostica, biologia e altri domini critici per la fiducia. Tutti i modelli, prompt, risultati e componenti del sistema, incluso il codice sorgente completo del software, sono rilasciati apertamente per supportare la riproducibilità, la trasparenza e il benchmarking della comunità su Github: https://github.com/Applied-AI-Research-Lab/Orchestrator-Agent-Trust

English

Modern Artificial Intelligence (AI) increasingly relies on multi-agent architectures that blend visual and language understanding. Yet, a pressing challenge remains: How can we trust these agents especially in zero-shot settings with no fine-tuning? We introduce a novel modular Agentic AI visual classification framework that integrates generalist multimodal agents with a non-visual reasoning orchestrator and a Retrieval-Augmented Generation (RAG) module. Applied to apple leaf disease diagnosis, we benchmark three configurations: (I) zero-shot with confidence-based orchestration, (II) fine-tuned agents with improved performance, and (III) trust-calibrated orchestration enhanced by CLIP-based image retrieval and re-evaluation loops. Using confidence calibration metrics (ECE, OCR, CCC), the orchestrator modulates trust across agents. Our results demonstrate a 77.94\% accuracy improvement in the zero-shot setting using trust-aware orchestration and RAG, achieving 85.63\% overall. GPT-4o showed better calibration, while Qwen-2.5-VL displayed overconfidence. Furthermore, image-RAG grounded predictions with visually similar cases, enabling correction of agent overconfidence via iterative re-evaluation. The proposed system separates perception (vision agents) from meta-reasoning (orchestrator), enabling scalable and interpretable multi-agent AI. This blueprint is extensible to diagnostics, biology, and other trust-critical domains. All models, prompts, results, and system components including the complete software source code are openly released to support reproducibility, transparency, and community benchmarking at Github: https://github.com/Applied-AI-Research-Lab/Orchestrator-Agent-Trust

Fiducia Orchestratore-Agente: Un Sistema Modulare di Classificazione Visiva con Intelligenza Artificiale Agente, Orchestrazione Consapevole della Fiducia e Ragionamento Basato su RAG

Orchestrator-Agent Trust: A Modular Agentic AI Visual Classification System with Trust-Aware Orchestration and RAG-Based Reasoning

Abstract

Support