Esiste oggi un modello popolare nel settore IA: dare a un modello linguistico accesso agli strumenti e lasciargli decidere cosa chiamare. Funziona magnificamente nelle demo. Crolla in produzione.
In Atlas Verified, il nostro agente IA ha accesso a oltre 100 strumenti specializzati: banche dati governative della conformità, API di tracciamento delle navi, servizi di controllo delle sanzioni, fornitori di dati commerciali, sistemi di tracciamento dei container e altro. Ogni strumento esiste perché un professionista della conformità ha bisogno di quel dato specifico per decidere. La sfida ingegneristica non è costruire gli strumenti. È assicurarsi che vengano chiamati quelli giusti, nell'ordine giusto, con gli input giusti, ogni volta.
Questo articolo analizza i problemi reali del coordinamento degli strumenti su larga scala e i modelli ingegneristici che abbiamo sviluppato per risolverli.
Il problema della proliferazione degli strumenti
Quando l'agente ha 5 strumenti, la selezione è banale. Il modello legge le descrizioni di ciascuno, sceglie quello giusto e lo chiama. Ma qualcosa si rompe quando si superano 20, 50, 100 strumenti.
Innanzitutto c'è il problema della finestra di contesto. Ogni strumento richiede una descrizione, uno schema dei parametri e indicazioni d'uso nel prompt di sistema. Con 100+ strumenti, sono decine di migliaia di token consumati prima che la domanda dell'utente entri nel contesto. Il modello dedica più tempo a leggere la documentazione degli strumenti che a ragionare sul problema.
In secondo luogo c'è il problema dell'accuratezza della selezione. I modelli linguistici scelgono bene tra poche opzioni chiaramente differenti. Scelgono male tra decine di strumenti dai nomi simili. Con più strumenti dai nomi sovrapposti per controlli delle sanzioni e verifiche, il modello spesso sceglie quello sbagliato o chiama più strumenti che restituiscono dati sovrapposti.
In terzo luogo c'è il problema dei costi e della latenza. Ogni descrizione di uno strumento nel prompt costa token. Ogni chiamata non necessaria comporta chiamate API a servizi esterni, molti dei quali fatturano per richiesta. Un agente che chiama 8 strumenti quando ne basterebbero 3 è costoso e lento.
Perché l'instradamento statico non funziona
La soluzione ingenua è l'instradamento statico: riconoscere modelli nella domanda dell'utente e indirizzarli a gruppi prestabiliti di strumenti. «Controlla questa azienda» attiva i controlli delle sanzioni. «Traccia questo container» attiva il tracciamento delle navi. «Verifica questo certificato» attiva la ricerca USDA.
Nella pratica fallisce subito. Considera la domanda: «Puoi verificare questo certificato biologico dall'India?» Un sistema statico potrebbe attivare la ricerca nella banca dati biologica USDA, ragionevolmente. Ma un professionista della conformità vuole anche sapere: l'agente certificatore è sanzionato? Esistono avvisi FDA attivi sulle importazioni di quel prodotto da quel paese? L'esportatore figura in elenchi dei soggetti soggetti a restrizioni? Ci sono anomalie commerciali nella rotta dichiarata?
Una sola domanda può legittimamente richiedere cinque o più strumenti di ambiti completamente diversi. L'instradamento statico omette controlli critici oppure attiva eccessivamente tutto, riportandoci ai problemi di costi e accuratezza.
Il contesto conta enormemente. «Parlami di questa azienda» significa cose completamente diverse se l'utente esamina una polizza di carico, un certificato biologico o svolge una ricerca generale. Le stesse quattro parole richiedono strumenti diversi in ciascun contesto.
Architettura a due livelli: selezione ed esecuzione
La nostra soluzione separa selezione ed esecuzione degli strumenti utilizzando due livelli distinti di modelli.
Il livello di selezione utilizza un modello rapido ed economico. Il suo unico compito è esaminare la domanda dell'utente, il contesto della conversazione e un elenco compatto degli strumenti disponibili, poi scegliere quali debbano essere disponibili per questa specifica interazione. Non chiama gli strumenti: decide soltanto a quali debba accedere il modello di esecuzione.
Il modello di selezione vede una rappresentazione semplificata di ogni strumento: descrizione su una riga, dati restituiti e limiti. È molto più compatta degli schemi completi dei parametri, quindi può valutare tutti i 100+ strumenti senza raggiungere i limiti del contesto. In genere seleziona 8-12 strumenti pertinenti alla domanda attuale.
Il livello di esecuzione utilizza un modello di ragionamento più capace. Riceve soltanto gli strumenti scelti dal livello di selezione, con schemi completi dei parametri e indicazioni d'uso. Lavorando con un insieme mirato anziché con l'intero catalogo, decide meglio quali chiamare, in quale ordine e con quali parametri.
Questa separazione porta vantaggi misurabili. La selezione richiede una frazione di secondo e costa pochissimo. Il modello di esecuzione vede un contesto ordinato e mirato e commette meno errori. Le chiamate complessive agli strumenti per interazione sono diminuite significativamente dopo l'introduzione di questa architettura.
Filtraggio basato sulle capacità
Oltre alla selezione a due livelli, ogni strumento del nostro sistema dichiara le proprie capacità, ossia i tipi di attività che può svolgere. Uno strumento può dichiararsi utile per controlli di conformità, informazioni commerciali, analisi documentale o tracciamento delle spedizioni.
Quando il sistema determina l'intento dell'utente, filtra il catalogo per includere soltanto strumenti con capacità corrispondenti. Il modello di selezione non vede neppure quelli irrilevanti per il tipo di attività attuale.
Questo è importante per una ragione sottile: i modelli linguistici sono suggestionabili. Se uno strumento di controllo delle sanzioni è nel contesto, il modello potrebbe decidere di usarlo anche per una semplice domanda sulle rotte. Rimuovendo gli strumenti irrilevanti prima della selezione, eliminiamo un'intera categoria di chiamate non necessarie.
Cicli di riscontro sulla qualità
La selezione degli strumenti è soltanto metà del lavoro. L'altra metà è assicurare che restituiscano risultati utili e sapere cosa fare quando non accade.
Dopo ogni esecuzione, il sistema valuta la qualità del risultato. I problemi comuni includono:
Risultati vuoti. Lo strumento è stato eseguito correttamente ma non ha restituito dati. Questo può significare che il soggetto non esiste nella banca dati (un risultato valido e informativo) oppure che l'interrogazione era formulata male (un problema da correggere e riprovare).
Corrispondenze a bassa confidenza. Una ricerca approssimativa del nome restituisce risultati, ma il punteggio di corrispondenza è sotto la soglia. Il sistema deve decidere se presentarli come corrispondenze potenziali oppure scartarli e provare una strategia diversa.
Campione insufficiente. Un'interrogazione di dati commerciali restituisce risultati da una sola fonte, quando più fonti dovrebbero essere confrontate per affidabilità. Il sistema riconosce questa lacuna e può richiedere ulteriori chiamate per colmarla.
Quando i controlli di qualità falliscono, il sistema inserisce indicazioni nel ciclo di ragionamento dell'agente. È un nuovo tentativo guidato che spiega il problema e suggerisce come riformulare l'interrogazione, oltre a una semplice ripetizione.
Consegna progressiva dei risultati
La verifica della conformità commerciale è intrinsecamente articolata in più passaggi. Un utente carica una polizza di carico e chiede all'agente di verificarla. L'agente deve controllare lo speditore negli elenchi delle sanzioni, verificare la certificazione biologica, ricercare la posizione attuale della nave, controllare avvisi FDA per la materia prima e convalidare la classificazione tariffaria. Questi controlli richiedono tempi diversi.
Anziché far attendere tutti i controlli prima di mostrare qualcosa, forniamo progressivamente i risultati. Quando ogni strumento risponde, i risultati vengono subito formattati e consegnati all'interfaccia dell'utente. Compaiono i risultati delle sanzioni, poi i dati della nave e lo stato biologico, ciascuno come scheda strutturata appena pronto.
La sintesi finale, che produce un riepilogo narrativo collegando tutti i risultati, viene eseguita soltanto dopo il completamento di tutti gli strumenti.
Verifica automatica: chiudere il ciclo
Quando i documenti vengono elaborati nel processo OCR, il sistema di estrazione individua dati principali: ID NOP, nomi aziendali, identificatori delle navi, numeri dei container, codici portuali e codici HS. Ciascun dato corrisponde a strumenti specifici di verifica.
Anziché attendere che l'utente chieda «verifica questo documento», il sistema preelabora indicazioni di verifica. Quando l'utente apre una conversazione su un documento, l'agente sa già quali strumenti chiamare e con quali parametri. Questo riduce enormemente i tempi: l'agente non deve leggere il documento, identificare i soggetti e poi capire cosa controllare. Ha già un piano di verifica pronto da eseguire.
I principi
La costruzione di questo sistema ha chiarito diversi principi che riteniamo ampiamente applicabili all'ingegneria degli agenti IA:
Separa selezione ed esecuzione. Non assegnare al modello di ragionamento anche l'instradamento. Utilizza modelli rapidi ed economici per la classificazione e modelli costosi e capaci per il ragionamento.
Riduci la scelta, aumenta l'accuratezza. Un modello che sceglie tra 10 strumenti pertinenti supera sempre uno che sceglie tra 100. Investi nel filtraggio prima della selezione.
Convalida dopo l'esecuzione, oltre che prima. Le chiamate agli strumenti falliscono in modi imprevedibili. Costruisci cicli di riscontro sulla qualità che rilevino risultati errati e guidino nuovi tentativi.
Fornisci progressivamente, senza raggruppare. Gli utenti dovrebbero vedere i risultati quando arrivano. La consegna progressiva va oltre un miglioramento dell'esperienza: cambia profondamente il modo di interagire con i dati di verifica.
Rendi esplicito l'intento. Non lasciare al modello dedurre cosa significhi «buono». Diglielo. Pianificare gli obiettivi trasforma un'esplorazione aperta in una verifica guidata.
L'agente IA di Atlas Verified coordina 100+ strumenti di verifica specializzati per automatizzare i controlli di conformità commerciale lungo la filiera globale.