Ett populärt mönster i AI-branschen just nu är att ge språkmodellen verktyg och låta den avgöra vad som ska anropas. Det fungerar utmärkt i demonstrationer. Det faller sönder i produktion.
Atlas Verifieds AI-agent har över 100 specialiserade verktyg — myndighetsdatabaser, fartygsspårnings-API:er, sanktionsscreeningtjänster, handelsdataleverantörer, containerspårning med mera. Varje verktyg finns för att en efterlevnadsexpert behöver den specifika datapunkten för ett verifieringsbeslut. Utmaningen är inte att bygga verktygen, utan att rätt verktyg anropas i rätt ordning med rätt indata, varje gång.
Artikeln går igenom de verkliga problemen med verktygssamordning i stor skala och de tekniska mönster vi utvecklat för att lösa dem.
Problemet med växande verktygsmängd
När agenten har 5 verktyg är valet enkelt. Modellen läser beskrivningarna, väljer rätt och anropar det. Men något går sönder när antalet överstiger 20, 50 eller 100.
Först kommer kontextfönsterproblemet. Varje verktyg behöver beskrivning, parameterschema och användningsvägledning i systeminstruktionen. Vid 100+ verktyg förbrukas tiotusentals token innan användarfrågan ens når kontexten. Modellen lägger mer tid på verktygsdokumentation än på problemet.
Sedan kommer problemet med valnoggrannhet. Språkmodeller är bra på att välja mellan ett fåtal tydligt åtskilda alternativ. De är dåliga på att välja mellan dussintals liknande verktyg. När flera verktyg har överlappande namn för sanktionskontroller och screening väljer modellen ofta fel — eller anropar flera som returnerar överlappande data.
För det tredje finns kostnads- och latensproblemet. Varje verktygsbeskrivning kostar token. Varje onödigt anrop kostar externa API-anrop, många med betalning per förfrågan. En agent som anropar 8 verktyg när 3 räcker är dyr och långsam.
Varför statisk styrning inte fungerar
Den enkla lösningen är statisk styrning: mönstermatcha användarfrågan till förutbestämda verktygsuppsättningar. ”Kontrollera företaget” utlöser sanktionsscreening. ”Spåra containern” utlöser fartygsspårning. ”Verifiera certifikatet” utlöser USDA-sökning.
Det faller direkt i praktiken. Tänk på frågan ”Kan du verifiera det här ekologiska certifikatet från Indien?” En statisk styrning kan starta USDA-sökning — rimligt. Men en efterlevnadsexpert vill också veta: är certifieringsorganet sanktionerat? Finns aktiva FDA-importvarningar för produkten från landet? Finns exportören på förbjudna motpartslistor? Finns handelsavvikelser i den angivna rutten?
En användarfråga kan legitimt kräva fem eller fler verktyg inom helt olika områden. Statisk styrning missar antingen viktiga kontroller eller utlöser allt för mycket, vilket återför kostnads- och noggrannhetsproblemen.
Kontexten är mycket viktig. ”Berätta om det här företaget” betyder helt olika saker beroende på om användaren ser ett konossement, ett ekologiskt certifikat eller har ett allmänt undersökningssamtal. Samma fyra ord kräver olika verktyg i varje sammanhang.
Tvålagersarkitektur: val och körning
Vår lösning skiljer verktygsval från verktygskörning med två separata modellager.
Vallagret använder en snabb, billig modell. Dess enda uppgift är att läsa användarfrågan, samtalskontexten och en kompakt verktygsförteckning och välja vilka verktyg som ska vara tillgängliga för just denna interaktion. Det anropar inte verktygen — det avgör bara vilka körningsmodellen får tillgång till.
Valmodellen ser en förenklad bild av varje verktyg: en beskrivningsrad, vilka data som returneras och begränsningarna. Det är mycket kompaktare än fullständiga parameterscheman, så modellen kan bedöma alla 100+ verktyg utan kontextbegränsningar. Den väljer vanligtvis 8-12 relevanta verktyg.
Körningslagret använder en mer kapabel resonemangsmodell. Den får bara de verktyg vallagret valt, med fullständiga parameterscheman och vägledning. Med en fokuserad uppsättning i stället för hela katalogen fattar den bättre beslut om vilka som ska anropas, i vilken ordning och med vilka parametrar.
Uppdelningen ger mätbara fördelar. Valet tar en bråkdel av en sekund och kostar lite. Körningsmodellen ser ren, fokuserad kontext och gör färre fel. Det totala antalet verktygsanrop per interaktion sjönk betydligt efter införandet.
Förmågebaserad filtrering
Utöver tvålagersvalet deklarerar varje verktyg sina förmågor — uppgiftstyperna det kan utföra. Ett verktyg kan ange efterlevnadskontroller, handelsinformation, dokumentanalys eller transportspårning.
När systemet fastställer användarens avsikt filtreras katalogen till verktyg med matchande förmågor. Valmodellen ser inte ens verktyg som är irrelevanta för uppgiftstypen.
Det är viktigt av ett subtilt skäl: språkmodeller påverkas av förslag. Om ett sanktionsverktyg finns i kontexten kan modellen vilja köra det även när användaren ställer en enkel fråga om transportvägar. När irrelevanta verktyg tas bort före valet elimineras en hel klass av onödiga anrop.
Kvalitetsåterkoppling
Verktygsvalet är bara halva arbetet. Resten är att säkerställa användbara resultat — och veta vad man gör annars.
Efter varje verktygskörning bedömer systemet resultatkvaliteten. Vanliga feltyper är:
Tomma resultat. Verktyget kördes utan fel men gav inga data. Det kan betyda att enheten inte finns i databasen (en giltig, informativ slutsats) eller att frågan utformats dåligt (ett problem att rätta och försöka igen).
Osäkra träffar. En ungefärlig namnsökning ger resultat men matchningspoängen ligger under tröskeln. Systemet måste avgöra om de ska visas som möjliga träffar eller förkastas till förmån för en annan sökstrategi.
Otillräckligt underlag. En handelsdatafråga ger bara resultat från en källa när flera bör korsrefereras för tillförlitlighet. Systemet ser luckan och kan begära fler verktygsanrop för att fylla den.
När kvalitetskontroller misslyckas för systemet tillbaka vägledning till agentens resonemangsloop. Det är inte ett enkelt återförsök — det förklarar vad som gick fel och föreslår hur frågan ska omformuleras.
Successiv resultatleverans
Handelsefterlevnadsverifiering har flera steg. Användaren laddar upp ett konossement och ber om verifiering. Agenten måste kontrollera avsändaren mot sanktionslistor, verifiera ekologisk certifiering, hitta fartygets position, kontrollera FDA-importvarningar för råvaran och validera tullklassificeringen. Kontrollerna tar olika lång tid.
I stället för att låta användaren vänta på alla kontroller strömmar vi resultaten successivt. När ett verktyg svarar formateras och levereras resultatet direkt till gränssnittet. Användaren ser sanktionsresultat, sedan fartygsdata och certifieringsstatus, var och en som ett strukturerat kort när det är klart.
Slutlig sammanställning, som skapar en berättande sammanfattning av alla resultat, körs först när alla verktyg är klara.
Automatisk verifiering: slut cirkeln
När dokument behandlas i OCR-processen identifieras viktiga datapunkter — NOP ID, företagsnamn, fartygsidentifierare, containernummer, hamnkoder och HS-koder. Varje punkt kopplas till specifika verifieringsverktyg.
I stället för att vänta på ”verifiera dokumentet” förberäknar systemet verifieringsledtrådar. När användaren öppnar en dokumentkonversation vet agenten redan vilka verktyg och parametrar som behövs. Det minskar tiden till verifiering kraftigt: agenten behöver inte först läsa dokumentet, identifiera enheter och fundera på kontrollerna. Planen är redan redo att köras.
Principerna
Systembygget har tydliggjort flera principer som vi tror gäller brett för AI-agentutveckling:
Skilj val från körning. Låt inte resonemangsmodellen också vara styrmodell. Använd billiga, snabba modeller för klassificering och dyra, kapabla för resonemang.
Minska valet, öka noggrannheten. En modell som väljer mellan 10 välmatchade verktyg slår alltid en som väljer mellan 100. Investera i filtrering före valet.
Validera efter körning, inte bara före. Verktygsanrop misslyckas på oförutsägbara sätt. Bygg kvalitetsåterkoppling som upptäcker dåliga resultat och vägleder återförsök.
Strömma, vänta inte på hela gruppen. Användare ska se resultat när de kommer. Successiv leverans är inte bara bättre användarupplevelse — den förändrar i grunden hur användare möter verifieringsdata.
Gör avsikten tydlig. Låt inte modellen själv avgöra vad ”bra” är. Tala om det. Målplanering omvandlar öppen utforskning till riktad verifiering.
Atlas Verifieds AI-agent samordnar 100+ specialiserade verifieringsverktyg för att automatisera handelsefterlevnadskontroller i den globala leveranskedjan.