Om du försökt extrahera strukturerade data ur ett konossement med generell OCR känner du redan till slutsatsen: det fungerar inte. Åtminstone inte tillförlitligt. I internationell handelsefterlevnad är ”inte tillförlitligt” samma sak som ”inte alls”.
Atlas Verify behandlar tusentals handelsdokument — konossement, ekologiska certifikat, växtskyddscertifikat, ursprungsintyg, handelsfakturor, packlistor och dussintals fler. Tidigt utvärderade vi alla stora OCR-plattformar. Alla misslyckades på samma test: ge dem ett dokument de inte särskilt tränats på, så blir resultatet allt från ofullständigt till farligt felaktigt.
Artikeln förklarar varför vi byggde en anpassad dokumentprocess, vad som gör handelsdokument särskilt svåra och vilka tekniska principer som styr metoden.
Problemet med dokumentmångfald
De flesta OCR-tjänster är optimerade för ett fåtal dokumenttyper. Google Document AI är starkt på fakturor och kvitton. AWS Textract hanterar strukturerade formulär väl. Azure Form Recognizer kan tränas på anpassade mallar. Men internationell handel skapar en enorm dokumentvariation.
Bara i vårt system hanteras över 35 olika dokumenttyper. Ett konossement liknar inte ett ekologiskt certifikat. Ett USDA-växtskyddscertifikat har nästan ingen strukturell likhet med ett från EU. En rederianmälan om ankomst kan vara en strukturerad PDF med rena tabeller; en annan kan vara ett skannat fax med handskrivna noteringar.
Nyckelinsikten är att varje dokumenttyp har sitt schema — särskilda fält som behövs för efterlevnadsverifiering. Konossement behöver avsändare, mottagare, aviseringspart, containernummer, fartygsnamn, lastnings- och lossningshamnar samt varubeskrivningar. Ekologiska certifikat behöver certifieringsorgan, verksamhetsnamn, NOP ID, certifierade produkter och giltighetsdatum.
Generella OCR-verktyg förstår inte dessa scheman. De extraherar text och kan identifiera tabeller. Men de vet inte att ”MEDU4107760” är ett containernummer eller att ”NOP ID: 7880315519” är en viktig identifierare som måste verifieras mot USDA Organic Integrity Database. Utan schemakännedom är OCR bara dyr textkonvertering.
Varför ”tillräckligt bra” är farligt
I de flesta program är 95% noggrannhet utmärkt. I handelsefterlevnad är det en risk.
Tänk på containernumret. Standardformatet (ISO 6346) är fyra bokstäver följda av sju siffror, med en kontrollsiffra sist. Om OCR feltolkar ett tecken — ”0” blir ”O”, ”8” blir ”B” — är numret ogiltigt. Nedströms spårningssystem ger inga resultat och verifieringskedjan bryts tyst.
Samma princip gäller NOP ID, HS-koder, IMO-nummer och certifieringsdatum. Ett teckenfel kan ändra betydelsen helt. HS-kod 0901.11 (kaffe, orostat, inte koffeinfritt) jämfört med 0901.12 (kaffe, orostat, koffeinfritt) ger olika tullsatser, regelkrav och riskprofiler.
Vår arkitektur
Dokumentprocessen har tre steg, varje steg utformat för maximal noggrannhet vid handelsdokumentens särskilda utmaningar.
Steg 1: Dokumentklassificering — Innan data extraheras identifierar vi dokumenttypen. Klassificeringen avgör extraheringsschema, fält att söka efter och hur resultat valideras.
Steg 2: Schemamedveten extrahering — Efter klassificering används en typspecifik modell som vet exakt vilka fält som behövs och var de brukar finnas. Det skiljer sig i grunden från generell OCR som extraherar allt och låter användaren tolka.
Steg 3: Korsvalidering — Extraherade data korsrefereras automatiskt mot externa källor. Containernummer valideras mot rederi-API:er. NOP ID kontrolleras mot USDA Organic Integrity Database. Hamnkoder verifieras mot World Port Index. Steget fångar både OCR-fel och bedrägliga data.
Lärdomar
Efter tiotusentals behandlade handelsdokument har flera principer blivit tydliga:
1. Domänspecifikt slår generellt. Varje försök med generell OCR krävde så mycket efterbehandling att vi lade mer utvecklingstid på att rätta utdata än en egen lösning skulle ha krävt.
2. Klassificeringen är grunden. Fel dokumenttyp påverkar alla följande steg. Vi investerar stort i klassificeringsnoggrannhet eftersom allt nedströms beror på den.
3. Validering är viktigare än extrahering. Att extrahera ett containernummer är användbart. Att bekräfta en verklig container på ett verkligt fartyg i rätt hamn är vad som faktiskt betyder något för efterlevnad.
4. Strukturerade utdata möjliggör automatisering. Målet är inte att digitalisera dokument för mänsklig läsning. Det är maskinläsbara, strukturerade data som går direkt in i automatiska verifieringsflöden.
Att bygga en tillförlitlig dokumentprocess för internationell handel är verkligen svårt. Dokumenten varierar, noggrannhetskraven är extrema och felen får stora konsekvenser. Men det är också grundläggande — varje verifieringsförmåga vi bygger beror på att korrekt läsa och förstå dokumenten som följer varor i globala leveranskedjor.