Jos olet yrittänyt poimia jäsenneltyjä tietoja konossementista yleisellä OCR-palvelulla, tiedät jo lopputuloksen: se ei toimi. Ei ainakaan luotettavasti. Ja kansainvälisen kaupan vaatimustenmukaisuudessa ”ei luotettavasti” tarkoittaa samaa kuin ”ei lainkaan”.
Atlas Verifyssä käsittelemme tuhansia kauppa-asiakirjoja — konossementteja, luomusertifikaatteja, kasvinterveyssertifikaatteja, alkuperätodistuksia, kauppalaskuja, pakkauslistoja ja kymmeniä muita. Alussa arvioimme kaikki markkinoiden merkittävät OCR-alustat. Kaikki epäonnistuivat samassa testissä: anna asiakirja, johon niitä ei ole erikseen koulutettu, ja tulos vaihtelee puutteellisesta vaarallisen väärään.
Tämä kirjoitus selittää, miksi rakensimme räätälöidyn asiakirjakäsittelyputken, mikä tekee kauppa-asiakirjoista erityisen vaikeita ja mitkä tekniset periaatteet ohjaavat lähestymistapaamme.
Asiakirjojen monimuotoisuuden ongelma
Useimmat OCR-palvelut on optimoitu kapealle asiakirjatyyppijoukolle. Google Document AI on vahva laskuissa ja kuiteissa. AWS Textract käsittelee jäsennellyt lomakkeet hyvin. Azure Form Recognizer voidaan kouluttaa omilla malleilla. Kansainvälinen kauppa tuottaa kuitenkin valtavan määrän erilaisia asiakirjoja.
Pelkästään järjestelmässämme käsittelemme yli 35 erillistä asiakirjatyyppiä. Konossementti ei näytä lainkaan luomusertifikaatilta. USDAn kasvinterveyssertifikaatilla on tuskin rakenteellista yhtäläisyyttä EUn myöntämän kanssa. Yhden varustamon saapumisilmoitus voi olla jäsennelty PDF selkeillä taulukoilla; toisen skannattu faksi käsinkirjoitetuin huomautuksin.
Keskeinen oivallus on, että jokaisella asiakirjatyypillä on oma tietomallinsa — tietyt vaatimustenmukaisuuden varmennuksessa olennaiset kentät. Konossementti tarvitsee lähettäjän, vastaanottajan, ilmoitusosapuolen, konttinumerot, aluksen nimen, lastaus- ja purkusatamat sekä raaka-ainekuvaukset. Luomusertifikaatti tarvitsee sertifioijan, toimijan nimen, NOP ID:n, sertifioidut tuotteet ja voimassaolopäivät.
Yleiset OCR-työkalut eivät ymmärrä näitä malleja. Ne poimivat tekstiä. Ne voivat tunnistaa taulukoita. Mutta ne eivät tiedä, että ”MEDU4107760” on kontin numero tai ”NOP ID: 7880315519” kriittinen tunniste, joka on varmennettava USDA Organic Integrity Databasesta. Ilman tietomallin ymmärrystä OCR on vain kallista tekstimuunnosta.
Miksi ”riittävän hyvä” on vaarallista
Useimmissa ohjelmistosovelluksissa 95% tarkkuus on erinomainen. Kaupan vaatimustenmukaisuudessa se on vastuuriski.
Ajattele kontin numeroa. Vakiomuoto (ISO 6346) on neljä kirjainta ja seitsemän numeroa, joista viimeinen on tarkistusnumero. Jos OCR lukee yhden merkin väärin — ”0” muuttuu ”O”:ksi, ”8” muuttuu ”B”:ksi — kontin numero on virheellinen. Konttia seuraavat jatkojärjestelmät eivät palauta tuloksia, ja varmennusketju katkeaa huomaamatta.
Sama periaate koskee NOP ID -tunnuksia, HS-koodeja, IMO-numeroita ja sertifiointipäiviä. Yksi merkkivirhe voi muuttaa merkityksen täysin. HS-koodi 0901.11 (paahtamaton kahvi, kofeiinia ei poistettu) verrattuna 0901.12:een (paahtamaton kahvi, kofeiini poistettu) käynnistää eri tullimaksut, sääntelyvaatimukset ja riskiprofiilit.
Arkkitehtuurimme
Asiakirjakäsittelyputkessamme on kolme vaihetta, joista jokainen on suunniteltu maksimoimaan tarkkuus kauppadokumentaation erityishaasteissa.
Vaihe 1: Asiakirjan luokittelu — Ennen tietojen poimintaa tunnistamme asiakirjatyypin. Luokittelu määrittää käytettävän poimintamallin, etsittävät kentät ja tulosten validoinnin.
Vaihe 2: Tietomallin huomioiva poiminta — Luokiteltuun asiakirjaan sovelletaan tyyppikohtaista poimintamallia, joka tietää täsmälleen etsittävät kentät ja niiden tyypillisen sijainnin kyseisessä asiakirjatyypissä. Tämä eroaa perustavasti yleisestä OCR:stä, joka poimii kaiken ja jättää tulkinnan käyttäjälle.
Vaihe 3: Ristiinvalidointi — Poimitut tiedot ristiintarkistetaan automaattisesti ulkoisista tietolähteistä. Konttinumerot validoidaan varustamojen API:sta. NOP ID -tunnukset tarkistetaan USDA Organic Integrity Databasesta. Satamakoodit varmennetaan World Port Indexistä. Tämä vaihe löytää sekä OCR-virheet että petolliset tiedot.
Opitut asiat
Kymmenientuhansien kauppa-asiakirjojen käsittelyn jälkeen useat periaatteet ovat selvinneet:
1. Toimialakohtainen päihittää yleiskäyttöisen. Jokainen yleisen OCR-palvelun käyttöyritys vaati niin paljon jälkikäsittelyä, että käytimme enemmän teknistä aikaa tulosten korjaamiseen kuin räätälöidyn ratkaisun rakentamiseen olisi kulunut.
2. Luokittelu on perusta. Väärä asiakirjatyyppi vaikuttaa ketjuna jokaiseen myöhempään vaiheeseen. Panostamme luokittelutarkkuuteen, koska kaikki myöhempi riippuu siitä.
3. Validointi on tärkeämpää kuin poiminta. Konttinumeron poiminta on hyödyllistä. Sen vahvistaminen todelliseksi kontiksi todellisella aluksella oikeassa satamassa on se, mikä todella merkitsee vaatimustenmukaisuudessa.
4. Jäsennelty tulos mahdollistaa automaation. Tavoitteena ei ole digitoida asiakirjoja ihmisten luettavaksi. Se on tuottaa koneellisesti luettavaa jäsenneltyä tietoa, joka syötetään suoraan automaattisiin varmennustyönkulkuihin.
Luotettavan kansainvälisen kaupan asiakirjakäsittelyputken rakentaminen on todella vaikeaa. Asiakirjat ovat monimuotoisia, tarkkuusvaatimukset äärimmäisiä ja virheiden seuraukset merkittäviä. Se on myös perustavanlaatuista — jokainen rakentamamme varmennusominaisuus riippuu kyvystä lukea ja ymmärtää tarkasti tavaroiden mukana maailmanlaajuisissa toimitusketjuissa kulkevat asiakirjat.