汎用OCRサービスで船荷証券から構造化データを抽出しようとしたことがあれば、結論は分かるはずです。うまくいきません。少なくとも、確実には。そして国際貿易コンプライアンスでは、"確実ではない"は"まったくできない"と同じです。
Atlas Verifyは、船荷証券、有機証明書、植物検疫証明書、原産地証明書、商業送り状、梱包明細、その他数十種類の貿易書類を数千件処理します。当初、市場の主要OCRプラットフォームをすべて評価しました。どれも同じ試験で失敗しました。専用に訓練していない書類を渡すと、出力は不完全なものから危険なほど誤ったものまでありました。
この記事では、専用の文書処理を構築した理由、貿易書類が特に難しい理由、方法を導く設計原則を説明します。
書類の多様性の問題
大半のOCRサービスは限られた書類種類向けに最適化されています。Google Document AIは請求書・領収書に優れ、AWS Textractは構造化フォームをうまく処理し、Azure Form Recognizerは独自テンプレートで訓練できます。しかし国際貿易では、驚くほど多様な書類が発生します。
当社システムだけでも35を超える種類を扱います。船荷証券と有機証明書の外見はまったく異なり、USDAとEUの植物検疫証明書は構造上ほとんど共通点がありません。ある船会社の到着通知は整った表の構造化PDFでも、別の会社では手書き注記付きのスキャンしたFAXです。
重要なのは、各書類種類に、検証で重要な項目群という独自のスキーマがあることです。船荷証券には荷送人、荷受人、通知先、コンテナ番号、船名、積出港・荷揚港、商品説明が必要です。有機証明書には認証機関、事業者名、NOP ID、認証製品、有効日が必要です。
汎用OCRはこれらのスキーマを理解しません。文字を抽出し、表を識別することもあります。しかし"MEDU4107760"がコンテナ番号で、"NOP ID: 7880315519"がUSDA Organic Integrity Databaseと照合すべき重要な識別子であるとは分かりません。スキーマの認識なしには、OCRは高価な文字変換にすぎません。
"十分良い"が危険な理由
大半のソフトウェアでは95%の精度は優秀です。貿易コンプライアンスでは責任問題です。
コンテナ番号を考えてください。標準形式（ISO 6346）は四文字の英字に七桁の数字が続き、最後はチェック数字です。一文字でも"0"を"O"、"8"を"B"と誤読すると、番号は無効になります。追跡しようとする後続システムは結果を返さず、検証の連鎖が気付かれずに途切れます。
NOP ID、HSコード、IMO番号、認証日にも同じ原則が適用されます。一文字の誤りで意味が完全に変わることがあります。HSコード0901.11（焙煎しておらず、カフェインを除いていないコーヒー）と0901.12（焙煎しておらず、カフェインを除いたコーヒー）では、関税率、規制要件、リスクプロフィールが異なります。
当社の構造
文書処理は三段階で構成し、それぞれ貿易書類特有の課題に対する精度を最大化するよう設計しています。
段階1：文書分類 — データを抽出する前に、書類の種類を特定します。この分類で、適用する抽出スキーマ、探す項目、結果の検証方法を決めます。
段階2：スキーマを認識した抽出 — 分類後、その種類で探すべき項目と通常の出現場所を正確に知る、種類別の抽出モデルを適用します。すべてを抽出して解釈をユーザーに任せる汎用OCRとは根本的に異なります。
段階3：相互検証 — 抽出データを外部情報源と自動照合します。コンテナ番号は船会社API、NOP IDはUSDA Organic Integrity Database、港コードはWorld Port Indexで検証します。この段階はOCRの誤りと不正データの両方を検知します。
学んだこと
数万件の貿易書類を処理し、いくつかの原則が明確になりました：
1. 分野特化は汎用を上回る。 汎用OCRの利用を試すたび、大量の後処理が必要で、専用の仕組みを構築するよりも出力の修正に多くの開発時間を費やしました。
2. 分類が基盤。 書類の種類を誤ると、後続のすべての手順に影響が連鎖します。すべてが依存するため、分類精度に多くを投資します。
3. 検証は抽出より重要。 コンテナ番号の抽出は役立ちます。コンプライアンスで実際に重要なのは、正しい港の実在する船舶に実在するコンテナがあると確認することです。
4. 構造化出力が自動化を可能にする。 目標は、人が読むための文書デジタル化ではありません。自動検証フローに直接取り込める、機械可読の構造化データの生成です。
国際貿易向けの信頼できる文書処理を構築するのは難しい課題です。書類は多様で、精度要件は極めて厳しく、誤りの影響は重大です。同時に、それは基盤でもあります。構築するすべての検証機能は、世界のサプライチェーンで品物に伴う書類を正確に読み、理解できることに依存します。