理論上、貿易コンプライアンス検証は簡単に思えます。書類からデータを取得し、公的な政府データベースと照合し、結果を報告するだけです。実際には、その"公的な政府データベース"は、老朽化したシステム、不統一なAPI、不安定な稼働率、大きく異なるデータ形式の、分断された集合体です。
Atlas Verifiedは、数十の政府・規制データソースに接続し、貿易書類をリアルタイムで検証します。すべての統合が、障害に備えた設計の学びとなりました。この記事では、不安定な政府基盤の上に信頼できるシステムを構築するために学んだことを共有します。
全体像
国際貿易のコンプライアンスは複数の米国政府機関に関わり、各機関が独自のアクセス方法でデータベースを維持しています：
USDA Organic Integrity Database。 米国の有機認証状況の基準となる情報源です。すべての認証有機事業者、認証機関、認証範囲、現在の状況を含みます。リアルタイムAPIはありません。USDAは単一の巨大なCSVファイルを公開しており、ダウンロード、解析、自社データベースへの読み込みが必要です。更新は自社ではなくUSDAの予定に従います。
OFAC Specially Designated Nationals（SDN）List。 米国財務省のOffice of Foreign Assets Controlが維持します。国際貿易に関わるすべての事業者は、法的にこのリストとの取引相手の照合を義務付けられています。XMLダウンロードや第三者APIサービスで利用できます。地政学的状況の変化に伴い、頻繁に更新されます。
FDA輸入警告。 Food and Drug Administrationは、特定の製品、会社、国を検査強化や無検査留置の対象とする輸入警告を公開しています。OpenFDA APIからJSONで取得できますが、データモデルは複雑で、警告、会社、製品の関係が必ずしも明確ではありません。
Consolidated Screening List（CSL）。 Trade.govが維持し、OFAC SDN、BIS Entity List、BIS Denied Persons、ITAR Debarredなど、複数機関の11の異なるスクリーニングリストを集約します。JSON APIで利用できますが、基礎となる各リストは項目構造と照合基準が異なります。
WTO関税データ。 World Trade OrganizationのTariff Download Facilityは、国とHSコード別の最恵国関税率を提供します。商業送り状に申告された税率の検証に役立ちます。リアルタイムAPIではなく、ダウンロード可能なデータセットです。
これらの情報源は、データ形式、更新予定、信頼性の特性、必要な照会方法がそれぞれ異なります。統一された政府コンプライアンスAPIはありません。自分で構築するか、持たないかです。
情報の鮮度の問題
コンプライアンス担当者が会社の制裁リスト掲載を確認する際、必要なのは現在の回答です。先週時点ではなく、今この時点で最新の回答です。
これは設計上の緊張を生みます。USDA Organic Integrity Databaseのように定期的なエクスポートでしか利用できないデータベースもあれば、OFACのようにリアルタイムアクセスをうたう第三者APIがあっても、実際には"数時間ごとに同期する"という意味の場合もあります。
当社は段階別の鮮度戦略を採用しています：
第1段階：リアルタイムAPI検証。 制裁照合や取引禁止対象者リストなどの重要な確認では、照会時に外部APIを呼び出します。結果の鮮度はAPI提供者のデータに相当します。同じ検証セッション内の反復照会に対応するため短時間キャッシュしますが、セッションをまたいで古い制裁データを返すことはありません。
第2段階：同期済みローカルデータ。 USDA有機事業者、Consolidated Screening List、港湾索引などの大規模な参照データは、自社データベースに同期済みコピーを維持します。設定可能な予定で自動同期を実行し、情報源から最新データを取得します。ローカル照会は速く、情報源の稼働状況に依存しません。
第3段階：静的な参照データ。 WTO関税表、HSコード定義、港の特性など、変更頻度の低いデータは参照データとして読み込み、長い周期で更新します。四半期または年ごとに変わるため、毎日の鮮度確保は過剰です。
各照会結果には、基礎となる情報源の最終同期時刻と最大経過期間など、データの鮮度のメタデータを含めます。後続システムやユーザーは、それに基づいて情報を踏まえた判断ができます。
あいまい照合の課題
政府データベースは、書類上の会社名の表記を知りません。書類も、政府データベースの表記を知りません。
これは些細な問題ではありません。同じ会社が船荷証券では"Pearl White International Limited"、OFAC書類では"PEARL WHITE INTERNATIONAL LIMITED"、原産地証明書では"Pearl White Intl. Ltd."、手書きの梱包明細では"Pearl White Int'l"と記載される場合があります。すべて同一法人です。
コンプライアンスで効果的に法人を照合するには、複数の方法を組み合わせる必要があります：
正規化。 比較前に、照会とデータベース項目の両方を正規化します。大文字・小文字の統一、句読点の除去、略語の展開、空白の標準化です。これで簡単な事例に対応します。
音声的な照合。 発音は似ていても表記が異なる会社名には、音声アルゴリズムが必要です。ラテン文字以外からの音訳ではよく起きます。中国語やアラビア語から音訳された会社名には、複数の正しい英語表記があることが少なくありません。
トークン単位の類似度。 文字列全体を比べる代わりに、名称をトークンに分け、重なりを測定します。"Pearl White International Limited"と"International Pearl White Ltd"は、順序が異なるだけの同じトークンです。この方法は語順の違いに柔軟に対応します。
文脈による曖昧さの解消。 あいまい照合で複数候補が出ると、文書の文脈が特定に役立ちます。会社の所在地がインドのムンバイと記載され、三つの"Pearl White"候補のうちインド所在が一つだけなら、それが該当します。
照合処理は各候補を複数の側面で採点します。確信度の高い一致は自動的に検証へ進みます。確信度の低い一致は、候補ごとの証拠とともにユーザーに提示します。
不安定な情報源のためのアダプター構築
政府APIは高可用性の商用利用向けに設計されていません。予告なく保守で停止し、厳しく呼び出し制限をかけ、小さなバージョン更新で応答形式を変え、適切なエラー応答の代わりにHTMLエラーページを返します。
当社システムのすべての外部情報源には、こうした現実に対応するアダプターレイヤーを通じてアクセスします：
サーキットブレーカー。 情報源の障害が繰り返されると、アダプターは一定の待機期間、要求送信を止めます。これにより障害の連鎖を防ぎます。一つのAPI停止で、すべての並行検証がタイムアウト待ちになることを避けます。
段階的な機能縮退。 情報源を利用できない場合、利用可能なものを用いて検証を続けます。どの確認が完了し、どの確認が情報源の停止で省略されたかを、結果に明示します。
応答の検証。 処理前にすべての応答を期待するスキーマと照合します。政府APIはときに、不正な形式のデータ、200ステータスの空の本文、予期しない構造の有効なJSONを返します。
待機時間を増やした再試行。 一時的な障害では、指数的に待機時間を増やしながら自動再試行します。情報源ごとに方法を調整します。すぐに復旧する政府APIもあれば、長時間停止するものもあります。
検証の連鎖
一つの貿易書類が、五つ以上の独立したデータソースで検証を起動することがあります。船荷証券では、全当事者のOFAC制裁照合、FDA輸入警告、Consolidated Screening List、船舶位置検証、コンテナ追跡、関税検証が必要な場合があります。
確認は独立して並行実行します。しかし、検証結果を提示する前に、すべてが完了するか、適切に障害処理される必要があります。システムは該当する確認をすべて同時に起動し、完了状況を追跡し、各確認の完了に応じて最終結果を組み立てます。速い確認は即座にユーザーに届け、遅い確認は終了した時点で表示します。
統合実行レイヤーは確認間の依存関係も扱います。制裁照合で確信度の高い一致が返れば、他の結果にかかわらず、検証全体を人間による審査が必要と示します。
未処理データから行動につながる情報へ
確認結果の最も未処理な形、"APIが3件の一致候補を含むJSONオブジェクトを返した"では役に立ちません。担当者は、一致の意味、確信度、取るべき行動を理解する必要があります。
結果処理レイヤーは、生のAPI応答を構造化された行動につながる結果に変換します：
採点。 名称の類似度、地理的関連、法人種別の一致に基づいて採点します。同じ国の制裁対象法人との97%の名称一致は、別大陸の法人との72%の一致とは大きく異なります。
文脈付け。 特定の書類と検証の文脈で結果を提示します。確認対象の当事者、一致する法人の詳細、一致が関連する理由を含めます。
優先順位付け。 すべての結果が同じ重要性を持つわけではありません。制裁の一致は重大、有機認証の失効は重要、軽微な関税差は参考情報です。深刻度で分類します。
推奨対応。 可能な場合、"更新された証明書の請求を検討"、"会社登記番号を直接確認"、"強化デューデリジェンス審査に回付"などの次の手順を提案します。データ照会をワークフローに変えます。
信頼のための設計
AIと政府データベースの接続の根本的な課題は、技術ではなく信頼です。コンプライアンス専門家は検証判断に法的責任を負います。データが最新で、照合が正確で、結果が完全で、限界を透明に示すシステムだと信頼できる必要があります。
コンプライアンスデータレイヤーのすべての設計判断は、この原則に従います。鮮度のタイムスタンプを示し、一致スコアを説明し、情報源が停止したら開示します。不完全な結果を完全なものとして提示しません。
信頼を築くには、多くの場合に正しい回答を得る以上の厳密な設計が必要です。毎回正しい回答を得ること、そして回答が不確かな場合は誠実に伝えることが必要です。
Atlas Verifiedは数十の政府・規制データベースに接続し、リアルタイムの貿易コンプライアンス検証を支えます。データレイヤーが分断された政府基盤の複雑さに対応し、専門家はデータ収集ではなく判断に集中できます。