무역 규정 준수 검증은 이론상 간단해 보입니다. 문서에서 데이터를 가져와 공신력 있는 정부 데이터베이스와 대조하고 결과를 보고하면 됩니다. 실제로 이들 "공신력 있는 정부 데이터베이스"는 노후화된 시스템, 일관되지 않은 API, 불안정한 가동 시간, 크게 다른 데이터 형식이 뒤섞인 파편화된 집합입니다.
Atlas Verified는 수십 개 정부 및 규제 데이터 출처에 연결하여 무역 문서를 실시간으로 검증합니다. 모든 통합은 방어적인 엔지니어링을 배우는 과정이었습니다. 이 글에서는 신뢰하기 어려운 정부 인프라 위에 신뢰할 수 있는 시스템을 구축하면서 배운 내용을 공유합니다.
전체 환경
국제 무역 규정 준수는 여러 미국 정부 기관과 관련되며 각 기관은 고유한 접근 방식으로 자체 데이터베이스를 유지합니다.
USDA Organic Integrity Database. 미국 유기농 인증 상태의 기준 출처입니다. 모든 인증 유기농 사업체, 인증기관, 인증 범위, 현재 상태를 포함합니다. 실시간 API는 없습니다. USDA는 하나의 거대한 파일인 CSV 내보내기를 게시하며 이를 다운로드하고 파싱하여 자체 데이터베이스에 적재해야 합니다. 업데이트는 귀사의 일정이 아니라 USDA의 일정에 따라 이루어집니다.
OFAC 특별지정제재대상(SDN) 목록. 미국 재무부 해외자산통제국에서 관리합니다. 국제 무역에 참여하는 모든 기업은 법적으로 이 목록과 대조하여 거래 상대를 심사해야 합니다. XML 다운로드와 제삼자 API 서비스를 통해 이용할 수 있습니다. 지정학적 상황이 전개됨에 따라 목록은 자주 변경됩니다.
FDA 수입 경보. 식품의약국은 특정 제품, 기업, 국가에 대해 검사 강화 또는 물리적 검사 없는 억류를 표시하는 수입 경보를 게시합니다. OpenFDA API를 통해 JSON으로 이용할 수 있지만 데이터 모델이 복잡하며 경보, 기업, 제품 간의 관계가 항상 명확한 것은 아닙니다.
통합 심사 목록(CSL). Trade.gov에서 관리하며 OFAC SDN, BIS Entity List, BIS Denied Persons, ITAR Debarred 등을 포함한 여러 기관의 11개 심사 목록을 통합합니다. JSON API로 이용할 수 있지만 각 기초 목록은 필드 구조와 매칭 기준이 다릅니다.
WTO 관세 데이터. 세계무역기구의 관세 다운로드 시설은 국가와 HS 코드별 최혜국 관세율을 제공합니다. 상업 송장에 신고된 관세율을 확인하는 데 유용합니다. 실시간 API가 아니라 다운로드 가능한 데이터셋으로 제공됩니다.
이 출처들은 데이터 형식, 업데이트 일정, 신뢰성 특성이 모두 다르며 서로 다른 질의 전략이 필요합니다. 통합된 정부 규정 준수 API는 없습니다. 직접 구축하지 않으면 가질 수 없습니다.
데이터 최신성 문제
규정 준수 담당자가 기업이 제재 목록에 있는지 확인할 때는 답변이 최신이라는 사실을 알아야 합니다. 지난주 기준이 아니라 바로 지금 기준으로 최신이어야 합니다.
이로 인해 엔지니어링상의 긴장이 생깁니다. USDA Organic Integrity Database 같은 일부 데이터베이스는 정기 내보내기로만 제공됩니다. OFAC 같은 다른 출처에는 실시간 접근을 주장하는 제삼자 API 서비스가 있지만 "실시간"이 실제로는 "몇 시간마다 동기화한다"는 뜻입니다.
당사의 접근은 단계별 최신성 전략입니다.
단계 1: 실시간 API 검증. 제재 심사와 거래 금지 대상 목록 같은 중요한 규정 준수 확인에서는 질의 시점에 외부 API를 호출합니다. 결과의 최신성은 API 제공업체 데이터의 최신성과 같습니다. 같은 검증 세션 내 반복 질의를 처리하기 위해 결과를 잠시 캐시하지만 세션 간에 오래된 제재 데이터를 제공하지는 않습니다.
단계 2: 동기화된 로컬 데이터. USDA 유기농 사업체, 통합 심사 목록, 항만 색인 같은 대규모 참조 데이터셋은 자체 데이터베이스에 동기화된 사본을 유지합니다. 자동 동기화 작업은 설정 가능한 일정으로 실행되어 출처의 최신 데이터를 가져옵니다. 로컬 질의는 빠르며 출처의 가용성에 의존하지 않습니다.
단계 3: 정적 참조 데이터. WTO 관세표, HS 코드 정의, 항만 특성처럼 드물게 변경되는 데이터셋은 참조 데이터를 적재하고 더 긴 주기로 업데이트합니다. 이들 데이터셋은 분기별 또는 연간으로 바뀌므로 매일 최신 상태로 유지하는 것은 과도합니다.
각 질의 결과에는 기초 출처의 마지막 동기화 시점과 최대 데이터 지연 범위에 관한 최신성 메타데이터가 포함됩니다. 후속 시스템과 사용자는 이 메타데이터를 바탕으로 정보에 근거한 결정을 내릴 수 있습니다.
유사 이름 매칭의 과제
정부 데이터베이스는 귀사 문서에서 기업명을 어떻게 표기하는지 모릅니다. 귀사 문서도 정부 데이터베이스에서 기업명을 어떻게 표기하는지 모릅니다.
이는 사소한 문제가 아닙니다. 같은 기업이 선하증권에는 "Pearl White International Limited", OFAC 제출 자료에는 "PEARL WHITE INTERNATIONAL LIMITED", 원산지 증명서에는 "Pearl White Intl. Ltd.", 포장 명세서의 손글씨에는 "Pearl White Int'l"로 나타날 수 있습니다. 모두 같은 기업입니다.
규정 준수에서 효과적인 개체 매칭을 위해서는 여러 전략이 함께 작동해야 합니다.
정규화. 비교 전에 질의와 데이터베이스 항목을 모두 정규화합니다. 대소문자 통일, 문장부호 제거, 약어 확장, 공백 표준화를 수행합니다. 이를 통해 쉬운 사례를 처리합니다.
발음 기반 매칭. 비라틴 문자에서 음역한 이름에서 흔히 나타나듯 발음은 같지만 철자가 다른 기업명에는 발음 알고리즘이 필요합니다. 중국어나 아랍어 문자에서 음역한 기업명에는 유효한 영어 철자가 여러 개 있는 경우가 많습니다.
토큰 기반 유사도. 전체 문자열을 비교하는 대신 이름을 토큰으로 나누고 중첩 정도를 측정합니다. "Pearl White International Limited"와 "International Pearl White Ltd"는 순서만 바뀐 같은 토큰입니다. 토큰 기반 접근은 단어 순서 차이를 효과적으로 처리합니다.
맥락 기반 구별. 유사 이름 매칭에서 여러 후보가 나오면 문서의 맥락이 구별에 도움이 됩니다. 문서에 기업이 인도 뭄바이에 있다고 나와 있고 세 개의 "Pearl White" 일치 후보 중 하나만 인도에 있다면 그 기업이 해당됩니다.
매칭 파이프라인은 여러 차원에서 각 후보에 점수를 매깁니다. 신뢰도가 높은 일치는 자동으로 검증으로 진행합니다. 신뢰도가 낮은 일치는 각 후보의 증거와 함께 사용자에게 제시됩니다.
신뢰하기 어려운 출처를 위한 어댑터 구축
정부 API는 고가용성 상업적 사용을 위해 만들어지지 않았습니다. 예고 없이 유지보수로 중단되고 엄격한 요청 속도 제한을 적용하며 작은 버전 변경에서 응답 형식을 바꿉니다. 적절한 오류 응답 대신 HTML 오류 페이지를 반환하기도 합니다.
당사 시스템의 모든 외부 데이터 출처에는 이러한 현실을 처리하는 어댑터 계층을 통해 접근합니다.
회로 차단기. 출처가 반복적으로 실패하면 어댑터는 대기 기간 동안 요청 전송을 중단합니다. 이는 연쇄적인 실패를 방지합니다. 하나의 API가 중단되었다고 모든 동시 검증이 시간 초과를 기다리며 멈추게 해서는 안 됩니다.
점진적인 기능 축소. 데이터 출처를 이용할 수 없으면 검증은 이용 가능한 출처로 계속됩니다. 결과에는 완료된 확인과 출처 이용 불가로 건너뛴 확인이 명확히 표시됩니다.
응답 검증. 처리 전에 모든 응답을 예상 스키마와 대조하여 확인합니다. 정부 API는 때때로 잘못된 형식의 데이터, 200 상태 코드와 빈 본문, 예상치 못한 구조의 유효한 JSON을 반환합니다.
대기 시간을 늘리며 재시도. 일시적인 실패는 지수적으로 대기 시간을 늘리는 자동 재시도를 실행합니다. 재시도 전략은 출처별로 조정합니다. 일부 정부 API는 빨리 복구되지만 다른 API는 오랫동안 중단됩니다.
검증 사슬
하나의 무역 문서가 다섯 개 이상의 독립적인 데이터 출처에서 검증 확인을 실행할 수 있습니다. 선하증권에는 모든 당사자에 대한 OFAC 제재 심사, FDA 수입 경보 확인, 통합 심사 목록 확인, 선박 위치 검증, 컨테이너 추적, 관세 확인이 필요할 수 있습니다.
이 확인들은 독립적이며 병렬로 실행됩니다. 그러나 검증 결과를 제시하기 전에 모두 완료되거나 적절히 실패 처리되어야 합니다. 시스템은 해당되는 모든 확인을 동시에 실행하고 완료 상태를 추적하며 확인이 완료될 때 최종 검증 결과를 구성합니다. 빠른 확인은 사용자에게 즉시 전달되고 더 느린 확인은 완료될 때 표시됩니다.
통합 실행 계층은 확인 간 의존성도 처리합니다. 제재 심사에서 신뢰도가 높은 일치가 반환되면 다른 확인 결과와 관계없이 전체 검증에 사람의 검토가 필요하다고 표시합니다.
원시 데이터에서 실행 가능한 인텔리전스로
규정 준수 확인 결과의 가장 원시적인 형태는 유용하지 않습니다. "API가 잠재적인 일치 3개가 있는 JSON 객체를 반환했다"는 것입니다. 규정 준수 담당자는 그 일치가 무엇을 의미하며 얼마나 확신해야 하고 어떤 조치를 취해야 하는지 이해해야 합니다.
결과 처리 계층은 원시 API 응답을 체계적이며 실행 가능한 조사 결과로 전환합니다.
점수 평가. 각 일치는 이름 유사도, 지리적 연관성, 개체 유형 일치에 따라 점수가 매겨집니다. 같은 국가의 제재 대상과 이름이 97% 일치하는 것은 다른 대륙의 개체와 72% 일치하는 것과 매우 다릅니다.
맥락 제공. 결과는 특정 문서와 검증의 맥락에서 제시됩니다. 조사 결과에는 확인 대상인 구체적인 당사자, 일치 개체 정보, 일치가 관련되는 이유가 포함됩니다.
우선순위 설정. 모든 조사 결과가 동일하지는 않습니다. 제재 대상 일치는 매우 중대합니다. 만료된 유기농 인증은 중요합니다. 사소한 관세 차이는 참고 정보입니다. 시스템은 심각도에 따라 조사 결과를 분류합니다.
권장 조치. 가능한 경우 시스템은 "갱신된 인증서 요청을 고려하세요", "기업 등록 번호를 직접 확인하세요", "강화된 실사 검토로 전달하세요"와 같은 다음 단계를 제안합니다. 이를 통해 데이터 조회가 워크플로로 전환됩니다.
신뢰를 위한 엔지니어링
AI를 정부 데이터베이스에 연결하는 근본적인 과제는 기술이 아니라 신뢰에 관한 것입니다. 규정 준수 전문가는 검증 결정에 대해 법적 책임을 집니다. 데이터가 최신이며 매칭이 정확하고 결과가 완전하며 시스템이 한계를 투명하게 밝힌다고 신뢰할 수 있어야 합니다.
규정 준수 데이터 계층의 모든 설계 결정은 이 원칙을 따릅니다. 데이터 최신성 타임스탬프를 보여주고 매칭 점수를 설명하며 출처를 이용할 수 없을 때 공개합니다. 불완전한 결과를 완전한 것처럼 제시하지 않습니다.
이 신뢰를 구축하려면 대부분의 경우 올바른 답을 얻는 수준을 넘어서는 엄격한 엔지니어링이 필요합니다. 매번 올바른 답을 얻고 답이 불확실한 경우에는 정직하게 밝혀야 합니다.
Atlas Verified는 수십 개 정부 및 규제 데이터베이스에 연결하여 실시간 무역 규정 준수 검증을 지원합니다. 규정 준수 데이터 계층이 파편화된 정부 인프라의 복잡성을 처리하므로 규정 준수 전문가는 데이터 수집 대신 결정에 집중할 수 있습니다.