범용 OCR 서비스로 선하증권에서 정형 데이터를 추출해 본 적이 있다면 결론을 이미 아실 것입니다. 작동하지 않습니다. 적어도 신뢰할 수 있게 작동하지는 않습니다. 국제 무역 규정 준수에서 "신뢰할 수 없다"는 것은 "전혀 작동하지 않는다"와 같습니다.
Atlas Verify는 선하증권, 유기농 인증서, 식물검역 증명서, 원산지 증명서, 상업 송장, 포장 명세서와 수십 가지 다른 유형을 포함하는 수천 개의 무역 문서를 처리합니다. 초기에 시장의 모든 주요 OCR 플랫폼을 평가했습니다. 모두 같은 시험에서 실패했습니다. 특정 문서에 맞춰 훈련받지 않았다면 출력은 불완전한 수준부터 위험할 정도로 잘못된 수준까지 다양했습니다.
이 글에서는 맞춤형 문서 처리 파이프라인을 구축한 이유, 무역 문서가 특히 어려운 이유, 접근 방식을 이끄는 엔지니어링 원칙을 설명합니다.
문서 다양성 문제
대부분의 OCR 서비스는 좁은 범위의 문서 유형에 최적화되어 있습니다. Google Document AI는 송장과 영수증에 뛰어납니다. AWS Textract는 정형 양식을 잘 처리합니다. Azure Form Recognizer는 맞춤형 템플릿으로 훈련할 수 있습니다. 그러나 국제 무역은 엄청나게 다양한 서류를 생성합니다.
당사 시스템만 해도 35개 이상의 서로 다른 문서 유형을 처리합니다. 선하증권은 유기농 인증서와 전혀 다릅니다. USDA의 식물검역 증명서는 EU 발급 증명서와 구조적으로 거의 유사하지 않습니다. 한 선사의 도착 통지서는 깔끔한 표가 있는 정형 PDF일 수 있지만 다른 선사의 것은 손글씨 주석이 있는 스캔 팩스일 수 있습니다.
핵심 통찰은 각 문서 유형에 고유한 스키마, 즉 규정 준수 검증에 중요한 특정 필드 집합이 있다는 것입니다. 선하증권에는 화주, 수하인, 통지 대상자, 컨테이너 번호, 선박명, 선적항과 양하항, 원자재 설명이 필요합니다. 유기농 인증서에는 인증기관, 사업체명, NOP ID, 인증 제품, 유효 날짜가 필요합니다.
범용 OCR 도구는 이 스키마를 이해하지 못합니다. 텍스트를 추출하고 표를 식별할 수는 있지만 "MEDU4107760"이라는 문자열이 컨테이너 번호인지, "NOP ID: 7880315519"가 USDA Organic Integrity Database와 대조하여 검증해야 하는 중요한 식별자인지 모릅니다. 스키마 인식이 없으면 OCR은 비싼 텍스트 변환에 불과합니다.
"충분히 좋다"가 위험한 이유
대부분의 소프트웨어 응용에서는 95% 정확도가 훌륭합니다. 무역 규정 준수에서는 책임 위험입니다.
컨테이너 번호를 생각해 보세요. 표준 형식(ISO 6346)은 네 개의 문자 다음에 일곱 자리 숫자가 이어지며 마지막 숫자는 검증 숫자입니다. OCR이 한 글자만 잘못 읽어 "0"이 "O"가 되거나 "8"이 "B"가 되면 컨테이너 번호는 유효하지 않습니다. 그 컨테이너를 추적하려는 후속 시스템은 결과를 반환하지 않으며 검증 사슬은 아무런 알림 없이 끊깁니다.
같은 원칙이 NOP ID, HS 코드, IMO 번호, 인증 날짜에도 적용됩니다. 한 글자 오류가 의미를 완전히 바꿀 수 있습니다. HS 코드 0901.11(볶지 않고 카페인을 제거하지 않은 커피)과 0901.12(볶지 않고 카페인을 제거한 커피)는 서로 다른 관세율, 규제 요건, 위험 프로필을 적용합니다.
당사의 아키텍처
문서 처리 파이프라인에는 세 단계가 있으며 각 단계는 무역 문서의 구체적인 과제에 대해 정확도를 극대화하도록 설계되었습니다.
단계 1: 문서 분류 — 데이터를 추출하기 전에 먼저 어떤 유형의 문서를 보고 있는지 식별합니다. 이 분류에 따라 적용할 추출 스키마, 찾을 필드, 결과 검증 방법이 결정됩니다.
단계 2: 스키마 인식 추출 — 문서를 분류한 뒤 어떤 필드를 찾아야 하며 해당 문서 유형에서 보통 어디에 나타나는지 정확히 아는 유형별 추출 모델을 적용합니다. 모든 것을 추출하고 해석을 사용자에게 맡기는 범용 OCR과 근본적으로 다릅니다.
단계 3: 교차 검증 — 추출된 데이터는 외부 데이터 출처와 자동으로 교차 대조됩니다. 컨테이너 번호는 선사 API와 대조하여 확인하고 NOP ID는 USDA Organic Integrity Database에서 확인하며 항만 코드는 세계 항만 색인과 대조하여 검증합니다. 이 단계는 OCR 오류와 사기 데이터를 모두 발견합니다.
배운 교훈
수만 개의 무역 문서를 처리한 뒤 몇 가지 원칙이 분명해졌습니다.
1. 분야 특화 방식이 범용 방식보다 뛰어납니다. 범용 OCR 서비스를 사용하려는 모든 시도에는 너무 많은 후처리가 필요했습니다. 맞춤형 해결책을 구축하는 데 들었을 시간보다 출력 수정에 더 많은 엔지니어링 시간을 썼습니다.
2. 분류가 토대입니다. 문서 유형을 잘못 판단하면 이후 모든 단계에 오류가 연쇄적으로 이어집니다. 모든 후속 작업이 분류에 의존하므로 분류 정확도에 크게 투자합니다.
3. 검증은 추출보다 중요합니다. 컨테이너 번호를 추출하는 것은 유용합니다. 규정 준수에서 실제로 중요한 것은 그 컨테이너가 올바른 항만의 실제 선박에 있는 실제 컨테이너인지 확인하는 것입니다.
4. 정형 출력은 자동화를 가능하게 합니다. 목표는 사람이 읽도록 문서를 디지털화하는 것이 아닙니다. 자동 검증 워크플로에 직접 입력되는 기계 판독 가능한 정형 데이터를 생성하는 것입니다.
국제 무역을 위한 신뢰할 수 있는 문서 처리 파이프라인을 구축하는 일은 매우 어렵습니다. 문서는 다양하고 정확도 요구는 극도로 높으며 오류의 결과는 중대합니다. 그러나 이는 토대이기도 합니다. 구축하는 모든 검증 기능은 세계 공급망에서 제품과 함께 이동하는 문서를 정확하게 읽고 이해하는 능력에 의존합니다.