Về lý thuyết, xác minh tuân thủ thương mại nghe có vẻ đơn giản: lấy dữ liệu từ tài liệu, kiểm tra với các cơ sở dữ liệu chính phủ có thẩm quyền rồi báo cáo kết quả. Trong thực tế, những “cơ sở dữ liệu chính phủ có thẩm quyền” đó là một tập hợp chắp vá, phân mảnh gồm các hệ thống cũ, API thiếu nhất quán, thời gian hoạt động thiếu ổn định và các định dạng dữ liệu rất khác nhau.
Tại Atlas Verified, chúng tôi kết nối với hàng chục nguồn dữ liệu chính phủ và cơ quan quản lý để xác minh tài liệu thương mại theo thời gian thực. Mỗi tích hợp đều là một bài học về kỹ thuật phòng vệ. Bài viết này chia sẻ những điều chúng tôi đã học được khi xây dựng các hệ thống đáng tin cậy trên hạ tầng chính phủ thiếu ổn định.
Bối cảnh
Tuân thủ thương mại quốc tế liên quan đến nhiều cơ quan chính phủ Hoa Kỳ, mỗi cơ quan duy trì cơ sở dữ liệu riêng với phương thức truy cập riêng:
USDA Organic Integrity Database. Nguồn chuẩn về trạng thái chứng nhận hữu cơ tại Hoa Kỳ. Nó chứa mọi cơ sở hữu cơ được chứng nhận, tổ chức chứng nhận của họ, phạm vi chứng nhận và trạng thái hiện tại. Không có API thời gian thực. USDA công bố một bản xuất CSV — một tệp khổng lồ duy nhất — phải được tải xuống, phân tích và nạp vào cơ sở dữ liệu riêng của bạn. Việc cập nhật diễn ra theo lịch của USDA, không phải lịch của bạn.
Danh sách OFAC Specially Designated Nationals (SDN). Được Office of Foreign Assets Control thuộc Bộ Tài chính Hoa Kỳ duy trì. Mọi doanh nghiệp tham gia thương mại quốc tế đều có nghĩa vụ pháp lý sàng lọc đối tác với danh sách này. Dữ liệu có sẵn dưới dạng tệp XML tải xuống và qua các dịch vụ API bên thứ ba. Danh sách thay đổi thường xuyên khi tình hình địa chính trị diễn biến.
Cảnh báo nhập khẩu FDA. Food and Drug Administration công bố các cảnh báo nhập khẩu đánh dấu sản phẩm, công ty hoặc quốc gia cụ thể để tăng cường kiểm tra hoặc tạm giữ không cần kiểm tra thực tế. Dữ liệu có sẵn qua OpenFDA API dưới dạng JSON, nhưng mô hình dữ liệu phức tạp và mối quan hệ giữa cảnh báo, doanh nghiệp và sản phẩm không phải lúc nào cũng rõ ràng.
Consolidated Screening List (CSL). Được Trade.gov duy trì, nguồn này tổng hợp 11 danh sách sàng lọc khác nhau từ nhiều cơ quan — bao gồm OFAC SDN, BIS Entity List, BIS Denied Persons và ITAR Debarred. Dữ liệu có sẵn dưới dạng API JSON, nhưng mỗi danh sách cơ sở có cấu trúc trường và tiêu chí đối chiếu khác nhau.
Dữ liệu thuế WTO. Tariff Download Facility của World Trade Organization cung cấp mức thuế Tối huệ quốc theo quốc gia và mã HS. Dữ liệu hữu ích để xác nhận mức thuế được khai báo trên hóa đơn thương mại. Nó có sẵn dưới dạng tập dữ liệu tải xuống, không phải API thời gian thực.
Mỗi nguồn trong số này sử dụng định dạng dữ liệu khác nhau, cập nhật theo lịch khác nhau, có các đặc điểm về độ tin cậy khác nhau và đòi hỏi các chiến lược truy vấn khác nhau. Không có một API tuân thủ chính phủ thống nhất. Bạn phải tự xây dựng một API như vậy, nếu không thì bạn sẽ không có nó.
Vấn đề độ cập nhật
Khi một cán bộ tuân thủ kiểm tra xem một công ty có nằm trong danh sách trừng phạt hay không, họ cần biết câu trả lời là thông tin hiện hành. Không phải hiện hành tính đến tuần trước — mà là hiện hành ngay lúc này.
Điều này tạo ra một sự giằng co về kỹ thuật. Một số cơ sở dữ liệu, như USDA Organic Integrity Database, chỉ cung cấp dữ liệu xuất định kỳ. Những cơ sở khác, như OFAC, có các dịch vụ API bên thứ ba tuyên bố cung cấp quyền truy cập theo thời gian thực, nhưng thực tế "theo thời gian thực" lại có nghĩa là "chúng tôi đồng bộ vài giờ một lần".
Cách tiếp cận của chúng tôi là chiến lược phân tầng về độ cập nhật của dữ liệu:
Tầng 1: Xác minh qua API trực tiếp. Đối với các kiểm tra tuân thủ quan trọng như sàng lọc trừng phạt và danh sách bên bị từ chối giao dịch, chúng tôi gọi API bên ngoài ngay tại thời điểm truy vấn. Kết quả có độ cập nhật tương ứng với dữ liệu của nhà cung cấp API. Chúng tôi lưu kết quả trong bộ nhớ đệm trong thời gian ngắn để xử lý các truy vấn lặp lại trong cùng một phiên xác minh, nhưng không bao giờ cung cấp dữ liệu trừng phạt đã cũ giữa các phiên.
Tầng 2: Dữ liệu cục bộ được đồng bộ. Đối với các tập dữ liệu tham chiếu lớn như các cơ sở hữu cơ USDA, Consolidated Screening List và danh mục cảng, chúng tôi duy trì các bản sao được đồng bộ trong cơ sở dữ liệu riêng. Các tác vụ đồng bộ tự động chạy theo lịch có thể cấu hình, lấy dữ liệu mới nhất từ nguồn. Các truy vấn cục bộ nhanh và không phụ thuộc vào tình trạng sẵn sàng của nguồn.
Tầng 3: Dữ liệu tham chiếu tĩnh. Đối với các tập dữ liệu ít thay đổi, như biểu thuế WTO, định nghĩa mã HS và đặc điểm cảng, chúng tôi nạp dữ liệu tham chiếu và cập nhật theo chu kỳ dài hơn. Các tập dữ liệu này thay đổi theo quý hoặc theo năm, nên cập nhật hằng ngày là vượt quá nhu cầu.
Mỗi kết quả truy vấn đều bao gồm siêu dữ liệu về độ cập nhật: thời điểm nguồn dữ liệu cơ sở được đồng bộ lần cuối và khoảng thời gian tối đa dữ liệu có thể chưa được cập nhật. Các hệ thống phía sau — và người dùng — có thể đưa ra quyết định có cơ sở dựa trên siêu dữ liệu này.
Thách thức của việc đối chiếu gần đúng
Các cơ sở dữ liệu chính phủ không biết tài liệu của bạn viết tên công ty như thế nào. Và tài liệu của bạn cũng không biết cơ sở dữ liệu chính phủ viết những tên đó ra sao.
Đây không phải là vấn đề đơn giản. Cùng một công ty có thể xuất hiện dưới tên "Pearl White International Limited" trên vận đơn, "PEARL WHITE INTERNATIONAL LIMITED" trong hồ sơ OFAC, "Pearl White Intl. Ltd." trên chứng nhận xuất xứ và "Pearl White Int'l" viết tay trên phiếu đóng gói. Tất cả đều là cùng một thực thể.
Đối chiếu thực thể hiệu quả trong công tác tuân thủ đòi hỏi nhiều chiến lược phối hợp với nhau:
Chuẩn hóa. Trước khi thực hiện bất kỳ phép so sánh nào, cả truy vấn lẫn các mục trong cơ sở dữ liệu đều được chuẩn hóa: thống nhất chữ hoa và chữ thường, loại bỏ dấu câu, mở rộng từ viết tắt và chuẩn hóa khoảng trắng. Bước này xử lý các trường hợp dễ.
Đối chiếu ngữ âm. Những tên công ty nghe giống nhau nhưng được viết khác nhau — thường gặp với tên phiên âm từ các hệ chữ không phải Latinh — cần các thuật toán ngữ âm. Một tên công ty được phiên âm từ chữ Trung Quốc hoặc chữ Ả Rập thường có nhiều cách viết tiếng Anh hợp lệ.
Độ tương đồng dựa trên từ tố. Thay vì so sánh toàn bộ chuỗi, chúng tôi tách tên thành các từ tố và đo mức độ trùng lặp. "Pearl White International Limited" và "International Pearl White Ltd" có cùng các từ tố, chỉ khác thứ tự. Các phương pháp dựa trên từ tố xử lý linh hoạt sự thay đổi thứ tự từ.
Phân biệt dựa trên ngữ cảnh. Khi đối chiếu gần đúng tạo ra nhiều ứng viên, ngữ cảnh trong tài liệu giúp phân biệt. Nếu tài liệu cho biết công ty ở Mumbai, Ấn Độ, và chỉ một trong ba kết quả khớp "Pearl White" có trụ sở tại Ấn Độ, thì đó là kết quả cần chọn.
Quy trình đối chiếu chấm điểm từng ứng viên trên nhiều phương diện. Các kết quả khớp có độ tin cậy cao tự động chuyển sang xác minh. Những kết quả có độ tin cậy thấp được trình bày cho người dùng cùng bằng chứng cho từng ứng viên.
Xây dựng bộ chuyển tiếp cho các nguồn thiếu ổn định
Các API chính phủ không được xây dựng để phục vụ mục đích thương mại với độ sẵn sàng cao. Chúng có thể ngừng hoạt động để bảo trì mà không báo trước. Chúng áp dụng giới hạn tốc độ nghiêm ngặt. Chúng thay đổi định dạng phản hồi trong các bản cập nhật phiên bản nhỏ. Chúng trả về trang lỗi HTML thay vì phản hồi lỗi đúng chuẩn.
Mọi nguồn dữ liệu bên ngoài trong hệ thống của chúng tôi đều được truy cập thông qua một lớp bộ chuyển tiếp xử lý những thực tế này:
Cơ chế ngắt mạch. Nếu một nguồn liên tục gặp lỗi, bộ chuyển tiếp ngừng gửi yêu cầu trong một khoảng thời gian chờ phục hồi. Điều này ngăn lỗi dây chuyền — nếu một API ngừng hoạt động, chúng tôi không muốn mọi tác vụ xác minh đồng thời đều bị treo vì chờ hết thời gian chờ.
Suy giảm chức năng có kiểm soát. Khi một nguồn dữ liệu không khả dụng, quá trình xác minh tiếp tục với những nguồn còn sẵn có. Kết quả nêu rõ các kiểm tra đã hoàn tất và các kiểm tra bị bỏ qua do nguồn không khả dụng.
Xác nhận phản hồi. Chúng tôi xác nhận mọi phản hồi theo các lược đồ dự kiến trước khi xử lý. Các API chính phủ đôi khi trả về dữ liệu sai định dạng, nội dung trống với mã trạng thái 200 hoặc JSON hợp lệ nhưng có cấu trúc không như dự kiến.
Thử lại với thời gian chờ tăng dần. Các lỗi tạm thời kích hoạt việc thử lại tự động với thời gian chờ tăng theo cấp số nhân. Chiến lược thử lại được điều chỉnh cho từng nguồn — một số API chính phủ phục hồi nhanh, trong khi những API khác ngừng hoạt động trong thời gian dài.
Chuỗi xác minh
Một tài liệu thương mại có thể kích hoạt các kiểm tra xác minh trên năm nguồn dữ liệu độc lập trở lên. Một vận đơn có thể cần sàng lọc trừng phạt OFAC cho tất cả các bên, kiểm tra cảnh báo nhập khẩu FDA, kiểm tra Consolidated Screening List, xác minh vị trí tàu, theo dõi container và xác nhận thuế quan.
Các kiểm tra này độc lập và chạy song song. Nhưng tất cả cần hoàn tất — hoặc xử lý lỗi một cách có kiểm soát — trước khi trình bày kết quả xác minh. Hệ thống của chúng tôi triển khai đồng thời mọi kiểm tra phù hợp, theo dõi trạng thái hoàn thành và tổng hợp kết quả xác minh cuối cùng khi các kiểm tra hoàn tất. Các kiểm tra nhanh được cung cấp ngay cho người dùng, còn các kiểm tra chậm hơn xuất hiện khi hoàn thành.
Lớp điều phối cũng xử lý sự phụ thuộc giữa các kiểm tra. Nếu sàng lọc trừng phạt trả về kết quả khớp có độ tin cậy cao, hệ thống đánh dấu toàn bộ quá trình xác minh là cần con người rà soát — bất kể các kiểm tra khác phát hiện điều gì.
Từ dữ liệu thô đến thông tin có thể hành động
Dạng thô nhất của kết quả kiểm tra tuân thủ không hữu ích: "API trả về một đối tượng JSON với 3 kết quả khớp tiềm năng." Cán bộ tuân thủ cần hiểu những kết quả đó có ý nghĩa gì, mức độ tin cậy nên đặt vào chúng và cần thực hiện hành động nào.
Lớp xử lý kết quả của chúng tôi chuyển đổi phản hồi API thô thành những phát hiện có cấu trúc và có thể hành động:
Chấm điểm. Mỗi kết quả khớp được chấm điểm dựa trên độ tương đồng tên, sự tương quan địa lý và mức độ khớp loại thực thể. Một kết quả khớp tên 97% với một thực thể bị trừng phạt trong cùng quốc gia rất khác với kết quả khớp 72% với một thực thể trên lục địa khác.
Đặt trong ngữ cảnh. Kết quả được trình bày trong ngữ cảnh của tài liệu và quá trình xác minh cụ thể. Các phát hiện bao gồm bên cụ thể đang được kiểm tra, chi tiết về thực thể khớp và lý do kết quả khớp có liên quan.
Xác định mức ưu tiên. Không phải mọi phát hiện đều có mức độ như nhau. Kết quả xác định khớp danh sách trừng phạt là nghiêm trọng. Chứng nhận hữu cơ hết hạn là quan trọng. Sai lệch nhỏ về thuế quan mang tính cung cấp thông tin. Hệ thống phân loại các phát hiện theo mức độ nghiêm trọng.
Hành động được đề xuất. Khi có thể, hệ thống gợi ý các bước tiếp theo: "Cân nhắc yêu cầu chứng nhận được cập nhật", "Xác minh trực tiếp số đăng ký công ty", "Chuyển sang rà soát thẩm định tăng cường". Điều này biến việc tra cứu dữ liệu thành một quy trình làm việc.
Thiết kế kỹ thuật để tạo niềm tin
Thách thức căn bản khi kết nối AI với cơ sở dữ liệu chính phủ không nằm ở kỹ thuật — mà ở niềm tin. Các chuyên gia tuân thủ chịu trách nhiệm pháp lý đối với quyết định xác minh của mình. Họ cần tin rằng dữ liệu là hiện hành, việc đối chiếu chính xác, kết quả đầy đủ và hệ thống minh bạch về các giới hạn của nó.
Mọi quyết định thiết kế trong lớp dữ liệu tuân thủ của chúng tôi đều phục vụ nguyên tắc này. Chúng tôi hiển thị dấu thời gian về độ cập nhật của dữ liệu. Chúng tôi giải thích điểm đối chiếu. Chúng tôi công bố khi các nguồn không khả dụng. Chúng tôi không bao giờ trình bày kết quả chưa đầy đủ như thể đã đầy đủ.
Xây dựng niềm tin đó đòi hỏi sự nghiêm ngặt trong kỹ thuật vượt xa việc đưa ra câu trả lời đúng trong phần lớn trường hợp. Điều đó đòi hỏi câu trả lời đúng trong mọi trường hợp — và sự trung thực khi câu trả lời còn chưa chắc chắn.
Atlas Verified kết nối với hàng chục cơ sở dữ liệu chính phủ và cơ quan quản lý để hỗ trợ xác minh tuân thủ thương mại theo thời gian thực. Lớp dữ liệu tuân thủ của chúng tôi xử lý sự phức tạp của hạ tầng chính phủ phân mảnh để các chuyên gia tuân thủ có thể tập trung vào quyết định thay vì thu thập dữ liệu.