راستی‌آزمایی انطباق تجاری در نظریه ساده است: داده را از سند بگیرید، با پایگاه‌های داده معتبر دولتی بررسی کنید و نتیجه گزارش دهید. در عمل، آن «پایگاه‌های داده معتبر دولتی» مجموعه پراکنده‌ای از سامانه‌های قدیمی، APIهای ناسازگار، دسترس‌پذیری نامطمئن و قالب‌های داده بسیار متفاوت‌اند.
در Atlas Verified برای راستی‌آزمایی لحظه‌ای اسناد تجارت به ده‌ها منبع داده دولتی و مقرراتی متصل می‌شویم. هر یکپارچه‌سازی درسی در مهندسی دفاعی بوده است. این مطلب آموخته‌های ما درباره ساخت سامانه قابل اعتماد بر زیرساخت دولتی نامطمئن را به اشتراک می‌گذارد.
چشم‌انداز
انطباق تجارت بین‌المللی به چند نهاد دولتی آمریکا مربوط است که هرکدام پایگاه داده و الگوی دسترسی خود را دارند:
USDA Organic Integrity Database. منبع مرجع وضعیت گواهی ارگانیک در آمریکا. همه واحدهای ارگانیک گواهی‌شده، نهاد گواهی‌دهنده، محدوده گواهی و وضعیت جاری آن‌ها را در بر دارد. API لحظه‌ای وجود ندارد. USDA خروجی CSV منتشر می‌کند — یک فایل بسیار بزرگ — که باید دانلود، تجزیه و در پایگاه داده خودتان بارگذاری شود. به‌روزرسانی طبق زمان‌بندی USDA است، نه شما.
OFAC Specially Designated Nationals (SDN) List. تحت نگهداری Office of Foreign Assets Control وزارت خزانه‌داری آمریکا. هر کسب‌وکار تجارت بین‌المللی قانوناً باید طرف‌های معامله را با این فهرست غربالگری کند. به‌صورت دانلود XML و خدمات API شخص ثالث موجود است. با تحول وضعیت ژئوپلیتیک، فهرست مرتب تغییر می‌کند.
FDA Import Alerts. Food and Drug Administration هشدارهای وارداتی منتشر می‌کند که محصول، شرکت یا کشور مشخصی را برای بازرسی بیشتر یا توقیف بدون بررسی فیزیکی علامت‌گذاری می‌کند. از طریق OpenFDA API به‌صورت JSON در دسترس است، اما مدل داده پیچیده است و رابطه هشدارها، شرکت‌ها و محصولات همیشه روشن نیست.
Consolidated Screening List (CSL). تحت نگهداری Trade.gov، 11 فهرست مختلف غربالگری چند نهاد را تجمیع می‌کند — شامل OFAC SDN، BIS Entity List، BIS Denied Persons و ITAR Debarred. به‌صورت API JSON موجود است، اما هر فهرست زیربنایی ساختار فیلد و معیار تطبیق متفاوت دارد.
داده تعرفه WTO. Tariff Download Facility سازمان تجارت جهانی نرخ تعرفه دولت کاملةالوداد را بر اساس کشور و کد HS ارائه می‌دهد. برای اعتبارسنجی نرخ عوارض اعلام‌شده در فاکتور تجاری مفید است. به‌صورت مجموعه‌داده قابل دانلود در دسترس است، نه API لحظه‌ای.
هر منبع قالب داده متفاوت، زمان‌بندی به‌روزرسانی متفاوت و ویژگی قابلیت اعتماد متفاوت دارد و راهبرد پرس‌وجوی متفاوت می‌خواهد. API دولتی یکپارچه انطباق وجود ندارد. خودتان می‌سازید یا ندارید.
مشکل تازگی داده
وقتی یک مسئول انطباق بررسی می‌کند که آیا شرکتی در فهرست تحریم‌ها قرار دارد، باید بداند پاسخ به‌روز است. نه به‌روز تا هفته گذشته، بلکه به‌روز تا همین لحظه.
این وضعیت یک چالش مهندسی ایجاد می‌کند. برخی پایگاه‌های داده، مانند USDA Organic Integrity Database، فقط به‌صورت خروجی‌های دوره‌ای در دسترس‌اند. برخی دیگر، مانند OFAC، خدمات API شخص ثالث دارند که مدعی دسترسی لحظه‌ای هستند، اما «لحظه‌ای» در عمل یعنی «هر چند ساعت یک‌بار همگام‌سازی می‌کنیم».
رویکرد ما، راهبردی چندسطحی برای تازگی داده‌هاست:
سطح 1: راستی‌آزمایی با API زنده. برای بررسی‌های حیاتی انطباق، مانند غربالگری تحریم‌ها و فهرست اشخاص ممنوع از معامله، APIهای خارجی را هنگام اجرای پرس‌وجو فراخوانی می‌کنیم. نتیجه به‌اندازه داده‌های ارائه‌دهنده API تازه است. نتایج را برای مدت کوتاهی در حافظه نهان نگه می‌داریم تا پرس‌وجوهای تکراری در همان نشست راستی‌آزمایی را مدیریت کنیم، اما هرگز داده‌های قدیمی تحریم‌ها را از یک نشست به نشست دیگر ارائه نمی‌دهیم.
سطح 2: داده‌های محلی همگام‌شده. برای مجموعه‌های بزرگ داده مرجع، مانند واحدهای ارگانیک USDA، Consolidated Screening List و نمایه‌های بنادر، نسخه‌های همگام‌شده را در پایگاه داده خودمان نگهداری می‌کنیم. کارهای خودکار همگام‌سازی طبق برنامه‌های قابل تنظیم اجرا می‌شوند و تازه‌ترین داده‌ها را از منبع دریافت می‌کنند. پرس‌وجوهای محلی سریع‌اند و به در دسترس بودن منبع وابسته نیستند.
سطح 3: داده‌های مرجع ثابت. برای مجموعه‌داده‌هایی که به‌ندرت تغییر می‌کنند، مانند جداول تعرفه WTO، تعاریف کدهای HS و ویژگی‌های بنادر، داده‌های مرجع را بارگذاری می‌کنیم و در چرخه‌ای طولانی‌تر به‌روزرسانی می‌کنیم. این مجموعه‌داده‌ها به‌صورت فصلی یا سالانه تغییر می‌کنند، بنابراین تازه‌سازی روزانه بیش از نیاز است.
هر نتیجه پرس‌وجو شامل فراداده‌ای درباره تازگی داده‌هاست: آخرین زمان همگام‌سازی منبع زیربنایی و حداکثر بازه‌ای که ممکن است داده‌ها قدیمی باشند. سامانه‌های پایین‌دستی و کاربران می‌توانند بر اساس این فراداده تصمیم‌های آگاهانه بگیرند.
چالش تطبیق تقریبی
پایگاه‌های داده دولتی نمی‌دانند نام شرکت‌ها در اسناد شما چگونه نوشته شده است. اسناد شما هم نمی‌دانند پایگاه داده دولتی آن نام‌ها را چگونه نوشته است.
این مسئله ساده‌ای نیست. ممکن است یک شرکت در بارنامه با نام «Pearl White International Limited»، در پرونده OFAC با نام «PEARL WHITE INTERNATIONAL LIMITED»، در گواهی مبدأ با نام «Pearl White Intl. Ltd.» و به‌صورت دست‌نویس در فهرست بسته‌بندی با نام «Pearl White Int'l» ظاهر شود. همه این‌ها یک نهاد واحد هستند.
تطبیق مؤثر نهادها در امور انطباق مستلزم همکاری چند راهبرد است:
نرمال‌سازی. پیش از هر مقایسه، هم پرس‌وجو و هم مدخل‌های پایگاه داده نرمال‌سازی می‌شوند: یکسان‌سازی حروف بزرگ و کوچک، حذف نشانه‌گذاری، بسط اختصارات و استانداردسازی فاصله‌های سفید. این کار موارد ساده را پوشش می‌دهد.
تطبیق آوایی. نام شرکت‌هایی که تلفظ مشابه اما املای متفاوت دارند، که در نام‌های آوانویسی‌شده از خط‌های غیرلاتین رایج است، به الگوریتم‌های آوایی نیاز دارند. نام شرکتی که از حروف چینی یا عربی آوانویسی شده باشد اغلب چند املای معتبر انگلیسی خواهد داشت.
شباهت مبتنی بر توکن. به‌جای مقایسه رشته‌های کامل، نام‌ها را به توکن‌ها تقسیم می‌کنیم و میزان هم‌پوشانی را می‌سنجیم. «Pearl White International Limited» و «International Pearl White Ltd» همان توکن‌ها هستند که فقط ترتیبشان عوض شده است. رویکردهای مبتنی بر توکن، تفاوت در ترتیب واژه‌ها را به‌خوبی مدیریت می‌کنند.
رفع ابهام بر اساس زمینه. وقتی تطبیق تقریبی چند نامزد تولید می‌کند، زمینه موجود در سند به رفع ابهام کمک می‌کند. اگر سند می‌گوید شرکت در بمبئی، هند است و فقط یکی از سه مورد منطبق با «Pearl White» در هند مستقر باشد، همان مورد درست است.
خط پردازش تطبیق، هر نامزد را در چند بُعد امتیازدهی می‌کند. موارد منطبق با اطمینان بالا به‌طور خودکار وارد راستی‌آزمایی می‌شوند. موارد با اطمینان پایین، همراه با شواهد مربوط به هر نامزد، به کاربر ارائه می‌شوند.
ساخت مبدل‌ها برای منابع غیرقابل اتکا
APIهای دولتی برای استفاده تجاری با دسترس‌پذیری بالا ساخته نشده‌اند. بدون اطلاع قبلی برای نگهداری از دسترس خارج می‌شوند. محدودیت نرخ درخواست شدیدی اعمال می‌کنند. با تغییرات جزئی نسخه، قالب پاسخ را عوض می‌کنند. به‌جای پاسخ خطای مناسب، صفحه خطای HTML برمی‌گردانند.
دسترسی به هر منبع داده خارجی در سامانه ما از طریق یک لایه مبدل انجام می‌شود که این واقعیت‌ها را مدیریت می‌کند:
قطع‌کننده‌های مدار. اگر منبعی بارها دچار خطا شود، مبدل برای یک دوره توقف موقت، ارسال درخواست را متوقف می‌کند. این کار از شکست‌های زنجیره‌ای جلوگیری می‌کند: اگر یک API از دسترس خارج باشد، نمی‌خواهیم هر راستی‌آزمایی هم‌زمان در انتظار پایان مهلت درخواست‌ها معطل بماند.
کاهش کنترل‌شده قابلیت‌ها. وقتی یک منبع داده در دسترس نیست، راستی‌آزمایی با آنچه در دسترس است ادامه می‌یابد. نتیجه به‌وضوح نشان می‌دهد کدام بررسی‌ها تکمیل شده‌اند و کدام به‌دلیل در دسترس نبودن منبع انجام نشده‌اند.
اعتبارسنجی پاسخ. پیش از پردازش، هر پاسخ را با طرحواره‌های مورد انتظار اعتبارسنجی می‌کنیم. APIهای دولتی گاهی داده‌های بدساخت، بدنه‌های خالی با کد وضعیت 200 یا JSON معتبر با ساختارهای غیرمنتظره برمی‌گردانند.
تلاش مجدد با فاصله‌گذاری افزایشی. خطاهای گذرا، تلاش‌های مجدد خودکار با فاصله‌گذاری نمایی را فعال می‌کنند. راهبرد تلاش مجدد برای هر منبع تنظیم می‌شود: بعضی APIهای دولتی سریع بازیابی می‌شوند و بعضی دیگر برای مدت طولانی از دسترس خارج می‌مانند.
زنجیره راستی‌آزمایی
یک سند تجاری می‌تواند بررسی‌های راستی‌آزمایی را در پنج یا بیشتر منبع داده مستقل فعال کند. یک بارنامه ممکن است به غربالگری تحریم‌های OFAC برای همه طرف‌ها، بررسی هشدارهای وارداتی FDA، بررسی Consolidated Screening List، راستی‌آزمایی موقعیت کشتی، ردیابی کانتینر و اعتبارسنجی تعرفه نیاز داشته باشد.
این بررسی‌ها مستقل‌اند و به‌صورت موازی اجرا می‌شوند. اما پیش از ارائه نتیجه راستی‌آزمایی، همه آن‌ها باید تکمیل شوند یا به‌شکلی کنترل‌شده با خطا پایان یابند. سامانه ما همه بررسی‌های مرتبط را هم‌زمان ارسال می‌کند، وضعیت تکمیل آن‌ها را پیگیری می‌کند و با پایان یافتن بررسی‌ها، نتیجه نهایی راستی‌آزمایی را گردآوری می‌کند. بررسی‌های سریع فوراً به کاربر ارائه می‌شوند و بررسی‌های کندتر با پایان یافتنشان ظاهر می‌شوند.
لایه هماهنگ‌سازی همچنین وابستگی میان بررسی‌ها را مدیریت می‌کند. اگر غربالگری تحریم‌ها موردی منطبق با اطمینان بالا برگرداند، سامانه کل راستی‌آزمایی را نیازمند بررسی انسانی علامت‌گذاری می‌کند، صرف‌نظر از اینکه سایر بررسی‌ها چه یافته‌هایی دارند.
از داده خام تا اطلاعات قابل اقدام
خام‌ترین شکل نتیجه یک بررسی انطباق مفید نیست: «API یک شیء JSON با 3 مورد انطباق بالقوه برگرداند.» مسئول انطباق باید بفهمد این موارد چه معنایی دارند، تا چه اندازه باید به آن‌ها اطمینان داشته باشد و چه اقدامی انجام دهد.
لایه پردازش نتایج ما، پاسخ‌های خام API را به یافته‌های ساختاریافته و قابل اقدام تبدیل می‌کند:
امتیازدهی. هر مورد انطباق بر اساس شباهت نام، همبستگی جغرافیایی و تطابق نوع نهاد امتیاز می‌گیرد. انطباق نام با امتیاز 97% با نهادی تحریم‌شده در همان کشور، با انطباق 72% با نهادی در قاره‌ای دیگر بسیار متفاوت است.
قرار دادن در زمینه. نتایج در زمینه سند و راستی‌آزمایی مشخص ارائه می‌شوند. یافته‌ها شامل طرف مشخصی است که بررسی می‌شود، جزئیات نهاد منطبق و دلیل مرتبط بودن این انطباق.
اولویت‌بندی. همه یافته‌ها هم‌اهمیت نیستند. انطباق مثبت با تحریم‌ها بحرانی است. گواهی ارگانیک منقضی‌شده مهم است. اختلاف جزئی تعرفه‌ای صرفاً جنبه اطلاع‌رسانی دارد. سامانه یافته‌ها را بر اساس شدت دسته‌بندی می‌کند.
اقدامات پیشنهادی. در صورت امکان، سامانه گام‌های بعدی را پیشنهاد می‌کند: «درخواست گواهی به‌روز را در نظر بگیرید»، «شماره ثبت شرکت را مستقیماً راستی‌آزمایی کنید»، «برای بررسی موشکافانه تقویت‌شده ارجاع دهید». این کار، جست‌وجوی داده را به یک گردش کار تبدیل می‌کند.
مهندسی برای اعتماد
چالش بنیادی اتصال هوش مصنوعی به پایگاه‌های داده دولتی فنی نیست، بلکه به اعتماد مربوط است. متخصصان انطباق از نظر قانونی مسئول تصمیم‌های راستی‌آزمایی خود هستند. باید بتوانند اعتماد کنند که داده‌ها به‌روزند، تطبیق دقیق است، نتایج کامل‌اند و سامانه محدودیت‌های خود را شفاف بیان می‌کند.
هر تصمیم طراحی در لایه داده انطباق ما در خدمت این اصل است. زمان‌مهر تازگی داده‌ها را نشان می‌دهیم. امتیازهای انطباق را توضیح می‌دهیم. در دسترس نبودن منابع را اعلام می‌کنیم. هرگز نتایج ناقص را کامل جلوه نمی‌دهیم.
ایجاد این اعتماد به دقت مهندسی‌ای نیاز دارد که فراتر از درست بودن پاسخ در بیشتر مواقع باشد. باید هر بار پاسخ درست ارائه شود و درباره زمان‌هایی که پاسخ نامطمئن است، صادقانه برخورد شود.
Atlas Verified به ده‌ها پایگاه داده دولتی و نظارتی متصل می‌شود تا راستی‌آزمایی لحظه‌ای انطباق تجاری را ممکن کند. لایه داده انطباق ما، پیچیدگی زیرساخت پراکنده دولتی را مدیریت می‌کند تا متخصصان انطباق بتوانند بر تصمیم‌ها تمرکز کنند، نه گردآوری داده.