Ticari uyum doğrulaması teoride basit görünür: belgeden veri alın, yetkili resmi veri tabanlarıyla kontrol edin, sonuçları raporlayın. Uygulamada bu "yetkili resmi veri tabanları", eskiyen sistemler, tutarsız API'ler, güvenilmez çalışma süreleri ve çok farklı veri formatlarından oluşan parçalı bir yapıdır.
Atlas Verified'da ticari belgeleri gerçek zamanlı doğrulamak için onlarca resmi ve düzenleyici veri kaynağına bağlanıyoruz. Her entegrasyon savunmacı mühendislik dersi oldu. Bu yazı, güvenilmez resmi altyapı üzerinde güvenilir sistemler kurarken öğrendiklerimizi paylaşıyor.
Genel Görünüm
Uluslararası ticaret uyumu, her biri kendi erişim yöntemleriyle kendi veri tabanlarını tutan birden fazla ABD resmi kurumunu ilgilendirir:
USDA Organic Integrity Database. ABD'deki organik sertifika durumu için temel kaynak. Her sertifikalı organik işletmeyi, sertifikasyon kuruluşunu, sertifika kapsamını ve güncel durumunu içerir. Gerçek zamanlı API yoktur. USDA, indirilmesi, ayrıştırılması ve kendi veri tabanınıza yüklenmesi gereken tek ve çok büyük bir CSV dosyası yayımlar. Güncellemeler sizin değil, USDA'nın takvimine göre gerçekleşir.
OFAC Specially Designated Nationals (SDN) Listesi. ABD Hazine Bakanlığının Office of Foreign Assets Control birimi tarafından tutulur. Uluslararası ticaret yapan her işletme yasal olarak karşı taraflarını bu listeye karşı taramak zorundadır. XML indirmeleri ve üçüncü taraf API hizmetleriyle sunulur. Jeopolitik durumlar geliştikçe liste sık değişir.
FDA İthalat Uyarıları. Food and Drug Administration, belirli ürünleri, şirketleri veya ülkeleri artırılmış denetim ya da fiziksel inceleme olmaksızın alıkoyma için işaretleyen ithalat uyarıları yayımlar. OpenFDA API üzerinden JSON olarak sunulur; ancak veri modeli karmaşıktır ve uyarılar, firmalar ve ürünler arasındaki ilişki her zaman açık değildir.
Consolidated Screening List (CSL). Trade.gov tarafından tutulan bu kaynak, OFAC SDN, BIS Entity List, BIS Denied Persons ve ITAR Debarred dâhil farklı kurumlardan 11 ayrı tarama listesini birleştirir. JSON API olarak sunulur; ancak temel listelerin her biri farklı alan yapıları ve eşleştirme kriterlerine sahiptir.
WTO Tarife Verileri. World Trade Organization'ın Tariff Download Facility hizmeti, ülke ve HS koduna göre En Çok Kayrılan Ülke tarife oranlarını sağlar. Ticari faturalarda beyan edilen gümrük vergisi oranlarının geçerliliğini kontrol etmek için yararlıdır. Gerçek zamanlı API olarak değil, indirilebilir veri setleri olarak sunulur.
Bu kaynakların her biri farklı veri formatları kullanır, farklı takvimlerde güncellenir, farklı güvenilirlik özelliklerine sahiptir ve farklı sorgu stratejileri gerektirir. Birleşik resmi uyum API'si yoktur. Ya kendiniz kurarsınız ya da sahip olmazsınız.
Veri Güncelliği Sorunu
Uyum görevlisi bir şirketin yaptırım listesinde olup olmadığını kontrol ederken yanıtın güncel olduğunu bilmek ister. Geçen hafta itibarıyla değil — şu an itibarıyla güncel.
Bu, mühendislik açısından bir gerilim yaratır. USDA Organic Integrity Database gibi bazı veri tabanları yalnızca dönemsel dışa aktarımlar olarak sunulur. OFAC gibi diğerlerinin gerçek zamanlı erişim iddia eden üçüncü taraf API hizmetleri vardır; ancak "gerçek zamanlı" aslında "birkaç saatte bir eşitliyoruz" anlamına gelir.
Yaklaşımımız kademeli güncellik stratejisidir:
Kademe 1: Canlı API doğrulaması. Yaptırım taraması ve yasaklı taraf listeleri gibi kritik uyum kontrollerinde sorgu anında harici API'leri çağırırız. Sonuç API sağlayıcısının verileri kadar günceldir. Aynı doğrulama oturumundaki tekrarlanan sorgular için sonuçları kısa süre önbelleğe alırız, ancak oturumlar arasında eski yaptırım verisi sunmayız.
Kademe 2: Eşitlenmiş yerel veriler. USDA organik işletmeleri, Consolidated Screening List ve liman endeksleri gibi büyük referans veri setleri için kendi veri tabanımızda eşitlenmiş kopyalar tutarız. Otomatik eşitleme işleri yapılandırılabilir takvimlerle çalışarak kaynaktan en son verileri alır. Yerel sorgular hızlıdır ve kaynağın erişilebilirliğine bağlı değildir.
Kademe 3: Sabit referans verileri. WTO tarife çizelgeleri, HS kodu tanımları ve liman özellikleri gibi seyrek değişen veri setleri için referans verilerini yükler, daha uzun döngüde güncelleriz. Bunlar üç aylık veya yıllık değiştiği için günlük güncellik aşırıdır.
Her sorgu sonucu veri güncelliğine ilişkin üst veriler içerir: temel kaynağın son eşitlenme zamanı ve azami eskime aralığı. Sonraki sistemler ve kullanıcılar bu üst verilere dayanarak bilgili kararlar verebilir.
Yaklaşık Eşleştirme Zorluğu
Resmi veri tabanları belgelerinizin şirket adlarını nasıl yazdığını bilmez. Belgeleriniz de resmi veri tabanlarının onları nasıl yazdığını bilmez.
Bu basit bir sorun değildir. Tek şirket konşimentoda "Pearl White International Limited", OFAC kaydında "PEARL WHITE INTERNATIONAL LIMITED", menşe belgesinde "Pearl White Intl. Ltd." ve çeki listesinde el yazısıyla "Pearl White Int'l" olarak görünebilir. Hepsi aynı tüzel kişidir.
Uyumda etkili tüzel kişi eşleştirmesi, birlikte çalışan birden fazla strateji gerektirir:
Normalleştirme. Karşılaştırmadan önce sorgu ve veri tabanı kayıtları normalleştirilir: büyük-küçük harf birleştirme, noktalama kaldırma, kısaltma açma, boşluk standartlaştırma. Bu, kolay vakaları çözer.
Fonetik eşleştirme. Benzer duyulan ancak farklı yazılan şirket adları — Latin dışı alfabelerden çevrilen adlarda yaygındır — fonetik algoritmalar gerektirir. Çince veya Arapça karakterlerden aktarılan şirket adı genellikle birden fazla geçerli İngilizce yazıma sahiptir.
Sözcük tabanlı benzerlik. Tam dizeleri karşılaştırmak yerine adları sözcüklere ayırır ve örtüşmeyi ölçeriz. "Pearl White International Limited" ve "International Pearl White Ltd" aynı sözcüklerdir, yalnızca sıraları değişmiştir. Sözcük tabanlı yaklaşımlar sıralama değişikliklerini başarıyla işler.
Bağlama göre belirsizlik giderme. Yaklaşık eşleştirme birden fazla aday üretirse belgedeki bağlam belirsizliği giderir. Belge şirketin Mumbai, Hindistan'da olduğunu söylüyor ve üç "Pearl White" eşleşmesinden yalnızca biri Hindistan'daysa doğru olan odur.
Eşleştirme hattı her adayı birden fazla boyutta puanlar. Yüksek güvenli eşleşmeler otomatik doğrulamaya ilerler. Düşük güvenli eşleşmeler her adayın kanıtlarıyla kullanıcıya sunulur.
Güvenilmez Kaynaklar için Bağdaştırıcılar Oluşturmak
Resmi API'ler yüksek erişilebilirlikli ticari kullanım için geliştirilmez. Bildirim olmadan bakıma girerler. İstek hızını sert biçimde sınırlarlar. Küçük sürüm değişikliklerinde yanıt formatlarını değiştirirler. Uygun hata yanıtları yerine HTML hata sayfaları döndürürler.
Sistemimizdeki her harici veri kaynağına bu gerçekleri yöneten bağdaştırıcı katmanı üzerinden erişilir:
Devre kesiciler. Kaynak tekrar tekrar başarısız olursa bağdaştırıcı bir bekleme süresi boyunca istek göndermeyi durdurur. Bu zincirleme hataları önler — bir API kapalıysa tüm eşzamanlı doğrulamaların zaman aşımını bekleyerek takılmasını istemeyiz.
Kontrollü işlev azaltma. Veri kaynağı erişilemez olduğunda doğrulama mevcut verilerle devam eder. Sonuç hangi kontrollerin tamamlandığını ve hangilerinin kaynak erişilemezliği nedeniyle atlandığını açıkça belirtir.
Yanıt geçerlilik kontrolü. İşlemeden önce her yanıtı beklenen şemalara karşı kontrol ederiz. Resmi API'ler bazen bozuk veriler, 200 durum koduyla boş gövdeler veya beklenmedik yapılarda geçerli JSON döndürür.
Artan beklemeyle yeniden deneme. Geçici hatalar üstel artan beklemeyle otomatik yeniden denemeyi tetikler. Strateji kaynağa göre ayarlanır — bazı resmi API'ler hızla düzelir, diğerleri uzun süre kapalı kalır.
Doğrulama Zinciri
Tek ticari belge beş veya daha fazla bağımsız veri kaynağında kontroller tetikleyebilir. Konşimento tüm taraflar için OFAC yaptırım taraması, FDA ithalat uyarısı kontrolleri, Consolidated Screening List kontrolleri, gemi konumu doğrulaması, konteyner takibi ve tarife geçerlilik kontrolü gerektirebilir.
Bu kontroller bağımsızdır ve paralel çalışır. Ancak doğrulama sonucu sunulmadan önce hepsinin tamamlanması veya kontrollü biçimde başarısız olması gerekir. Sistemimiz uygulanabilir tüm kontrolleri eşzamanlı gönderir, tamamlanma durumlarını takip eder ve kontroller bitince nihai sonucu birleştirir. Hızlı kontroller kullanıcıya hemen iletilir, yavaş olanlar bitince görünür.
Orkestrasyon katmanı kontroller arasındaki bağımlılıkları da yönetir. Yaptırım taraması yüksek güvenli eşleşme döndürürse diğer kontroller ne bulursa bulsun sistem tüm doğrulamayı insan incelemesi gerektiriyor diye işaretler.
Ham Veriden Harekete Geçirilebilir İstihbarata
Uyum kontrolü sonucunun en ham biçimi faydasızdır: "API, 3 olası eşleşmeyle JSON nesnesi döndürdü." Uyum görevlisi eşleşmelerin anlamını, ne kadar güvenmesi gerektiğini ve hangi adımı atacağını anlamalıdır.
Sonuç işleme katmanımız ham API yanıtlarını yapılandırılmış, harekete geçirilebilir bulgulara dönüştürür:
Puanlama. Her eşleşme ad benzerliği, coğrafi ilişki ve tüzel kişi türü eşleşmesine göre puanlanır. Aynı ülkedeki yaptırıma tabi tüzel kişiyle 97% ad eşleşmesi, başka kıtadaki tüzel kişiyle 72% eşleşmeden çok farklıdır.
Bağlama yerleştirme. Sonuçlar belirli belge ve doğrulama bağlamında sunulur. Bulgular kontrol edilen tarafı, eşleşen tüzel kişinin ayrıntılarını ve eşleşmenin neden ilgili olduğunu içerir.
Önceliklendirme. Tüm bulgular eşit değildir. Pozitif yaptırım eşleşmesi kritiktir. Süresi dolmuş organik sertifika önemlidir. Küçük tarife farkı bilgilendiricidir. Sistem bulguları önem derecesine göre sınıflandırır.
Önerilen adımlar. Mümkün olduğunda sistem sonraki adımları önerir: "Güncel sertifika istemeyi değerlendirin", "Şirket sicil numarasını doğrudan doğrulayın", "Gelişmiş durum tespiti incelemesine yönlendirin." Böylece veri sorgusu iş akışına dönüşür.
Güven için Mühendislik
Yapay zekâyı resmi veri tabanlarına bağlamanın temel zorluğu teknik değil, güvenle ilgilidir. Uyum uzmanları doğrulama kararlarından yasal olarak sorumludur. Verilerin güncel, eşleştirmenin doğru, sonuçların eksiksiz olduğuna ve sistemin sınırları konusunda şeffaflığına güvenmeleri gerekir.
Uyum veri katmanımızdaki her tasarım kararı bu ilkeye hizmet eder. Veri güncelliği zaman damgalarını gösteririz. Eşleşme puanlarını açıklarız. Kaynakların erişilemez olduğunu bildiririz. Eksik sonuçları asla eksiksiz diye sunmayız.
Bu güveni oluşturmak, çoğu zaman doğru yanıtı almanın ötesinde mühendislik titizliği gerektirir. Her seferinde doğru yanıtı almak ve yanıt belirsiz olduğunda dürüst olmak gerekir.
Atlas Verified gerçek zamanlı ticari uyum doğrulaması için onlarca resmi ve düzenleyici veri tabanına bağlanır. Uyum veri katmanımız parçalı resmi altyapının karmaşıklığını yönetir; böylece uyum uzmanları veri toplamaya değil kararlara odaklanabilir.