Genel amaçlı OCR hizmetiyle konşimentodan yapılandırılmış veri çıkarmayı denediyseniz sonucu biliyorsunuzdur: işe yaramaz. En azından güvenilir biçimde. Uluslararası ticari uyumda "güvenilir değil", "hiç değil" ile aynıdır.
Atlas Verify'da binlerce ticari belge işliyoruz — konşimentolar, organik sertifikalar, bitki sağlığı sertifikaları, menşe belgeleri, ticari faturalar, çeki listeleri ve onlarca başka tür. Başlangıçta piyasadaki tüm büyük OCR platformlarını değerlendirdik. Hepsi aynı testte başarısız oldu: özel olarak eğitilmedikleri belgeyi verdiğinizde çıktı eksikten tehlikeli derecede yanlışa kadar değişir.
Bu yazı neden özel belge işleme hattı kurduğumuzu, ticari belgeleri özellikle zor kılan şeyleri ve yaklaşımımızı yönlendiren mühendislik ilkelerini açıklıyor.
Belge Çeşitliliği Sorunu
Çoğu OCR hizmeti dar belge türleri için optimize edilir. Google Document AI fatura ve makbuzlarda iyidir. AWS Textract yapılandırılmış formları iyi işler. Azure Form Recognizer özel şablonlarla eğitilebilir. Ancak uluslararası ticaret şaşırtıcı çeşitlilikte evrak üretir.
Yalnızca sistemimizde 35'ten fazla ayrı belge türü işleriz. Konşimento organik sertifikaya hiç benzemez. USDA bitki sağlığı sertifikası AB'nin düzenlediğiyle neredeyse hiçbir yapısal benzerlik taşımaz. Bir denizcilik şirketinin varış bildirimi temiz tablolarla yapılandırılmış PDF olabilir; diğerininki el yazısı notlarla taranmış fakstır.
Kritik nokta, her belge türünün uyum doğrulaması için önemli alanlardan oluşan kendi şemasına sahip olmasıdır. Konşimento gönderici, alıcı, ihbar tarafı, konteyner numaraları, gemi adı, yükleme ve boşaltma limanları ve emtia tanımları gerektirir. Organik sertifika sertifikasyon kuruluşu, işletme adı, NOP kimliği, sertifikalı ürünler ve geçerlilik tarihleri gerektirir.
Genel OCR araçları bu şemaları anlamaz. Metin çıkarırlar. Tabloları belirleyebilirler. Ancak "MEDU4107760" dizesinin konteyner numarası veya "NOP ID: 7880315519" ifadesinin USDA Organic Integrity Database ile doğrulanması gereken kritik tanımlayıcı olduğunu bilmezler. Şema farkındalığı olmadan OCR yalnızca pahalı metin dönüşümüdür.
"Yeterince İyi" Neden Tehlikeli
Çoğu yazılımda 95% doğruluk mükemmeldir. Ticari uyumda sorumluluk riskidir.
Konteyner numarasını düşünün. Standart format (ISO 6346), dört harf ve sonuncusu kontrol basamağı olan yedi rakamdır. OCR tek karakteri yanlış okursa — "0", "O"ya; "8", "B"ye dönüşürse — numara geçersiz olur. Konteyneri takip etmeye çalışan sonraki sistemler sonuç döndürmez ve doğrulama zinciri sessizce kopar.
Aynı ilke NOP kimlikleri, HS kodları, IMO numaraları ve sertifika tarihlerinde geçerlidir. Tek karakter hatası anlamı tamamen değiştirebilir. 0901.11 HS kodu (kahve, kavrulmamış, kafeini giderilmemiş) ile 0901.12 (kahve, kavrulmamış, kafeini giderilmiş) farklı tarifeleri, düzenleyici gereklilikleri ve risk profillerini tetikler.
Mimarimiz
Belge işleme hattımız üç aşamalıdır; her biri ticari belgelendirmenin özel zorluklarında doğruluğu en üst düzeye çıkarmak için tasarlanmıştır.
Aşama 1: Belge Sınıflandırması — Veri çıkarmadan önce hangi belge türüne baktığımızı belirleriz. Bu sınıflandırma uygulanacak çıkarım şemasını, aranacak alanları ve sonuçların nasıl kontrol edileceğini belirler.
Aşama 2: Şemaya Duyarlı Veri Çıkarımı — Belge sınıflandırılınca hangi alanları arayacağını ve o belge türünde genellikle nerede göründüğünü tam olarak bilen, türe özel çıkarım modeli uygularız. Bu, her şeyi çıkarıp yorumlamayı kullanıcıya bırakan genel OCR'dan temelden farklıdır.
Aşama 3: Çapraz Geçerlilik Kontrolü — Çıkarılan veriler harici kaynaklarla otomatik karşılaştırılır. Konteyner numaraları denizcilik şirketi API'leriyle kontrol edilir. NOP kimlikleri USDA Organic Integrity Database üzerinden kontrol edilir. Liman kodları World Port Index ile doğrulanır. Bu aşama hem OCR hatalarını hem sahte verileri yakalar.
Alınan Dersler
On binlerce ticari belgeyi işledikten sonra birkaç ilke netleşti:
1. Alana özel, genel amaçlıdan üstündür. Genel OCR hizmeti kullanma girişimleri o kadar çok son işlem gerektirdi ki çıktıyı düzeltmeye, özel çözüm geliştirmekten daha fazla mühendislik zamanı harcadık.
2. Sınıflandırma temeldir. Belge türünü yanlış belirlemek sonraki her adıma yayılır. Sonrasındaki her şey buna bağlı olduğundan sınıflandırma doğruluğuna büyük yatırım yaparız.
3. Geçerlilik kontrolü veri çıkarımından önemlidir. Konteyner numarası çıkarmak faydalıdır. Gerçek gemide, doğru limanda gerçek konteyner olduğunu teyit etmek uyum açısından asıl önemli olandır.
4. Yapılandırılmış çıktı otomasyonu mümkün kılar. Amaç belgeleri insanların okuması için dijitalleştirmek değildir. Doğrudan otomatik doğrulama süreçlerine aktarılan, makinece okunabilir yapılandırılmış veri üretmektir.
Uluslararası ticaret için güvenilir belge işleme hattı geliştirmek zordur. Belgeler çeşitlidir, doğruluk gereklilikleri çok yüksektir ve hataların sonuçları önemlidir. Ancak temeldir de — geliştirdiğimiz her doğrulama yeteneği, küresel tedarik zincirlerinde mallarla taşınan belgeleri doğru okuyup anlamaya bağlıdır.