Yapay zekâ sektöründe popüler bir yaklaşım var: dil modeline araç erişimi verip hangisini çağıracağını kendisinin bulmasını sağlamak. Demolarda harika çalışır. Üretimde dağılır.
Atlas Verified'da yapay zekâ ajanımız 100'den fazla uzmanlaşmış araca erişir — resmi uyum veri tabanları, gemi takibi API'leri, yaptırım tarama hizmetleri, ticaret verisi sağlayıcıları, konteyner takip sistemleri ve daha fazlası. Her araç, uyum uzmanının doğrulama kararı için o belirli veriye ihtiyacı olduğundan vardır. Mühendislik zorluğu araçları geliştirmek değildir. Her seferinde doğru araçların doğru sırada, doğru girdilerle çağrılmasını sağlamaktır.
Bu yazı büyük ölçekte araç orkestrasyonunun gerçek sorunlarını ve çözmek için geliştirdiğimiz mühendislik örüntülerini ele alır.
Araç Sayısının Patlaması Sorunu
Ajanın 5 aracı varsa seçim basittir. Model her aracın açıklamasını okur, doğru olanı seçer ve çağırır. Ancak 20, 50, 100 aracın ötesine geçince bir şeyler bozulur.
Öncelikle bağlam penceresi sorunu vardır. Her araç sistem komutunda açıklama, parametre şeması ve kullanım yönlendirmesi gerektirir. 100+ araçta kullanıcı sorusu daha bağlama girmeden on binlerce belirteç tüketilir. Model sorunu düşünmekten çok araç belgelerini okumaya zaman harcar.
İkinci sorun seçim doğruluğudur. Dil modelleri belirgin biçimde farklı birkaç seçenek arasından seçimde iyidir. Benzer görünen onlarca araç arasından seçimde kötüdür. Yaptırım kontrolleri ve tarama için adları örtüşen birden fazla araç olduğunda model sıkça yanlışını seçer veya örtüşen veri döndüren birden fazla aracı çağırır.
Üçüncü sorun maliyet ve gecikmedir. Komuttaki her araç açıklaması belirteç tüketir. Gereksiz her araç çağrısı, çoğu istek başına ücretli harici hizmetlere API çağrısı maliyeti getirir. 3 araç yeterliyken 8 çağıran ajan pahalı ve yavaştır.
Sabit Yönlendirme Neden İşe Yaramaz
Basit çözüm sabit yönlendirmedir: kullanıcı sorusunu örüntüyle eşleştirip önceden belirlenmiş araç setlerine yönlendirmek. "Bu şirketi kontrol et" yaptırım taramasını, "Bu konteyneri takip et" gemi takibini, "Bu sertifikayı doğrula" USDA sorgulamasını tetikler.
Bu, uygulamada hemen bozulur. "Hindistan'dan bu organik sertifikayı doğrulayabilir misiniz?" sorusunu düşünün. Sabit yönlendirici USDA organik veri tabanı sorgulamasını tetikleyebilir — makul. Ancak uyum uzmanı şunları da bilmek ister: Sertifikasyon kuruluşu yaptırıma tabi mi? O ülkeden ürün için aktif FDA ithalat uyarıları var mı? İhracatçı yasaklı taraf listelerinde yer alıyor mu? Beyan edilen rotada ticaret anomalileri var mı?
Tek kullanıcı sorusu tamamen farklı alanlarda beş veya daha fazla aracı haklı olarak gerektirebilir. Sabit yönlendirme ya kritik kontrolleri kaçırır ya her şeyi gereğinden fazla tetikler; bu da maliyet ve doğruluk sorunlarına geri götürür.
Bağlam çok önemlidir. "Bu şirketi anlat", kullanıcı konşimentoya, organik sertifikaya bakıyor veya genel araştırma sohbeti yapıyor olmasına göre tamamen farklı anlamlara gelir. Aynı ifade her bağlamda farklı araçlar gerektirir.
İki Katmanlı Mimari: Seçim ve Çalıştırma
Çözümümüz, iki ayrı model katmanıyla araç seçimini araç çalıştırmadan ayırır.
Seçim katmanı hızlı, ucuz model kullanır. Tek görevi kullanıcı sorusuna, konuşma bağlamına ve mevcut araçların kısa listesine bakıp bu etkileşimde hangi araçların kullanılabilir olması gerektiğini seçmektir. Araçları çağırmaz — çalıştırma modelinin hangilerine erişeceğine karar verir.
Seçim modeli her aracın sadeleştirilmiş temsilini görür: tek satır açıklama, döndürdüğü veriler ve sınırları. Bu, tam parametre şemalarından çok daha kısadır; böylece model bağlam sınırına takılmadan 100+ aracın tümünü değerlendirebilir. Genellikle mevcut soruyla ilgili 8-12 araç seçer.
Çalıştırma katmanı daha yetenekli akıl yürütme modeli kullanır. Yalnızca seçim katmanının seçtiği araçları tam parametre şemaları ve kullanım yönlendirmesiyle alır. Tüm katalog yerine odaklı araç setiyle çalıştığından hangisini, hangi sırada ve hangi parametrelerle çağıracağına daha iyi karar verir.
Bu ayrım ölçülebilir faydalar sağlar. Seçim saniyenin küçük bölümünü alır ve çok az maliyetlidir. Çalıştırma modeli temiz, odaklı bağlam görür ve daha az hata yapar. Bu mimariyi ekledikten sonra etkileşim başına toplam araç çağrısı önemli ölçüde düştü.
Yeteneğe Göre Filtreleme
İki katmanlı seçimin ötesinde sistemimizdeki her araç yeteneklerini, yani yapabileceği görev türlerini bildirir. Araç, uyum kontrolleri, ticaret istihbaratı, belge analizi veya sevkiyat takibi için yararlı olduğunu bildirebilir.
Sistem kullanıcı niyetini belirlediğinde araç kataloğunu yalnızca eşleşen yeteneklere sahip araçları içerecek şekilde filtreler. Seçim modeli mevcut görev türüyle ilgisiz araçları hiç görmez.
Bunun ince bir nedeni vardır: dil modelleri yönlendirilmeye açıktır. Bağlamda yaptırım tarama aracı varsa kullanıcı sevkiyat rotaları hakkında basit soru sorsa bile model yaptırım kontrolü yapmaya karar verebilir. Seçimden önce ilgisiz araçları kaldırarak gereksiz çağrıların tüm bir sınıfını ortadan kaldırırız.
Kalite Geri Bildirim Döngüleri
Araç seçimi işin yalnızca yarısıdır. Diğer yarısı araçların yararlı sonuçlar döndürmesini sağlamak ve döndürmediklerinde ne yapacağını bilmektir.
Her araç çalıştırmadan sonra sistemimiz sonuç kalitesini değerlendirir. Yaygın hata türleri şunlardır:
Boş sonuçlar. Araç başarıyla çalıştı, ancak veri döndürmedi. Bu, tüzel kişinin veri tabanında bulunmadığını (geçerli ve bilgilendirici bulgu) veya sorgunun kötü oluşturulduğunu (düzeltilip yeniden denenmesi gereken sorun) gösterebilir.
Düşük güvenli eşleşmeler. Yaklaşık ad araması sonuç döndürür, ancak eşleşme puanı eşik altındadır. Sistem bunları olası eşleşme olarak sunmaya mı, yoksa atıp farklı arama stratejisi denemeye mi karar vermelidir.
Yetersiz örneklem büyüklüğü. Güvenilirlik için birden fazla kaynak karşılaştırılmalıyken ticaret verisi sorgusu yalnızca tek kaynaktan sonuç döndürür. Sistem bu boşluğu tanır ve doldurmak için ek araç çağrıları isteyebilir.
Kalite kontrolleri başarısız olduğunda sistem ajan akıl yürütme döngüsüne yeniden yönlendirme ekler. Bu basit yeniden deneme değildir — neyin yanlış gittiğini açıklayan ve sorguyu yeniden kurmayı öneren yönlendirilmiş denemedir.
Sonuçları Aşamalı Sunma
Ticari uyum doğrulaması doğası gereği çok adımlıdır. Kullanıcı konşimento yükleyip ajandan doğrulamasını ister. Ajan göndericiyi yaptırım listelerinde kontrol etmeli, organik sertifikayı doğrulamalı, geminin güncel konumunu sorgulamalı, emtia için FDA ithalat uyarılarını kontrol etmeli ve tarife sınıflandırmasının geçerliliğini kontrol etmelidir. Bu kontroller farklı süreler alır.
Kullanıcıya bir şey göstermeden önce tüm kontrolleri bekletmek yerine sonuçları aşamalı aktarırız. Her araç döndüğünde sonuçları hemen biçimlendirilip kullanıcı arayüzüne iletilir. Kullanıcı önce yaptırım sonuçlarını, sonra gemi verilerini, sonra organik sertifika durumunu görür; her biri hazır olur olmaz yapılandırılmış kart olarak sunulur.
Tüm sonuçları birleştiren anlatı özeti üreten son sentez adımı, ancak tüm araçlar tamamlandıktan sonra çalışır.
Otomatik Doğrulama: Döngüyü Tamamlamak
Belgeler OCR hattımızda işlendiğinde çıkarım sistemi önemli verileri belirler — NOP kimlikleri, şirket adları, gemi tanımlayıcıları, konteyner numaraları, liman kodları, HS kodları. Her veri noktası belirli doğrulama araçlarına eşlenir.
Kullanıcının "bu belgeyi doğrula" demesini beklemek yerine sistem doğrulama ipuçlarını önceden hesaplar. Kullanıcı belge hakkında konuşma açtığında ajan hangi araçları hangi parametrelerle çağıracağını zaten bilir. Bu, doğrulamaya ulaşma süresini ciddi azaltır: ajanın belgeyi okuması, varlıkları belirlemesi ve neyi kontrol edeceğini bulması gerekmez. Çalıştırılmaya hazır doğrulama planı vardır.
İlkeler
Bu sistemi geliştirmek, yapay zekâ ajan mühendisliğine genel olarak uygulanabileceğini düşündüğümüz birkaç ilkeyi netleştirdi:
Seçimi çalıştırmadan ayırın. Akıl yürütme modelini yönlendirme modeli olarak da kullanmayın. Sınıflandırma için ucuz, hızlı modelleri; akıl yürütme için pahalı, yetenekli modelleri kullanın.
Seçenekleri azaltın, doğruluğu artırın. İyi eşleşen 10 araç arasından seçen model, her seferinde 100 araç arasından seçeni geride bırakır. Seçimden önce filtrelemeye yatırım yapın.
Yalnızca önce değil, çalıştırmadan sonra da doğrulayın. Araç çağrıları öngöremeyeceğiniz biçimlerde başarısız olur. Kötü sonuçları tespit edip yeniden denemeleri yönlendiren kalite geri bildirim döngüleri oluşturun.
Toplu değil, akış hâlinde sunun. Kullanıcılar sonuçları geldikçe görmelidir. Aşamalı sunum yalnızca kullanıcı deneyimi iyileştirmesi değildir — kullanıcıların doğrulama verileriyle etkileşimini temelden değiştirir.
Niyeti açıklaştırın. Modelin "iyi"nin nasıl göründüğünü çıkarmasına izin vermeyin. Söyleyin. Hedef planlama açık uçlu araştırmayı yönlendirilmiş doğrulamaya dönüştürür.
Atlas Verified'ın yapay zekâ ajanı, küresel tedarik zincirinde ticari uyum kontrollerini otomatikleştirmek için 100+ uzmanlaşmış doğrulama aracını birlikte çalıştırır.