현재 AI 업계에는 인기 있는 방식이 있습니다. 언어 모델에 도구 접근 권한을 주고 무엇을 호출할지 스스로 알아내게 하는 것입니다. 데모에서는 훌륭하게 작동하지만 실제 운영에서는 무너집니다.
Atlas Verified의 AI 에이전트는 정부 규정 준수 데이터베이스, 선박 추적 API, 제재 심사 서비스, 무역 데이터 제공업체, 컨테이너 추적 시스템 등 100개 이상의 전문 도구에 접근할 수 있습니다. 각 도구는 규정 준수 전문가가 검증 결정을 내리는 데 해당 데이터 항목이 필요하기 때문에 존재합니다. 엔지니어링 과제는 도구를 만드는 것이 아닙니다. 매번 적절한 도구가 올바른 순서와 올바른 입력으로 호출되도록 보장하는 것입니다.
이 글에서는 대규모 도구 통합 실행의 실제 문제와 이를 해결하기 위해 개발한 엔지니어링 패턴을 분석합니다.
도구 급증 문제
에이전트에 도구가 5개 있으면 도구 선택은 간단합니다. 모델이 각 도구 설명을 읽고 적절한 도구를 선택하여 호출합니다. 그러나 20개, 50개, 100개를 넘어서면 문제가 생깁니다.
첫째, 컨텍스트 창 문제가 있습니다. 모든 도구의 설명, 매개변수 스키마, 사용 지침이 시스템 프롬프트에 필요합니다. 도구가 100+개이면 사용자의 질문이 컨텍스트에 들어오기도 전에 수만 개의 토큰이 소모됩니다. 모델은 문제를 생각하는 것보다 도구 문서를 읽는 데 더 많은 시간을 씁니다.
둘째, 선택 정확도 문제가 있습니다. 언어 모델은 명확히 구분되는 소수의 선택지 중에서 고르는 데는 능숙하지만 비슷하게 들리는 수십 개 도구 중에서 고르는 데는 약합니다. 제재 확인과 심사를 위한 여러 도구의 이름이 겹치면 모델은 잘못된 도구를 선택하거나 중복 데이터를 반환하는 여러 도구를 호출하는 경우가 많습니다.
셋째, 비용과 지연 문제가 있습니다. 프롬프트의 모든 도구 설명에는 토큰 비용이 듭니다. 불필요한 도구 호출마다 외부 서비스 API 호출 비용이 발생하며, 이들 중 많은 서비스가 요청별로 과금합니다. 3개면 충분할 때 8개 도구를 호출하는 에이전트는 비싸고 느립니다.
정적 라우팅이 작동하지 않는 이유
단순한 해결책은 정적 라우팅입니다. 사용자 질문의 패턴을 매칭하여 미리 정해진 도구 집합으로 보냅니다. "이 기업을 확인하세요"는 제재 심사를, "이 컨테이너를 추적하세요"는 선박 추적을, "이 인증서를 검증하세요"는 USDA 조회를 실행합니다.
이는 실무에서 즉시 문제를 일으킵니다. "인도의 이 유기농 인증서를 검증해 주실 수 있나요?"라는 질문을 생각해 보세요. 정적 라우터가 USDA 유기농 데이터베이스 조회를 실행하는 것은 합리적입니다. 그러나 규정 준수 전문가는 인증기관이 제재 대상인지, 해당 국가의 해당 제품에 활성 FDA 수입 경보가 있는지, 수출업체가 거래 금지 대상 목록에 있는지, 신고 경로에 무역 이상이 있는지도 알고 싶어 합니다.
사용자 질문 하나에 완전히 다른 분야의 다섯 개 이상 도구가 정당하게 필요할 수 있습니다. 정적 라우팅은 중요한 확인을 놓치거나 모든 것을 과도하게 실행하여 비용 및 정확도 문제로 되돌아갑니다.
맥락은 매우 중요합니다. "이 기업에 대해 알려주세요"는 사용자가 선하증권을 보고 있는지, 유기농 인증서를 보고 있는지, 일반적인 조사 대화를 하는지에 따라 완전히 다른 의미를 갖습니다. 같은 네 단어도 맥락마다 다른 도구가 필요합니다.
이중 계층 아키텍처: 선택과 실행
당사의 해결책은 서로 다른 두 모델 계층을 사용하여 도구 선택과 도구 실행을 분리합니다.
선택 계층 은 빠르고 저렴한 모델을 사용합니다. 유일한 역할은 사용자 질문, 대화 맥락, 이용 가능한 도구의 간결한 목록을 살펴보고 이 특정 상호작용에 어떤 도구를 제공할지 고르는 것입니다. 도구를 호출하지 않고 실행 모델이 접근할 도구만 결정합니다.
선택 모델은 각 도구의 간소화된 표현을 봅니다. 한 줄 설명, 반환 데이터, 한계입니다. 전체 매개변수 스키마보다 훨씬 간결하므로 컨텍스트 한계에 부딪히지 않고 100+ 도구를 모두 평가할 수 있습니다. 일반적으로 현재 질문과 관련된 8-12개 도구를 선택합니다.
실행 계층 은 더 뛰어난 추론 모델을 사용합니다. 선택 계층이 고른 도구만 전체 매개변수 스키마 및 사용 지침과 함께 받습니다. 전체 목록 대신 집중된 도구 집합을 사용하므로 어떤 도구를 어떤 순서와 매개변수로 호출할지 더 잘 결정합니다.
이 분리 방식에는 측정 가능한 이점이 있습니다. 선택은 일 초의 일부 시간 안에 이루어지며 비용이 매우 적습니다. 실행 모델은 깔끔하고 집중된 컨텍스트를 보며 오류가 줄어듭니다. 이 아키텍처를 도입한 뒤 상호작용당 총 도구 호출 수가 크게 감소했습니다.
기능 기반 필터링
이중 계층 선택 외에도 시스템의 모든 도구는 수행할 수 있는 작업 유형인 기능을 선언합니다. 도구는 규정 준수 확인, 무역 인텔리전스, 문서 분석, 화물 추적에 유용하다고 선언할 수 있습니다.
시스템이 사용자 의도를 파악하면 기능이 일치하는 도구만 포함하도록 도구 목록을 필터링합니다. 선택 모델은 현재 작업 유형과 무관한 도구를 아예 보지 않습니다.
이는 미묘한 이유로 중요합니다. 언어 모델은 영향을 받기 쉽습니다. 제재 심사 도구가 컨텍스트에 있으면 사용자가 운송 경로에 대한 간단한 질문을 할 때도 모델이 제재 확인을 실행하기로 결정할 수 있습니다. 선택 전에 무관한 도구를 제거하면 불필요한 도구 호출의 한 유형 전체를 없앨 수 있습니다.
품질 피드백 루프
도구 선택은 과제의 절반일 뿐입니다. 나머지 절반은 도구가 유용한 결과를 반환하도록 하고 그렇지 않을 때 무엇을 할지 아는 것입니다.
모든 도구 실행 후 시스템은 결과 품질을 평가합니다. 흔한 실패 유형은 다음과 같습니다.
빈 결과. 도구는 성공적으로 실행되었지만 데이터를 반환하지 않았습니다. 이는 해당 데이터베이스에 개체가 없다는 유효하고 유익한 결과일 수도 있고 질의가 잘못 구성되어 수정하고 재시도해야 하는 문제일 수도 있습니다.
신뢰도가 낮은 일치. 유사 이름 검색이 결과를 반환하지만 매칭 점수가 임계값 미만입니다. 시스템은 이를 잠재적인 일치로 제시할지 아니면 버리고 다른 검색 전략을 시도할지 결정해야 합니다.
불충분한 표본 크기. 신뢰성을 위해 여러 출처를 교차 대조해야 하는데 무역 데이터 질의가 하나의 출처에서만 결과를 반환합니다. 시스템은 이 공백을 인식하고 이를 채우는 추가 도구 호출을 유도할 수 있습니다.
품질 확인이 실패하면 시스템은 지침을 에이전트의 추론 루프에 다시 주입합니다. 단순한 재시도가 아니라 무엇이 잘못되었는지 설명하고 질의를 어떻게 다시 구성할지 제안하는 방향성 있는 재시도입니다.
점진적인 결과 전달
무역 규정 준수 검증은 본질적으로 여러 단계로 이루어집니다. 사용자가 선하증권을 업로드하고 에이전트에 검증을 요청합니다. 에이전트는 화주를 제재 목록과 대조하고 유기농 인증을 검증하며 선박의 현재 위치를 조회하고 원자재의 FDA 수입 경보를 확인하며 관세 분류를 검증해야 합니다. 이 확인들은 각각 소요 시간이 다릅니다.
아무것도 표시하지 않고 모든 확인이 완료될 때까지 기다리게 하는 대신 결과를 점진적으로 전송합니다. 각 도구가 반환되면 결과를 즉시 형식화하여 사용자 인터페이스에 전달합니다. 사용자는 제재 결과, 선박 데이터, 유기농 인증 상태가 차례로 나타나는 것을 보며 각 결과는 준비되는 순간 체계적인 카드로 표시됩니다.
모든 결과를 연결하는 서술형 요약을 생성하는 최종 종합 단계는 모든 도구가 완료된 후에만 실행됩니다.
자동 검증: 순환 구조 완성
문서가 OCR 파이프라인을 통과하면 추출 시스템은 NOP ID, 기업명, 선박 식별자, 컨테이너 번호, 항만 코드, HS 코드 같은 주요 데이터 항목을 식별합니다. 각 데이터 항목은 특정 검증 도구에 매핑됩니다.
사용자가 "이 문서를 검증하세요"라고 요청하기를 기다리지 않고 시스템은 검증 힌트를 미리 계산합니다. 사용자가 문서에 대한 대화를 열면 에이전트는 어떤 도구를 어떤 매개변수로 호출할지 이미 알고 있습니다. 검증까지 걸리는 시간이 크게 줄어듭니다. 에이전트가 문서를 읽고 개체를 식별한 뒤 무엇을 확인할지 파악할 필요가 없습니다. 실행할 검증 계획이 이미 준비되어 있습니다.
원칙
이 시스템을 구축하면서 AI 에이전트 엔지니어링에 폭넓게 적용될 것으로 보는 몇 가지 원칙이 명확해졌습니다.
선택과 실행을 분리하세요. 추론 모델이 라우팅 모델 역할까지 맡게 하지 마세요. 분류에는 저렴하고 빠른 모델을, 추론에는 비싸고 뛰어난 모델을 사용하세요.
선택지를 줄여 정확도를 높이세요. 잘 맞는 10개 도구 중에서 선택하는 모델은 매번 100개 도구 중에서 선택하는 모델보다 뛰어납니다. 선택 전 필터링에 투자하세요.
실행 전뿐 아니라 실행 후에도 검증하세요. 도구 호출은 예측할 수 없는 방식으로 실패합니다. 잘못된 결과를 탐지하고 재시도를 안내하는 품질 피드백 루프를 구축하세요.
일괄 처리 대신 결과를 전송하세요. 사용자는 결과가 도착하는 대로 볼 수 있어야 합니다. 점진적인 전달은 사용자 경험 개선에 그치지 않고 사용자가 검증 데이터와 상호작용하는 방식을 근본적으로 바꿉니다.
의도를 명확히 하세요. 모델이 "좋은 결과"의 모습을 추론하게 하지 마세요. 알려주세요. 목표 계획은 개방적인 탐색을 방향성 있는 검증으로 전환합니다.
Atlas Verified의 AI 에이전트는 100+ 전문 검증 도구를 통합 실행하여 세계 공급망 전반의 무역 규정 준수 확인을 자동화합니다.