Actualmente hay un patrón popular en IA: dar acceso a herramientas a un modelo y dejar que decida qué llamar. Funciona de maravilla en demostraciones. Falla en producción.
En Atlas Verified, nuestro agente de IA tiene acceso a más de 100 herramientas especializadas: bases gubernamentales de cumplimiento, API de seguimiento de buques, servicios de revisión de sanciones, proveedores de datos comerciales, sistemas de contenedores y más. Cada herramienta existe porque un profesional necesita ese dato concreto para decidir una verificación. El reto de ingeniería es garantizar que se llame a las herramientas correctas, en el orden correcto y con las entradas correctas, siempre, además de crearlas.
Esta publicación analiza problemas reales de orquestación a escala y los patrones de ingeniería que desarrollamos para resolverlos.
El problema de la proliferación de herramientas
Con 5 herramientas, seleccionar es trivial. El modelo lee descripciones, elige la adecuada y la llama. Pero algo falla al superar 20, 50, 100 herramientas.
Primero está el problema de la ventana de contexto. Cada herramienta necesita descripción, esquema de parámetros y pautas de uso en la instrucción del sistema. Con 100+ herramientas, se consumen decenas de miles de tokens antes de que la pregunta entre en el contexto. El modelo dedica más tiempo a leer documentación que a pensar en el problema.
Segundo, está el problema de precisión al seleccionar. Los modelos de lenguaje eligen bien entre pocas opciones claramente diferenciadas. Eligen mal entre decenas de herramientas de nombres similares. Con herramientas cuyos nombres se solapan para comprobaciones y revisión de sanciones, el modelo suele elegir la incorrecta o llamar varias que devuelven datos repetidos.
Tercero, están coste y latencia. Cada descripción consume tokens. Cada llamada innecesaria consume consultas API a servicios externos, muchos de pago por solicitud. Un agente que llama 8 herramientas cuando bastan 3 es caro y lento.
Por qué no funciona el enrutamiento estático
La solución ingenua es el enrutamiento estático: detectar patrones en la pregunta y dirigirla a conjuntos predeterminados. «Compruebe esta empresa» activa revisión de sanciones. «Rastree este contenedor» activa seguimiento de buques. «Verifique este certificado» activa consulta USDA.
En la práctica, falla inmediatamente. Considere «¿Puede verificar este certificado orgánico de India?». Un enrutador estático podría activar consulta de la base orgánica USDA, algo razonable. Pero un profesional también quiere saber: ¿está sancionado el certificador? ¿Hay alertas FDA activas para el producto de ese país? ¿El exportador figura en listas de partes restringidas? ¿Hay anomalías comerciales en la ruta declarada?
Una pregunta puede requerir legítimamente cinco o más herramientas de ámbitos totalmente distintos. El enrutamiento estático omite comprobaciones críticas o activa todo en exceso, volviendo a los problemas de coste y precisión.
El contexto importa enormemente. «Hábleme de esta empresa» significa cosas distintas según si el usuario consulta un conocimiento de embarque, un certificado orgánico o mantiene una conversación de investigación general. Las mismas palabras requieren distintas herramientas en cada contexto.
Arquitectura de dos capas: selección y ejecución
Nuestra solución separa selección y ejecución mediante dos capas de modelos distintas.
La capa de selección usa un modelo rápido y económico. Su única tarea es examinar la pregunta, el contexto de conversación y un manifiesto compacto de herramientas, y elegir cuáles deben estar disponibles para esta interacción. No llama herramientas: decide a cuáles tendrá acceso el modelo ejecutor.
El modelo de selección ve una representación simplificada de cada herramienta: descripción de una línea, datos que devuelve y limitaciones. Es mucho más compacta que esquemas completos, así que puede evaluar las 100+ herramientas sin límites de contexto. Suele seleccionar 8-12 relevantes para la pregunta.
La capa de ejecución usa un modelo de razonamiento más capaz. Recibe solo las herramientas elegidas, con esquemas completos y pautas de uso. Al trabajar con un conjunto enfocado en lugar del catálogo entero, decide mejor cuáles llamar, en qué orden y con qué parámetros.
Esta separación tiene beneficios medibles. La selección tarda una fracción de segundo y cuesta muy poco. El ejecutor ve un contexto limpio y enfocado y comete menos errores. Las llamadas totales por interacción bajaron significativamente tras introducir esta arquitectura.
Filtrado por capacidades
Además de seleccionar en dos capas, cada herramienta declara sus capacidades, los tipos de tareas que puede realizar. Puede declarar utilidad para cumplimiento, inteligencia comercial, análisis documental o seguimiento de envíos.
Cuando el sistema determina la intención, filtra el catálogo para incluir solo herramientas con capacidades coincidentes. El selector ni siquiera ve herramientas irrelevantes para el tipo de tarea.
Esto importa por un motivo sutil: los modelos son sugestionables. Si una herramienta de sanciones está en el contexto, el modelo puede decidir revisarlas aunque el usuario pregunte algo simple sobre rutas. Al eliminar herramientas irrelevantes antes de seleccionar, eliminamos una categoría entera de llamadas innecesarias.
Ciclos de retroalimentación de calidad
Seleccionar herramientas es solo la mitad. La otra es garantizar resultados útiles y saber qué hacer cuando no los hay.
Después de cada ejecución, nuestro sistema evalúa la calidad. Los fallos comunes incluyen:
Resultados vacíos. La herramienta se ejecutó bien pero no devolvió datos. Puede significar que la entidad no existe en esa base (hallazgo válido e informativo) o que la consulta estaba mal formada (problema que debe corregirse y reintentarse).
Coincidencias de baja confianza. Una búsqueda aproximada devuelve resultados, pero la puntuación está bajo el umbral. El sistema debe decidir si presentarlos como posibles coincidencias o descartarlos y probar otra estrategia.
Tamaño de muestra insuficiente. Una consulta comercial devuelve resultados de una sola fuente cuando deberían cotejarse varias para fiabilidad. El sistema reconoce esta laguna y puede activar llamadas adicionales para cubrirla.
Cuando fallan las comprobaciones de calidad, el sistema introduce orientación en el ciclo de razonamiento del agente. Es un reintento dirigido que explica el fallo y sugiere reformular la consulta, además de volver a intentarlo.
Entrega progresiva de resultados
La verificación de cumplimiento comercial implica varios pasos. Un usuario carga un conocimiento de embarque y pide verificarlo. El agente debe revisar al remitente en listas de sanciones, verificar certificación orgánica, consultar posición actual del buque, comprobar alertas FDA para la materia prima y validar clasificación arancelaria. Cada comprobación tarda distinto.
En lugar de esperar a que todo termine, entregamos resultados progresivamente. Cuando cada herramienta devuelve datos, se formatean y presentan inmediatamente. El usuario ve sanciones, luego datos del buque y estado de certificación, cada uno como tarjeta estructurada al estar listo.
La síntesis final, que produce un resumen narrativo que une todos los resultados, se ejecuta solo cuando terminan todas las herramientas.
Verificación automática: cerrar el ciclo
Al procesar documentos mediante OCR, el sistema identifica datos clave: ID NOP, nombres empresariales, identificadores de buques, números de contenedores, códigos de puertos y HS. Cada dato corresponde a herramientas específicas de verificación.
En lugar de esperar a que el usuario pida «verifique este documento», el sistema calcula de antemano indicaciones de verificación. Cuando el usuario abre una conversación documental, el agente ya sabe qué herramientas llamar y con qué parámetros. Esto reduce drásticamente el tiempo: no necesita leer, identificar entidades y decidir qué comprobar. Ya tiene un plan listo.
Los principios
Crear este sistema ha cristalizado varios principios que creemos ampliamente aplicables a la ingeniería de agentes de IA:
Separe selección y ejecución. No convierta también su modelo de razonamiento en enrutador. Use modelos baratos y rápidos para clasificar y modelos caros y capaces para razonar.
Reduzca opciones, aumente precisión. Un modelo que elige entre 10 herramientas adecuadas supera siempre a uno que elige entre 100. Invierta en filtrado previo.
Valide después de ejecutar, además de antes. Las llamadas fallan de formas impredecibles. Cree ciclos de calidad que detecten malos resultados y orienten reintentos.
Transmita progresivamente, no en lote. Los usuarios deben ver resultados al llegar. La entrega progresiva mejora la experiencia y cambia fundamentalmente cómo interactúan con datos de verificación.
Haga explícita la intención. No deje que el modelo infiera qué es «bueno». Dígaselo. Planificar objetivos convierte exploración abierta en verificación dirigida.
El agente de IA de Atlas Verified coordina 100+ herramientas especializadas para automatizar comprobaciones de cumplimiento comercial en la cadena mundial.