AI 行业目前流行一种模式:给语言模型工具访问权限,让它自行判断调用什么。演示时效果出色,生产环境却会崩溃。
Atlas Verified 的 AI 智能体可访问超过 100 项专用工具 — 政府合规数据库、船舶跟踪 API、制裁筛查服务、贸易数据提供商、集装箱跟踪系统等。每项工具存在,是因为合规专业人员需要这一具体数据点作出核验决策。工程挑战不是构建工具,而是确保每次都以正确顺序、正确输入调用正确工具。
本篇解析大规模工具编排的实际问题,以及我们为解决这些问题开发的工程模式。
工具数量激增的问题
智能体只有 5 项工具时,工具选择很简单。模型读取各工具说明,选择正确工具并调用。但规模超过 20、50、100 项工具时,就会出现问题。
首先是上下文窗口问题。每项工具都需要在系统提示中提供说明、参数模式和使用指南。100+ 项工具意味着,用户问题进入上下文之前就消耗了数万个词元。模型花在阅读工具文档上的时间比思考问题还多。
其次是选择准确性问题。语言模型擅长在少量区别明显的选项中选择,却不擅长在数十项名称相似的工具中选择。当多项制裁检查和筛查工具名称重叠时,模型往往选错,或调用返回重叠数据的多个工具。
第三是成本和延迟问题。提示中的每项工具说明消耗词元。每次不必要的工具调用都会消耗外部服务 API 调用,而许多服务按请求收费。只需 3 项工具却调用 8 项的智能体,成本高且速度慢。
为什么静态路由无效
简单的解决方案是静态路由:对用户问题进行模式匹配,路由至预设工具集。“检查这家公司”触发制裁筛查。“跟踪这个集装箱”触发船舶跟踪。“核验这份证书”触发 USDA 查询。
实践中这种方式立即失效。考虑问题:“能核验这份来自印度的有机证书吗?”静态路由可能触发 USDA 有机数据库查询,这很合理。但合规专业人员还想知道:认证机构是否被制裁?该国产品是否有有效 FDA 进口警报?出口商是否出现在任何被禁止交易方名单中?申报路线是否存在贸易异常?
一个用户问题可能合理需要五项或更多、涵盖完全不同领域的工具。静态路由要么遗漏关键检查,要么过度触发所有工具,再次造成成本和准确性问题。
上下文极为重要。“告诉我这家公司的情况”会因用户正在查看提单、有机证书,或进行一般研究对话而有完全不同的含义。同一句话在不同上下文中需要不同工具。
双层架构:选择与执行
我们的方案通过两个不同模型层,将工具选择与工具执行分开。
选择层 使用快速、低成本模型。它唯一的任务是查看用户问题、对话上下文和可用工具的简明清单,再决定此次互动应提供哪些工具。它不调用工具,只决定执行模型可以访问哪些工具。
选择模型看到每项工具的精简表示:一行说明、返回哪些数据、有哪些局限。这比完整参数模式紧凑得多,因此可评估全部 100+ 项工具,而不遇到上下文限制。通常会选择与当前问题相关的 8-12 项工具。
执行层 使用能力更强的推理模型。它只接收选择层选出的工具,并附完整参数模式和使用指南。因为处理的是聚焦工具集而非整个目录,它能更好地决定调用哪些工具、采用什么顺序和参数。
这种分离带来可衡量的好处。选择仅需不到一秒,成本很低。执行模型获得清晰、聚焦的上下文,错误减少。采用这一架构后,每次互动的总工具调用数显著下降。
基于能力的过滤
除了双层选择,系统中每项工具都会声明其能力,即可执行的任务类型。工具可能声明适用于合规检查、贸易情报、文件分析或货运跟踪。
系统确定用户意图后,过滤工具目录,仅保留能力匹配的工具。选择模型甚至不会看到与当前任务类型无关的工具。
这有一个微妙但重要的原因:语言模型容易受暗示。如果上下文存在制裁筛查工具,即使用户只是询问简单运输路线问题,模型也可能决定运行制裁检查。选择前移除无关工具,可消除整类不必要调用。
质量反馈循环
工具选择只是成功的一半。另一半是确保工具返回有用结果,并知道结果无用时如何处理。
每次工具执行后,系统评估结果质量。常见失败情况包括:
空结果。 工具成功运行,却没有返回数据。这可能意味着数据库中不存在该实体(有效且有信息价值的发现),也可能是查询构造不当(应修正并重试的问题)。
低置信度匹配。 模糊名称搜索返回结果,但匹配评分低于阈值。系统必须决定将其展示为潜在匹配,还是弃用并尝试不同搜索策略。
样本量不足。 贸易数据查询只返回一个来源的结果,而可靠性要求交叉核查多个来源。系统识别这一缺口,并可促使额外工具调用来补足。
质量检查失败时,系统向智能体推理循环注入指导。这不是简单重试,而是定向重试,说明哪里出错,并建议如何重新构造查询。
逐步交付结果
贸易合规核验本质上有多个步骤。用户上传提单并要求智能体核验。智能体需要对照制裁名单检查发货人、核验有机认证、查询船舶当前位置、检查商品的 FDA 进口警报,并核实关税分类。这些检查耗时不同。
我们不让用户等所有检查完成才看到任何内容,而是逐步流式呈现结果。每项工具返回时,结果立即格式化并交付用户界面。用户先看到制裁结果,再看到船舶数据和有机认证状态,每项准备好时即呈现为结构化卡片。
将所有结果结合成叙述摘要的最终综合步骤,仅在所有工具完成后运行。
自动核验:形成闭环
文件经过 OCR 流程时,提取系统识别关键数据点 — NOP ID、公司名称、船舶标识、集装箱编号、港口代码、HS 编码。每个数据点映射至具体核验工具。
系统不等待用户提出“核验这份文件”,而是预先计算核验提示。当用户开启关于文件的对话时,智能体已经知道调用哪些工具及其参数。这大幅缩短核验时间:智能体无需先阅读文件、识别实体,再判断检查什么。它已有可立即执行的核验计划。
原则
构建这一系统让我们明确了几项可广泛适用于 AI 智能体工程的原则:
将选择与执行分开。 不要让推理模型同时承担路由模型的职责。用低成本、快速模型分类,用高成本、高能力模型推理。
减少选择,提高准确度。 在 10 项匹配良好的工具中选择的模型,每次都优于在 100 项工具中选择的模型。应投入资源,在选择前做好过滤。
不仅执行前核实,也要执行后核实。 工具调用会以无法预料的方式失败。建立质量反馈循环,检测不良结果并指导重试。
流式呈现,而非批量等待。 用户应在结果到达时就看到它们。逐步交付不只是改善用户体验,更从根本上改变用户与核验数据的互动方式。
明确表达意图。 不要让模型自行推断“好”是什么样。明确告诉它。目标规划将开放式探索转化为定向核验。
Atlas Verified 的 AI 智能体编排 100+ 项专用核验工具,自动开展全球供应链贸易合规检查。
