把问题分成三段看
企业把 AI 用起来之后遇到的麻烦,几乎都能归到三段不同的位置上。这三段的症状看着像同一个问题——「AI 用起来不受控」——但解决它们的产品完全不同,买错层就是花了钱、问题还在。
第一段:模型调用
最先暴露的通常是这一段。研发自己申请了一个厂商的 API,市场部用的是另一家,财务月底收到两三张账单,每张都只有一个总额,谁花的、花在哪个项目上,谁也说不清。密钥散在个人电脑和代码仓库里,某个渠道限流或者挂掉,调用方没有兜底,业务那边直接报错。这一段是 AI 网关的主场:统一入口接多个模型、按人或部门分配额度、把每一次请求记下来、渠道故障时自动切换,很多网关还支持私有化部署,把调用日志留在内网。
判断自己是不是卡在这一段很简单:如果你现在最难回答的问题是「这个月的 AI 账单怎么分摊」「密钥到底在谁手里」,那就是这一段。
第二段:项目与执行
网关把调用这件事管住之后,第二段的问题才浮出来,而且它比第一段更难收拾。文件、上下文和产出散在每个人的账号里,同事休假,他跑过的那套流程别人接不上;Agent 用的是某个员工的凭据去读代码库和业务系统,出了问题查到的是这个人,而不是这次任务;一个任务中途失败、重试了三次、最后由人工接管改完的,这些过程没有留下记录;项目结束或者有人离职,权限收不干净,谁也不敢确认到底收完没有。
这一段网关管不到,原因不在功能多少,而在它看到的东西。网关看到的是一次次请求——哪个模型、多少 token、什么时候返回;它看不到这些请求属于哪一件事、这件事是谁批的、中间动了哪些数据、最后交给了谁。把一百条请求日志摆在面前,也还原不出一件事的全过程。这一段需要的是执行治理平台:项目工作区承载文件和上下文,Agent 有独立身份和动作级权限,敏感操作执行前要人确认,申请和回收走审批,任务级的记录包含失败、重试和人工接管,人员变动时工作区跟着项目走而不是跟着人走。
第三段:岗位与方法
前两段都解决了,还会剩一个问题:员工不知道该拿 AI 做什么。同类任务每次都从零开始描述一遍,做得好不好全看个人表达能力,一个人摸索出来的有效做法也传不到隔壁工位。这一段靠的是工作流、按角色分工的 AI 员工团队和可复用的模板,把验证过的做法固定下来。它属于前两段之上的增值层——底下两段没打好,这一层做得再漂亮也撑不住。
两类产品的覆盖范围
| 要解决的问题 | AI 网关 | 执行治理平台 |
|---|---|---|
| 多个模型统一接入 | 是 | 取决于接入方式,可保留已有网关 |
| 按人或部门分配额度 | 是 | 是,并归集到项目和任务 |
| 调用日志 | 是(按请求) | 是(按任务,含失败、重试与人工接管) |
| 项目工作区与文件上下文 | 否 | 是 |
| Agent 的动作级权限与执行前确认 | 否 | 是(取决于所选 Agent 是否支持) |
| 申请审批与权限回收 | 一般不含 | 是 |
| 人员变动时的交接 | 否 | 是,工作区属于项目 |
| 私有化部署 | 常见 | 是 |
这张表按两类产品通常覆盖的范围写,不代表某一家具体产品的功能清单;真要选型,以各家公布的文档为准。
怎么判断自己该先上哪一层
不用把两类产品的功能表摊开逐项对比,换个方法更快:把你们现在最难回答的那个问题写下来,看它落在哪一段。
举一个常见的场景。一家公司的研发团队先用起了 AI,三个月后财务提出账单要分摊到项目,这时候买网关是对的——它能把额度按部门切开、把每次调用归到人。又过了两个月,法务发现 Agent 在读取客户合同目录,问「谁批准它读这个目录的、读过哪些文件」,这个问题网关答不了,因为它只知道有人调用了模型,不知道这次调用背后的任务动了哪些文件。这时候需要的就是第二段的能力,而且这类问题往往是被外部要求(审计、合规、客户尽调)逼出来的,留给你的时间不多。
- 最难回答的是账单分摊和密钥去向——先上网关。
- 最难回答的是「这件事是谁让 AI 做的、它动了哪些数据、结果交给了谁」——需要治理层。
- 两个问题都在,预算只够一件事:先管住能造成事故的那一段,通常是权限和执行记录;账单算错了可以事后补算,数据出去了补不回来。
- 已经有网关:不用拆,治理层管理的是接入并获得授权之后的能力、权限和执行记录。
叠加使用时的分工
两类产品叠着用的时候,分工是清楚的:网关继续负责模型路由、额度和调用日志,治理层负责项目、人、权限、审批、交接和任务级记录,并把用量按人、项目、模型归集。治理层向下走到网关那一层就停住,不去替它做路由;网关也不需要知道上面那件事是谁批的。
两边都会记录,但记录的粒度不一样,这一点在对账的时候最明显。网关给你的是「10 月 14 日 15:23,用户 A 调用了某模型,输入 3200 token,输出 1100 token」;治理层给你的是「客户合同初审这项任务,由谁发起、用了哪几个模型和工具、中间失败重试过两次、第三次由人工接管改完、最终产出放在哪个项目里、总共花了多少」。按请求对账只能对出一个总数,按任务对账才知道钱花在哪件事上、值不值。
具体到权限怎么设计,见AI Agent 的权限与审计管理;用量怎么归集,见多个大模型的用量与成本管理。
常见问题
已经上了 AI 网关,还需要治理平台吗?
看你现在卡在哪一段。如果账单和密钥的问题已经解决,剩下的是项目、权限、审批和交接,那是网关覆盖不到的一层。已有网关可以保留。
AI 网关能替代执行治理平台吗?
不能完整替代。网关看到的是一次次模型调用,还原不了一件事从发起、授权、执行到验收的全过程,也不处理项目工作区和人员交接。
两套系统会不会重复记录?
会各记各的,但粒度不同:网关记请求,治理层记任务,包含失败、重试、人工接管和最终交付物。对账时以任务为单位更有意义。
只有十几个人,需要哪一层?
人数少、任务不接触内部系统时,先把顺手的工具用好。多个团队共用模型、AI 开始接触公司数据或费用要分摊时,再按上面的判断顺序选。