10月16日,Anthropic 发布了内部研究报告《How Employment Is Changing at Anthropic》,报告提出一个主要发现:AI Agent 的工作时长迅速增长。

AI 正从对话问答走向任务执行,能够自主调用工具、处理数据的 Agent,开始进入企业运营的各个环节。

据网易智企-易盾观察,大部分企业已部署多个 Agent ,有的甚至拥有五六千个 Agent 。但其中不少由员工自行部署,缺乏统一管理与安全管控。

当 AI 不只是回答问题,而是开始访问数据、调用工具、执行任务,企业该如何防范潜在风险?

AI Agent 的安全边界,究竟在哪里?


安全边界越来越多

传统 AI 安全主要关注输入是否违规、输出是否合规。

但 Agent 会拆解任务、检索信息、调用工具,并根据结果继续行动。它的风险不再只是一段错误回答,而是可能把错误信息直接写进客户系统,甚至将敏感资料发送给错误对象。

更棘手的是,恶意指令可能藏在网页、邮件或文档中。一旦 Agent 把这些不可信内容当成命令,就可能偏离原本目标。

所以,Agent 安全的关键不只是“模型有没有答错”,而是错误指令、数据泄露或权限滥用,会不会转化为真实的业务风险。

Agent 能做的事越多,安全边界就越多。


四条边界,决定 Agent 能走多远

1. 数据边界:它能看到什么?

不是所有数据都适合交给模型处理。企业需要明确哪些数据可以读取、调用和对外发送,避免客户信息、合同等敏感内容被不必要地带入模型上下文或传向外部。

2. 指令边界:它应该听谁的?

用户指令、系统规则和外部文档并不具有同等可信度。面对提示词注入,不能只靠关键词过滤,还要判断指令来源,以及实际操作是否符合原本的任务目标。

3. 工具边界:它被允许做什么?

通过 API、MCP、Skill 等工具,Agent 可以接入业务系统。权限过大可能导致越权,存在风险的第三方组件也可能成为攻击入口。工具不能“接上就能用”,而要经过审核,并根据身份、场景和权限限制调用。

4. 行为边界:执行过程有没有跑偏?

整理报告不等于可以访问所有客户档案,分析资料也不等于可以自动对外发送。企业需要持续关注异常调用和高风险操作,必要时要求二次确认、转人工或直接阻断。


企业应该怎样建立安全边界?

Agent 安全不能只靠一条提示词,而要贯穿上线前和运行中。

第一步,摸清家底。 梳理正在使用的 Agent、模型、MCP、Skill、API 及其权限关系,明确数据从哪里来、流向哪里,避免留下管理盲区。

第二步,上线前做好安全评测。 围绕提示词注入、越权调用、数据泄露和第三方组件风险开展测试,发现问题及时整改。组件版本或权限发生变化,也要重新评估。

第三步,把防护放进执行链路。 数据输出前识别敏感信息,工具调用前校验身份和权限,高风险操作要求确认,发现意图偏离及时干预。低风险正常执行,高风险及时拦截。

第四步,让每一步都有迹可循。 记录 Agent 做了什么、调用了哪些工具、访问了哪些数据、触发了哪些策略。出现问题时,才能还原过程并持续改进。

这不是为了限制 Agent,而是让它在明确的授权范围内可靠地完成任务。


让 Agent 在可控边界内创造价值

围绕 Agent 安全,易盾正将内容理解、多模态识别和风险对抗能力延伸到 Agent 的运行上下文与执行链路,覆盖资产发现、安全评测、运行时防护和审计运营,并支持通过终端、AI 安全网关等方式融入企业现有架构。

真正有效的防护,不是简单增加一道内容过滤,而是将安全判断嵌入数据输入、模型交互、工具调用和任务执行的关键节点,在风险造成实际后果前及时发现和处置。

企业不必等 Agent 大规模应用后再补安全。越早摸清资产情况、厘清权限和责任边界,越容易建立可持续的治理机制。

衡量 Agent 的价值,不只看它能独立完成多少任务,也要看企业是否敢放心地把任务交给它。

#Agent #Agent安全 #AI安全 #智能体安全

-END-


活动推荐

作为网易旗下一站式企业 AI 应用服务提供商,网易智企倾力打造企业 AI 实战栏目——「AI 实战派」,聚焦 AI 在真实业务中的落地应用,通过实战教学、案例拆解、研讨交流等多元形式,将前沿的 AI 技术转化为真实的业务动能,为企业管理者、业务决策者和一线实践者提供可迁移、可复用的实战方法论与深度洞察。

图片

关于我们


图片


免费下载干货资料


图片
图片
图片
图片

不喜欢