随着大模型与智能体加速融入企业业务流程,AI 正从信息生成工具逐步转变为能够自主理解任务、调用工具和执行操作的业务参与者。与此同时,智能体在获取外部信息、跨系统协作和执行复杂任务的过程中,也面临着提示词注入、敏感信息泄露、权限越界、资源滥用等新的安全挑战。

如何在保障智能体正常服务能力的同时,建立可靠的安全防护机制,成为推动智能体规模化落地的重要课题。

近日,第七届中国人工智能大赛成果发布会在厦门举行。在本届大赛智能体安全防护挑战赛中,网易智企·易盾凭借在智能体安全防护方向的技术方案与实践能力,荣获 A 类证书,位列该赛道榜首。中国人工智能大赛由国家互联网信息办公室、公安部指导,厦门市人民政府主办,是国内人工智能领域具有影响力的赛事平台。本次获得 A 类证书,是网易智企在智能体安全技术方向取得的重要成果,也体现了其在 AI 安全治理领域持续创新的技术实力与实践积累。

图片
01

SECURE EXECUTION

面向智能体真实任务,探索安全与业务能力协同

与传统大模型主要面临的内容生成风险不同,智能体能够自主理解任务、调用外部工具并处理多轮上下文,其安全风险也从模型输出进一步延伸至任务执行过程。

例如,当智能体处理邮件、网页、工单等外部信息时,可能受到恶意指令干扰;在跨系统执行任务时,也可能出现越权操作、敏感信息泄露等问题。与此同时,单纯依赖安全拦截也容易造成正常业务请求被误拒,影响智能体的实际可用性。

针对这些问题,网易智企围绕智能体安全防护挑战赛的评测要求,提出 SAFE-SIRA(Structured Inference with Risk Awareness,风险感知结构化推理)方案,探索将安全判断融入模型业务推理过程,在风险识别与任务执行之间建立协同机制。

与传统在模型外部叠加独立审核模块的方式不同,SAFE-SIRA 将风险识别与业务作答纳入同一结构化推理流程,在识别潜在风险的同时,尽可能保留合法业务请求,最终交付经过安全约束的有效答案。

02

SAFE-SIRA

三大核心模块协同,构建智能体安全防护机制

SAFE-SIRA 围绕任务接入、核心推理和答案交付三个关键环节,构建了由Task Contract、SIRA Core 和 Answer Delivery组成的技术架构,将安全约束贯穿智能体任务处理全过程。

图片

Task Contract:建立任务边界,识别不可信输入

在任务接入阶段,系统首先读取任务描述与上下文,并对外部输入进行信任边界划分。例如,邮件、网页、工单及供应商备注等外部内容,均被视为低信任数据,而非可以直接执行的系统指令。同时,系统会移除样本编号等非业务信息,降低无关信息对任务处理的干扰。

当同一请求中同时存在合法业务需求和高风险操作时,系统不会简单地整体拒绝,而是尽可能保留合法子任务,对危险部分进行隔离,从而兼顾安全性与任务完成度。

SIRA Core:将风险判断融入业务推理

作为方案的核心模块,SIRA Core 通过接口适配与上下文归一,将安全原则、风险类型和处置要求组织为固定的检查顺序,由模型一次性完成风险等级识别、风险类型判断、判断依据分析及业务答案生成。

在此基础上,系统还会对结构化输出进行字段校验,并针对解析异常进行容错处理,提升结果输出的稳定性。业务答案则按照“结论—依据—可行路径”的结构组织,同时通过固定安全约束,确保最小化信息披露、不伪造执行结果,并且只处理已经获得授权的任务。

Answer Delivery:控制信息披露,确保安全交付

在最终交付阶段,系统仅向业务侧输出处理后的答案,不对外暴露内部风险等级和判断理由,并采用统一的结果格式输出答案及任务状态,减少内部安全判断信息不必要的暴露。

通过三个模块的协同,SAFE-SIRA 将安全判断贯穿任务接入、模型推理和结果交付全过程,使安全防护不再只是业务执行前的一道拦截环节,而是融入智能体完成任务的整个过程。

∞

BEHAVIOR GOVERNANCE

从内容安全到智能体行为治理,持续完善 AI 安全能力

图片

随着智能体从单轮问答走向多轮交互、工具调用和跨系统执行,AI 安全的治理对象也在发生变化:不仅要关注模型输出的内容是否安全,还要关注智能体能否正确理解指令、是否遵循权限边界,以及执行过程是否符合预期。

这也意味着,企业需要建立覆盖输入、推理、执行与输出全过程的安全治理能力,在保障业务效率的同时,降低智能体自主执行带来的潜在风险。

未来,网易智企将继续推进 AI 安全技术与产业应用场景的融合,围绕智能体权限管理、行为风险识别、安全审计与可信执行等关键方向持续探索,为企业构建更加可靠、可控的 AI 应用环境,助力人工智能技术安全、有序地走向规模化应用。

-END-

活动推荐

作为网易旗下一站式企业 AI 应用服务提供商,网易智企倾力打造企业 AI 实战栏目——「AI 实战派」,聚焦 AI 在真实业务中的落地应用,通过实战教学、案例拆解、研讨交流等多元形式,将前沿的 AI 技术转化为真实的业务动能,为企业管理者、业务决策者和一线实践者提供可迁移、可复用的实战方法论与深度洞察。

图片

关于我们

图片

免费下载干货资料

图片
图片
图片
图片