https://www.microsoft.com/en-us/security/blog/2026/10/19/agents-are-your-newest-insiders-security-must-move-at-their-speed/ [!quote]+ “智能体”(Agents)正迅速成为工作流程的重要组成部分。它们能够支持多种任务,从编写代码、调研产品,到分析营收、处理费用,乃至在支撑业务运营的各类系统中执行操作。为了发挥最大效用,智能体往往需要访问公司数据、应用程序、工具以及其他智能体;这种访问权限赋予了它们更强的能力,但同时也可能带来内部风险。 这并非意味着智能体本质上是恶意的。它们只是功能强大的工具,用户可以授予它们访问重要系统的权限。智能体可能会出错、被操纵,或遭到入侵。它们的模型输出结果可能存在波动,所处的上下文环境会发生变化,执行计划也会在运行过程中不断演进。一个在任务开始时按预期运行的智能体,可能会随着上下文或输入的变化而表现出不同的行为。根据设计与部署方式的不同,智能体能够以机器的速度和规模持续运行。 微软董事长兼首席执行官萨提亚·纳德拉(Satya Nadella)最近阐述了这一新时代所必需的“信任架构”:我们必须将“智能的提供”与“对智能的管控权限”分离开来。我们不应让模型自身充当安全管控的主体。那些用于决定模型可访问哪些资源、可执行哪些操作,以及是否应继续运行的管控机制,必须置于模型之外,确保模型无法绕过或篡改这些机制。 [!quote]+ “Perception”项目——保障“智能体内部成员”(Agentic Insider)的安全 我们此前推出了“Perception”项目及微软网络安全技术栈,旨在帮助各类组织利用智能体(Agents)加强防御。如今,我们将“Perception”的适用范围进一步扩展,以保障“智能体内部成员”的安全。“守护智能体”(Guardian Agents)能够协助安全团队以机器级的速度和规模实现持续运营;与此同时,贯穿整个网络安全技术栈的传感器、上下文信息及执行组件,则有助于洞察智能体风险的动态变化,并据此持续调整防护策略。通过共享信号、上下文信息以及统一的注册机制,“Perception”项目与“Microsoft Agent 365”能够为IT和安全团队提供关于智能体及其风险的一致性视图,并赋予他们所需的各项管控能力。 这基于一项简单的安全原则:利用确定性的控制措施、独立的证据以及隔离边界,将非确定性的智能体(agent)包围起来。我们应预设智能体可能会发生故障或遭到入侵,并对其进行持续监控。在智能体执行操作前,应尽可能精简并按需设定其权限;同时,随着风险的变化,动态调整这些权限。 这需要在身份、权限、数据、终端、网络、云环境和运行时(runtime)等多个层面提供全面保护。系统承担着四项持续性的职责: 明确系统中存在哪些智能体、其归属方是谁、存在的原因是什么,以及它们正在执行什么操作。 在智能体执行操作前,对其可访问的范围和行为能力进行限制。 保护智能体所涉及路径上的数据、工具、运行时环境、资源及系统。 根据行为、上下文环境和风险的变化,持续调整保护措施。 这并非指四款独立的产品或四个按顺序执行的阶段,而是各项机制协同运作的过程。证据会改变风险评估,风险评估进而调整策略,而策略则决定了智能体被允许执行的操作范围。以一个“费用审批智能体”为例:它或许需要读取费用报销申请、核对相关政策并审批常规报销,但它不应自动继承其所属员工的所有权限。从一开始,就必须明确其身份、运行时环境、访问路径以及限定于特定任务的权限范围。如果该智能体后续遭遇“提示词注入”(prompt injection)攻击,或试图执行超出任务范围的操作,系统应做出相应的响应:例如,在允许安全读取的同时禁止写入操作;缩小其可访问的资源范围;针对关键步骤要求人工确认;或者在风险达到一定程度时,将其隔离并终止运行。这就是“持续隔离”(continuous containment)在实践中的具体体现。 1 个帖子 - 1 位参与者 阅读完整话题


  • 情报分类:技术学习与提效
  • 分类依据:内容涉及技术、AI、软件工具或工程实践
  • 信息来源:服务器 / LINUX DO - 最新话题
  • 发布时间:2026/10/20 09:42:09