Source: DeepMind BlogView original ↗
Copyright remains with the original source. This site only collects, translates, or reformats the material.
What happened
Analysis and impact
导读摘要
Google DeepMind 联合多家机构发起一项总额 1000 万美元的研究资助计划,旨在应对未来由不同组织构建的数百万 AI 智能体在共享数字环境中交互时可能涌现的系统性安全风险。
正文
这项资助计划由 Google DeepMind、Schmidt Sciences、Cooperative AI Foundation、英国高级研究与发明局(ARIA)以及 Google.org 共同发起,面向全球征集关于多智能体 AI 安全的技术研究提案。根据 EdTech Innovation Hub 的报道,提案截止日期为 2026 年 8 月 8 日,入选项目预计在秋季公布。这标志着 AI 安全研究的前沿正从单模型评估,转向更复杂的群体交互层面。
资助方希望推动的研究方向包括:构建贴近现实的测试平台、刻画智能体网络如何失效或失稳、以及强化智能体用于相互识别和承诺的协议。网络安全公司 Rapid7 的实践从侧面印证了这类研究的紧迫性。根据 Rapid7 博客 的介绍,他们在构建用于渗透测试的多智能体架构时,投入了大量精力设计分层安全模型,包括严格的“范围执行”和“动作分类”机制,以确保攻击型智能体在授权边界内运作,这揭示了在恶意语境下维持智能体行为可控性的巨大工程难度。
长远来看,推动多智能体安全研究也符合商业逻辑。正如 TechPolicy.Press 所比喻的,期望数千艘未经调度的船只能自发形成安全航道是不切实际的,而建立航道规则本身具有明确的长期商业激励。这笔千万美元的投入,正是试图在 AI 智能体大规模部署的“航道”变得拥挤和危险之前,提前绘制出基础性的安全海图。