來源:DeepMind Blog查看原文 ↗
原文著作權歸來源方所有,本站僅作收錄、翻譯或格式整理。
事實脈絡
解讀與影響
导读摘要
Google DeepMind 联合多家机构发起一项总额 1000 万美元的研究资助计划,旨在应对未来由不同组织构建的数百万 AI 智能体在共享数字环境中交互时可能涌现的系统性安全风险。
正文
这项资助计划由 Google DeepMind、Schmidt Sciences、Cooperative AI Foundation、英国高级研究与发明局(ARIA)以及 Google.org 共同发起,面向全球征集关于多智能体 AI 安全的技术研究提案。根据 EdTech Innovation Hub 的报道,提案截止日期为 2026 年 8 月 8 日,入选项目预计在秋季公布。这标志着 AI 安全研究的前沿正从单模型评估,转向更复杂的群体交互层面。
资助方希望推动的研究方向包括:构建贴近现实的测试平台、刻画智能体网络如何失效或失稳、以及强化智能体用于相互识别和承诺的协议。网络安全公司 Rapid7 的实践从侧面印证了这类研究的紧迫性。根据 Rapid7 博客 的介绍,他们在构建用于渗透测试的多智能体架构时,投入了大量精力设计分层安全模型,包括严格的“范围执行”和“动作分类”机制,以确保攻击型智能体在授权边界内运作,这揭示了在恶意语境下维持智能体行为可控性的巨大工程难度。
长远来看,推动多智能体安全研究也符合商业逻辑。正如 TechPolicy.Press 所比喻的,期望数千艘未经调度的船只能自发形成安全航道是不切实际的,而建立航道规则本身具有明确的长期商业激励。这笔千万美元的投入,正是试图在 AI 智能体大规模部署的“航道”变得拥挤和危险之前,提前绘制出基础性的安全海图。