蚂蚁集团与五所高校合作推出智能体安全评估平台

蚂蚁集团与五所高校合作推出智能体安全评估平台

正文:

人工智能智能体正在从单纯的“回答问题”转变为“调用工具、操控系统、执行实际业务”。随着智能体开始与网页、电子邮件、文件、API和业务系统进行连接,安全风险的范畴也随之扩大,不再仅限于模型的错误回答,而是可能演变为智能体的错误执行,包括误删文件、泄露密钥、外发数据、污染长期记忆,甚至引发真实的业务损失。

为了解决“智能体能否在复杂真实环境中高效完成任务并保持安全底线”这一重要问题,智能体安全评估平台Agent3σ正式推出。该项目由蚂蚁集团与清华大学、北京大学、浙江大学、南京大学以及杭州电子科技大学共同开发,旨在为OpenClaw类智能体构建一个多层次、可复现且贴近生产环境的安全评估能力。

项目现已开源,欢迎大家参与、反馈和共同建设。

01 为什么需要Agent3σ?

传统的大模型安全评估主要关注模型输出的合规性,但智能体的核心风险往往存在于“执行链路”中:它会读取环境、规划任务、调用工具,并对外部世界产生影响。

因此,Agent3σ的评估视角从简单的问答升级为系统级风险评估,重点关注三个核心问题:

这意味着Agent3σ不仅评估模型是否会拒绝执行某些操作,更加关注在真实任务链路中,智能体是否会带来实际的风险后果。

02 七大风险维度:全面覆盖智能体的真实攻击面

Agent3σ将智能体在真实使用中可能面临的安全风险归纳为七大类、30多个典型场景,覆盖从本地系统到金融交易,从即时攻击到长期污染的完整风险面。

03 三级评估体系:逐步深入,重现真实风险

为了涵盖从模型训练、红队测试到上线验收的不同阶段,Agent3σ构建了一个递进式的三级评估体系。

三级体系分别回答三个问题:模型是否能够识别风险,智能体是否会在交互过程中失守,以及在真实环境中是否会产生外部影响。三者结合后,可以形成从信号级、过程级到环境级的完整安全图谱。

蚂蚁集团与五所高校合作推出智能体安全评估平台

04 首批榜单:多层次评估揭示真实安全水平

Agent3σ统一使用可横向对比的核心指标:

初步榜单显示,多层次评估能够揭示仅凭静态问答难以察觉的真实差异:

05 典型案例:网页间接提示词注入如何导致数据外发?

以“访问网页并总结内容”为例,网页中可能潜藏着间接提示词注入,诱导智能体在后续步骤中读取邮箱摘要,并尝试将敏感信息发送到外部端点。

在Agent3σ中,同一安全问题将在三个层级下逐步验证:

这种递进式设计有助于将“看似安全”的模型回答与“实际执行中的安全性”区分开来。

06 面向产业:为模型、应用与治理提供安全基准

Agent3σ的发布,推动AI智能体安全评估从单一的Prompt攻防,迈入全任务链路的可观测、可量化、可比较的新阶段。

未来,Agent3σ将不断扩展风险样本库、工具链和场景覆盖,逐步推出更多评估能力,与社区及行业伙伴共同构建智能体时代的安全基础。

本项目由清华大学、北京大学、浙江大学、南京大学、杭州电子科技大学与蚂蚁集团共同参与。

蚂蚁集团与五所高校合作推出智能体安全评估平台

来源:移动支付网

锦鲤(KoiPayment)原创作品,发布者:锦鲤KoiPayment,转载请注明出处:https://koipayment.com/2026/05/25/%e8%9a%82%e8%9a%81%e9%9b%86%e5%9b%a2%e4%b8%8e%e4%ba%94%e6%89%80%e9%ab%98%e6%a0%a1%e5%90%88%e4%bd%9c%e6%8e%a8%e5%87%ba%e6%99%ba%e8%83%bd%e4%bd%93%e5%ae%89%e5%85%a8%e8%af%84%e4%bc%b0%e5%b9%b3%e5%8f%b0/

锦鲤KoiPayment
上一篇 2026年5月25日 下午7:30
下一篇 2026年5月25日 下午7:31

相关推荐

评论列表(8条)

  • 柬埔寨华人 2026年5月25日 下午7:30

    这个智能体安全评估平台真是个好主意!希望能有效减少潜在的安全风险。

  • 越南阿明 2026年5月25日 下午7:30

    蚂蚁集团和高校的合作果然厉害,这样的联合会推动技术进步吗?

  • 吃瓜群众 2026年5月25日 下午7:30

    智能体的应用越来越广泛,安全问题也越来越重要,期待这个平台的实际效果!

  • 资深分析 2026年5月25日 下午7:30

    这篇文章提到的安全风险让我意识到,人工智能的管理非常关键。

  • 区块链爱好者 2026年5月25日 下午7:30

    期待这个平台能帮助更多的企业解决智能体带来的安全隐患!

  • 东南亚打工人 2026年5月25日 下午7:30

    清华和北大的参与让人放心,科研单位联合企业一定会有好的成果。

  • 业内人士 2026年5月25日 下午7:31

    这个平台不仅能评估安全性,能不能增加更多功能,比如优化智能体的表现呢?

  • 支付行业老兵 2026年5月25日 下午7:31

    看了这个平台的介绍,觉得我们需要更多这样的技术创新来保障信息安全!

    了解 锦鲤(KoiPayment) 的更多信息

    立即订阅以继续阅读并访问完整档案。

    继续阅读

    商务咨询