智能体安全
蚂蚁集团与五所高校合作推出智能体安全评估平台
正文: 人工智能智能体正在从单纯的“回答问题”转变为“调用工具、操控系统、执行实际业务”。随着智能体开始与网页、电子邮件、文件、API和业务系统进行连接,安全风险的范畴也随之扩大,不再仅限于模型的错误回答,而是可能演变为智能体的错误执行,包括误删文件、泄露密钥、外发数据、污染长期记忆,甚至引发真实的业务损失。 为了解决“智能体能否在复杂真实环境中高效完成任务…
正文: 人工智能智能体正在从单纯的“回答问题”转变为“调用工具、操控系统、执行实际业务”。随着智能体开始与网页、电子邮件、文件、API和业务系统进行连接,安全风险的范畴也随之扩大,不再仅限于模型的错误回答,而是可能演变为智能体的错误执行,包括误删文件、泄露密钥、外发数据、污染长期记忆,甚至引发真实的业务损失。 为了解决“智能体能否在复杂真实环境中高效完成任务…