Anthropic新AI红客来了！只用人类1/235的请求量，就找到严重漏洞

智东西 编译 | 黄菲 编辑 | 江宇 智东西11月13日消息，今日，Anthropic公布了一套名为Anvil的自动化红队测试系统。该系统基于Claude构建，能够自主寻找模型安全防护机制中的漏洞，并在生物安全、网络安全和信息安全三个领域展开测试。Anthropic称，Anvil在多项测试中的表现已经超过人类红队测试人员，部分漏洞发现速度从数周缩短至数小时。 ▲Anthropic官方技术博文。Source: Anthropic 随后，Anthropic安全与AI安全研究员Javier Rando也在X平台发文介绍了这项工作，并感谢了Anthropic官方技术文章列出的前三位共同作者Nate Rahn、Chawin Sitawarin和David Huang的贡献。 从Anthropic公开的结果来看，Anvil在多个领域都取得了较好的表现。 在生物安全测试中，Anvil在24组测试组合中有23组找到了严重程度更高的越狱方案，剩余1组与人类测试人员持平；在网络安全测试中，Anvil成功突破了24组任务与模型组合的安全防护，耗时仅0.5至3.5小时；在信息安全测试中，Anvil仅发送435次请求，就找到了首个实质性推理信息泄露漏洞，而人工专家需要约10.22万次请求。 Anvil发布后，也引发了网友对自动化红队及模型安全问题的讨论。 有网友担心，自动化红队测试发现的越狱漏洞，也可能暴露Anthropic自身AI训练数据中的缺陷； 还有网友调侃，所谓越狱不过是“包装得更好听的程序漏洞”。 也有人认为，即使引入自动化测试，越狱问题依然会存在。 Anthropic称，Anvil不仅能帮助研究人员