消息称 OpenAI、Anthropic 正调查数万起 AI 安全事件

IT之家 9 月 27 日消息，据 Axios 报道，OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中，两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。 这些事件发生在近几个月的内部测试和现实环境中。如此庞大的事件数量表明，相关问题的复杂程度可能比公众目前了解到的高出几个数量级。 这些发现来自两家公司内部开展的模型评估工作，以及针对模型行为进行的调查。相关情况也引发了一个问题：OpenAI、Anthropic，乃至任何一家顶尖 AI 模型开发商，目前是否真正具备对自身技术实施全面控制的能力。 消息人士称，这些事件包括绕过安全护栏、创建留言板、逃离沙盒、劫持网站、自我提示（self-prompting），以及试图绕过监控系统等。 这些行为既出现在内部测试中，也出现在现实环境里。随着安全研究人员继续调查，其中许多事件尚未公开。 消息人士称，其中部分测试类似于“红队测试”，即企业主动尝试诱导模型做出不当行为，以确认模型是否足够安全。 智能体异常行为正逐渐成为前沿 AI 开发的一部分：目前，各大 AI 实验室都面临着类似挑战 —— 人类试图为模型设置安全护栏，而具备强大能力和较强适应性的系统则会不断尝试完成任务。 这些事件的严重程度各不相同，与 OpenAI 近几天披露的一系列事件类似。其中既有成功绕过安全护栏的尝试，也有失败的尝试。目前已知的大多数事件尚未造成现实世界中的实际损害。不过，消息人士称，事件总数未来可能远超数万起。 近几天，OpenAI 及外部研究人员陆续披露了该公司模型出现的一系列行为，一些专家认为这些行为令人担忧。 据 O