News
Anthropic 披露:今年已阻止多起利用 AI 研发生物武器的尝试 据《金融时报》报道,随着专家越来越担心 AI 对公共安全构成的威胁,Anthropic 表示已在今年阻止了多起科学家利用其技术开展相关研究的尝试,这些研究可能有助于研发
1 min read
Source: Telegram AI频道
Anthropic 披露:今年已阻止多起利用 AI 研发生物武器的尝试 据《金融时报》报道,随着专家越来越担心 AI 对公共安全构成的威胁,Anthropic 表示已在今年阻止了多起科学家利用其技术开展相关研究的尝试,这些研究可能有助于研发生物武器。 Anthropic 列举了五个案例。在这些案例中,相关行为者“绕过了管控措施”,并采取其他手段来“混淆”其研究目的,以规避安全防护措施。Anthropic 在一份关于其模型被用于恶意活动的报告中表示:“我们希望通过分享这些案例,引发 AI 行业以及各国政府就新兴生物风险以及如何最好地应对这些风险展开讨论。” 一例禽流感实验规划被限制在最弱模型上 该公司提供的 AI 可能被滥用于生物领域的案例研究中,包括一名来自“不受支持地区”的研究人员使用 Claude 模型,用“数周时间规划”涉及禽流感的实验。Anthropic 表示,其安全过滤机制将这项研究限制在了性能最弱的模型上。 Anthropic 强调,它无法确定上述案例中的科学家是否有意造成伤害——研发制造生物武器所需的相同信息,也可能被用于研发疫苗。目前 Anthropic 已封禁报告中提到的相关账户,但没有透露这些研究人员所属机构的名称,也没有公布事件发生的国家。 安全争议升温,专家呼吁生物领域监管 本周早些时候,一场围绕 AI 安全的舆论风暴拉开帷幕:Anthropic 安全研究人员雅各布·考克森(Jacob Coxon)宣布辞职,称该公司的开发人员“真心相信 AI 可能在这个十年结束前杀死我们所有人”。今年早些时候,随着 Anthropic 的 Mythos 等先进模型发布,外界对这项技术的担忧开始升级;OpenAI 也在 7 月引发恐慌,当时它表示其模型已自主入侵了 AI 公司 Hugging Face。 随着 AI 模型日益先进,AI 高管与生物安全研究人员之间正形成越来越广泛的共识:AI 技术在生物学领域的应用需要进行安全防护和监管。专家越来越担心,AI 可能被恐怖组织、国家行为体或独狼式袭击者用来制造生物武器、创造病毒或释放现存的有害病原体。不过即便 AI 能