News
Anthropic:已阻止利用AI研发潜在生物武器的尝试 9月11日,据《金融时报》报道,随着专家越来越担心AI对公共安全构成的威胁,Anthropic公司表示, 已在今年阻止了多起科学家利用其技术开展相关研究的尝试,这些研究可能有助于研发
1 min read
Source: Telegram AI频道
Anthropic:已阻止利用AI研发潜在生物武器的尝试 9月11日,据《金融时报》报道,随着专家越来越担心AI对公共安全构成的威胁,Anthropic公司表示, 已在今年阻止了多起科学家利用其技术开展相关研究的尝试,这些研究可能有助于研发生物武器。 Anthropic Anthropic列举了五个案例。在这些案例中,相关行为者“绕过了管控措施”,并采取了其他手段来“混淆”其研究目的,以规避安全防护措施。 Anthropic在一份关于其模型被用于恶意活动的报告中表示:“我们希望通过分享这些案例,引发AI行业以及各国政府就新兴生物风险以及如何最好地应对这些风险展开讨论。” 该公司提供的AI可能被滥用于生物领域的案例研究包括,一名来自“不受支持地区”的研究人员使用Anthropic的AI模型Claude,用“数周时间规划”涉及禽流感的实验。Anthropic表示,其安全过滤机制将这项研究限制在性能最弱的模型上。 Anthropic强调,它无法确定上述案例中的科学家是否有意造成伤害。研发制造生物武器所需的相同信息,也可能被用于研发疫苗。 Anthropic表示,已封禁报告中提到的相关账户,但没有透露这些研究人员所属研究机构的名称,也没有公布事件发生的国家。 本周早些时候,一场围绕AI安全的舆论风暴拉开帷幕。Anthropic安全研究人员雅各布·考克森(Jacob Coxon)宣布辞职,称该公司的开发人员“真心相信AI可能在这个十年结束前杀死我们所有人”。 今年早些时候,随着Anthropic的Mythos等先进模型的发布,人们对这项技术的担忧开始升级。OpenAI也在7月引发恐慌,当时它表示其模型已自主入侵了AI公司Hugging Face。 随着AI模型日益先进,AI高管和生物安全研究人员之间正形成越来越广泛的共识:AI技术在生物学领域的应用需要进行安全防护和监管。专家越来越担心,AI可能被恐怖组织、国家行为体或独狼式袭击者用来制造生物武器、创造病毒或释放现存的有害病原体。 但是,即便AI能够被用于设计一种理论上的生物武器,仍存在一些潜在障碍,例如能否在现实中将其制造出来,