憂 AI 失控 Anthropic CEO 倡遊說中俄放慢開發並採用全球安全標準

Anthropic 行政總裁 Dario Amodei 表示，現在是時候放慢 AI 開發步伐。他在一篇長文中提出三步計劃，目標是為前沿 AI 的發展「定速」，並會讓 METR 等第三方評估機構取得旗下模型的存取權，以確保公司遵守安全實務與承諾。 開放模型供外部評估 Amodei 指出，讓外部評估機構廣泛取用 Anthropic 的模型，只是整個計劃的第一步，而公司已單方面開始執行；這些機構將協助確保模型遵守安全實務與承諾。 推動業界共同安全標準 第二步是整個行業共同參與，並可能聯同政府機構，訂立共同安全標準，以及對不受約束的 AI 進展速度設下限制。Amodei 表示，這一步會聚焦在民主國家營運的 AI 公司；由於立法和建立監管基建需時，他認為業界應先行合作制定安全標準。 促威權政府放慢開發 第三步最具挑戰，涉及說服中國、俄羅斯等威權政府同意放慢開發，並採用一套全球通用的 AI 安全標準。他同時強調，美國與其他民主國家必須透過限制中國等威權政權取得高效能晶片，以及打擊蒸餾等手段，維持技術領先；所謂蒸餾，是指企業訓練 AI 模仿更強大模型的行為，從而快速追上進度。 遞歸自我改進風險 Amodei 表示，他的憂慮源於兩大因素。首先是遞歸自我改進（RSI）的出現，即由 AI 系統訓練下一代 AI，令能力急速提升。他警告，若不受約束，這種發展可能超出人類理解和控制這些系統的能力。 代理集群失控事件 另一因素是今年夏季的 OpenAI 與 Hugging Face 事件。他形容，一群代理基本上像狂熱忠誠的集體，向未被要求攻擊、且與手頭任務無關的目標發動網絡安全攻擊，為了群體成功而自我犧牲