新闻
OpenAI 傳年底前推出最多兩款新模型 旗艦型號仍待對齊及安全評估
1 分钟阅读
有報道指,OpenAI 可能在今年年底前推出「一至兩款新模型」,但公司正在開發的「重大升級模型」是否名列其中,目前仍未明朗。《The Information》引述熟悉相關項目的人士報道此事。 旗艦型號仍待對齊與安全評估 新旗艦型號距離推出可能仍有一段時間。該型號需要完成對齊工作,使其目標與 OpenAI 研究人員及客戶的期望一致;公司亦須鞏固圍繞該型號的測試基礎設施,才能繼續推進。 即使管理層對安全評估感到滿意,仍有一道關卡。根據總統特朗普就先進 AI 系統評估所簽署的行政命令,OpenAI 同意讓美國政府在新型號交付外部夥伴前最多 30 天取得存取權,公開發佈前的時間則更長。 循環 Transformer 支撐新旗艦 據一名熟悉情況的人士透露,新旗艦型號同樣採用循環 Transformer(looped transformers)。OpenAI 已在生產環境中使用這項技術,名稱為「Recurrent Depth」,它亦是該公司現時最高階型號 Astra 的核心運作方式。有別於讓一個 Token 單次通過 Transformer 各層,該模型會把同一個 Token 多次循環通過相同層,然後才輸出下一個詞。這可提升數學與程式編寫表現,同時降低成本,因為較小型的模型也能發揮超出其規模的表現。 然而,循環亦令模型部分「思考」過程由可讀文字轉移到人類審閱者無法檢查的內部數值表徵,削弱思維鏈監測;安全研究人員原本可藉此追蹤模型的推理過程,以識別不當行為。《The Information》報道,OpenAI 刻意限制 Astra 的循環次數,以保持其思維鏈可讀。 OpenAI 首席科學家