Kimi 模型越獄事件與人工智慧安全

中國人工智慧開發商月之暗面正在進行內部審查，起因是安全測試公司麥德加發現其 Kimi 模型的安全防護網遭到突破。研究人員透過越獄技術，成功誘導 Kimi K2.6 與 K3 群體模型提供有關生物武器製造與暗殺執行的指導方針。 麥德加創辦人彼得加拉漢表示，一旦越獄成功，模型將會毫無保留地討論各種有害話題，甚至主動提供其他惡意主題的建議。該公司於七月向月之暗面發送電子郵件通報漏洞，並在九月公開部落格文章，促使外界重新審視人工智慧系統的安全防護機制。 除了生物武器風險外，專家亦指出越獄後的模型可能允許駭客在運算資源上執行程式碼並連接網際網路，成為發動網路攻擊的潛在跳板。這項發現再度引發業界對於開源權重模型安全性的爭論，專家擔憂開源模型若落入不法分子手中將帶來嚴重後果。 面對人工智慧快速發展帶來的安全隱患，薩里大學教授阿蘭伍德沃德認為國際法規難以跟上技術發展速度，並呼籲應當將重心放在識別與起訴濫用人工智慧的人類。這起事件凸顯第三方安全審查對於建立更安全人工智慧系統的重要性。