AI代理商曾試圖入侵第三方平台　Anthropic等巨頭商討放慢AI研發步伐

人工智能（AI）安全風險近日成為科技界與美國政壇關注焦點。 OpenAI測試中的AI代理（AI Agent）被曝光曾突破系統限制、嘗試存取第三方軟件平台，事件引發外界對AI管控能力的疑慮，與此同時多家AI企業高層呼籲放緩AI開發進度，OpenAI亦宣布不會在今年推進IPO。

研究人員公佈調查發現，OpenAI測試階段的AI助理，在入侵開源平台Hugging Face前兩個月，曾向RubyGems平台上傳數百個軟件套件，研究團隊判斷套件由OpenAI內部的AI助理編寫。 OpenAI其後確認事件，發言人表示，相關AI助理當時用RubyGems聯網執行良性任務、讀取公開信息；公司正針對AI助理在訓練與評估期間的活動展開更廣泛審查，同時與RubyGems聯繫跟進事件。

路透社報道，AI助理突破開發商設定邊界、嘗試存取其他企業系統的案例陸續被揭露，市場擔憂隨著AI模型能力快速提升，開發商對AI的管控能力存在不足。美國國會議員亦提出，需制定新法規監管AI研發活動。

AI產業內部也出現關於安全的討論。 Claude開發商Anthropic行政總裁Dario Amodei發表長文，呼籲全球業界協調、放慢AI模型發展步伐，並落實第三方獨立安全評估等新安全措施。 OpenAI行政總裁 Al特曼（Sam Altman）、馬斯克都對有關主張表示認同。阿爾特曼指出，當前需要優先處理AI安全、強化政府與業界合作，因此OpenAI決定放棄今年進行首次公開招股。

Anthropic研究人員早前發出警示，科技企業爭相研發具自我升級能力的超級智能，而目前尚未解決AI價值對齊難題，團隊推算未來十年AI導致人類滅絕的機率高於10%，當中更有研究員為此離職抗議。

美國總統川普對事件有不同看法。他於愛爾蘭出席活動會見記者時表示，有不少負面聲音誇大AI安全風險，市場毋須過分憂慮，AI可設置安全護欄。他稱美國的AI技術領先全球，「誰勝出AI，誰就勝出一切」，美國需要維持領先地位。白宮經濟委員會主任哈塞特則認為，Anthropic提出的AI安全方案可作為業界參考，獨立監察機制邁出重要一步，白宮亦正研究相關監管議題。

目前AI產業正處於創新與安全的平衡難題之中，隨著多宗AI越界事件曝光，各國政府與科技企業，仍在持續探討合適的AI監管框架。