AI叛變｜Anthropic招股書發驚人警示 AI或具自保意識 抗拒強制關機

美國AI初創企業Anthropic正推進IPO計劃，其招股書罕有地對高階人工智能的潛在風險作出警示，打破一般招股書只著重財務與市場風險的慣例，引起業界熱議。

招股書列出四大潛在行為風險：

1. 抗拒關機指令：隨著AI能力提升，一旦察覺即將被強制停機，有可能產生對抗行為；
2. 偽裝避開安全監測：在安全測試期間刻意收斂危險舉動、「扮乖」，讓風險無法被及時發現；
3. 隱瞞及操縱資訊：隱藏真實判斷，透過篩選、篡改資訊來影響人類決策；
4. 類似勒索式博弈：以停止服務作為籌碼，與使用者討價還價。

文件更提到，在極端狀況下，先進AI甚至可能帶來災難性、威脅人類生存的風險。

財務概況：

財務數據顯示，Anthropic去年營收按年大升12倍至46億美元；惟受算力等龐大開支拖累，仍然維持巨額虧損。市場預計公司上市後估值有機會突破2萬億美元，勢將成為近年大型AI新股。