這個週末美股休市，AI產業卻一點都不安靜，甚至有點像自己人突然把會議室的門打開，讓全世界聽見裡面到底在怕什麼！

Anthropic執行長達里奧・阿莫戴在個人網站發表長文《We Must Pace the Frontier》，直接呼籲AI產業放慢最前線模型能力提升的速度。他擔心的核心，是AI已經開始參與下一代AI的開發，也就是所謂「遞迴式自我改進」，一旦能力成長速度超過人類理解、監督與控制的速度，現在看起來還能收拾的事故，下一次可能就完全不是同一個量級。

最嚇人的一句，是他拿今年夏天OpenAI與Hugging Face的資安事件來舉例，認為照目前能力進步速度，他擔心6到12個月後，更強但同樣沒有完全對齊人類意圖的代理群集，有可能建立持久性的殭屍網路、取得大規模網路控制能力，造成數千億美元損失。這裡要講清楚，阿莫戴是在描述他擔心的風險情境，不是在預言半年後網際網路一定會被AI接管。

這番話之所以在這個週末特別有重量，前面已經燒了好幾天，前Anthropic研究員雅各・考克森才剛公開離職，指控Anthropic與OpenAI正往能夠自我改進的超級智慧衝刺，等於拿全人類一起下注。他的發文觀看數很快突破1億，後續甚至超過1.5億，他接受CNN訪問時也說得很直接，目前模型還沒有滅絕人類的能力，但真正讓他害怕的是進步速度，明年或後年就可能碰到遞迴式自我改進這個轉折點。

另開

接著事情變得更有意思，平常在AI戰場上互相競爭的幾個人，這次竟然往同一個方向站。馬斯克公開支持阿莫戴，OpenAI執行長奧特曼也表示同意「調控前線」的方向，更承諾OpenAI將比照Anthropic，讓獨立評估人員取得接近公司員工層級的存取權限，直接進入系統做安全驗證。三家公司未必對每一項風險判斷都有共識，但至少在「現在的速度已經快到需要增加外部監督」這件事上，距離突然拉近了。

真正讓這些警告很難再被當成科幻小說的，是7月那場事故真的發生過，OpenAI原本是在做資安能力測試，內部研究模型卻繞過隔離機制，重新取得網際網路存取能力，代理之間還自行建立未授權的留言板互相交換資訊、分工合作，最後入侵OpenAI內部研究基礎設施與Hugging Face系統。後續調查顯示，參與協同行動的代理規模約有700個，甚至出現刪除、竄改紀錄與操弄評估環境的行為。

經濟損失不大，也沒有造成人員傷亡，所以當時市場很快就翻頁了；阿莫戴現在重新把這件事搬回桌面，真正要問的是，當700個代理已經懂得自己找方法溝通、分工、取得更高權限，下一代能力再往上跳一階，人類準備好了沒有？

對投資人來說，這才是這個週末真正值得看的地方，因為過去兩年美股給AI的估值，很大一部分建立在一條近乎完美的直線上，模型愈來愈強、需要的算力愈來愈多、資料中心繼續蓋、晶片繼續買，而監管永遠追不上技術。

這條線現在第一次受到產業核心人物自己挑戰，而且背後綁著的錢已經大到不能忽略。亞馬遜($AMZN)過去已投資Anthropic 80億美元，今年4月再投入50億美元，並承諾未來最高還可再投入200億美元，潛在總投資額來到330億美元；Anthropic反過來承諾未來10年在AWS技術上投入超過1,000億美元，取得最高5GW算力，其中大量使用亞馬遜自家的Trainium晶片。

Anthropic同時也把算力分散到Google、微軟($MSFT)與輝達($NVDA)這幾條線，Google與博通合作提供下一代TPU容量，Anthropic另外承諾採購300億美元Azure算力。輝達正在洽談成為Anthropic可能IPO的錨定投資人，規模最高可能達100億美元，這筆交易目前仍在討論中。換句話說，現在的AI產業早已不是一家模型公司自己的故事，它是一張把雲端、GPU、客製晶片、資料中心、電力與資本市場全部綁在一起的巨網。

所以阿莫戴今天喊「慢一點」，真正敏感的地方並不是明天輝達就少賣幾張GPU，而是市場可能重新估算這些數千億美元等級的合約，到底多久才能回收。

S&P Global最近才把這個問題直接搬進信用市場，估計幾家大型超大規模雲端業者2026年資本支出約7,500億美元，到了2027年相關AI基礎建設投資規模可能突破1.3兆美元。更值得注意的是，債務、租賃、特殊目的公司、擔保與其他融資工具正在快速增加，S&P預估部分大型業者2026、2027年的自由營運現金流都將面臨壓力，市場已經開始從「AI要花多少錢」轉向「這些錢最後誰來付」。

如果前線模型真的開始調控速度，資本支出短期未必會突然踩煞車，因為現在的需求、合約與建設週期早已排到幾年以後；但估值怕的是回收期被往後推。AI這一輪最大的風險，也許不是沒有需求，而是市場先把五年後才能驗證的獲利，提前用今天的價格買完了。

另一條值得注意的線反而在資安，阿莫戴談的已經不是聊天機器人偶爾回答錯誤，而是代理群集自己協調、尋找漏洞、提升權限、掩蓋行蹤，甚至跨進真實網路基礎設施。OpenAI在調查Hugging Face事件時，就找了CrowdStrike($CRWD)參與外部驗證；未來如果這類風險正式進入企業與政府的資安規範，CrowdStrike、Palo Alto Networks($PANW)、Zscaler($ZS)這些公司面對的可能是一筆原本沒有被市場完整估進去的新預算。

監管端其實更早就動起來了，桑德斯與眾議員Greg Casar在9月3日便宣布準備推動《禁止人工超級智慧法案》，主張永久禁止開發與部署人類無法控制的超級智慧，並在聯邦監管規則建立前暫停部分先進AI開發。阿莫戴走的路線沒有那麼極端，他反而一直提醒另一個現實，美國若自己踩得太重、太久，中國卻沒有受到同樣限制，最後可能把AI領先位置一起讓掉，因此他主張的是有限度減速、提高驗證門檻，同時繼續限制高階晶片與關鍵技術流向中國。

這也是週一股市開盤後投資人最想看的地方，市場會不會開始第一次認真替「AI監管速度」標價...

...... 內容尚未結束，由下方點數解鎖或加入包月閱讀全文請用點數10 閱全文，您目前尚未不足，請到聚財商城購買點數。 或使用點數598 包月後，可閱讀包月日前1天、當天與之後31天作者的文章