人工智慧的發展如此迅速，以至於敲響警鐘的已不僅是它的批評者，還有那些本身站在現代AI產業源頭的人。
而且必須說明：他們大多數人並非反對AI本身。他們談的是另一件事——爭相打造越來越強大模型的競賽，跑得比明確的安全、管控與問責規則的出現還要快。
最知名的聲音之一—— 傑佛瑞·辛頓，現代AI的「教父」之一。離開Google之後，他談論風險時變得坦率得多：從人們被大規模擠出勞動市場，到出現有朝一日可能比我們所設想的更難控制的系統。
另一位關鍵人物—— 約書亞·班吉歐，同樣是深度學習的先驅之一。近年來他越來越積極投入AI安全問題，並呼籲各國不要等到重大事故發生，而應提前為最強大的系統建立獨立監督與限制。
在2023年，班吉歐支持了一封公開信，呼籲至少暫停訓練比GPT-4更強大的系統半年。
簽署者當中也有 伊隆·馬斯克。他支持在最大型AI模型的競賽中暫停的想法，以便在這段時間裡出現更可靠的規則、安全標準與管控方式。
蘋果共同創辦人 史蒂夫·沃茲尼克也加入了這一呼籲。後來他另行談到，開發者應當更加透明，並為技術可能造成的損害承擔責任。
在最知名的知識分子當中，有歷史學家兼作家 尤瓦爾·諾亞·哈拉瑞。他長期警告，AI的特殊危險不僅在於「聰明的機器」，還在於演算法能夠大規模生成文本、圖像與具說服力的內容。他認為，這可能嚴重改變資訊環境以及人們做出決策的方式。
最一貫批評這場失控競賽的人之一——加州大學柏克萊分校教授 史都華·羅素，最著名的人工智慧教科書之一的共同作者。
他的立場相當簡單：如果我們創造出能夠比人類更有效率地達成目標、卻無法保證其目標確實與我們一致的系統，問題就會出現。
而特別能說明問題的是，就連最大AI公司的負責人也開始說得更謹慎了。
Anthropic的負責人 達里奧·阿莫代 曾公開呼籲對前沿模型採取更緩慢、更受控的發展方式，以便安全方法能跟上其能力的腳步。他主張獨立審查、共同標準與國際合作。
甚至連 山姆·奧特曼，OpenAI的負責人，也多次談到有必要對最強大的系統加以監管，並談到AI的發展不應變成一場速度比安全更重要的競賽。
Google DeepMind的負責人 德米斯·哈薩比斯也表達過類似的想法。最大的AI公司越來越常討論對最嚴重風險進行管控的共同做法。
結果形成了一幅相當矛盾的圖景。
辛頓、班吉歐、史都華·羅素、馬斯克、沃茲尼克、哈拉瑞、阿莫代、奧特曼等人，在對威脅規模的評估上，以及在發展究竟該減速到什麼程度上，可能分歧很大。但他們在一點上是一致的：讓超強AI完全沒有規則，是個壞主意。
與此同時，也存在著嚴肅的懷疑者。
一些專家認為關於「人類終結」的談論被嚴重誇大了，並提醒說目前的系統仍有許多限制。
另一些人則懷疑，大型AI公司樂於維持關於嚴格監管的討論，因為這可能讓小型競爭對手處境更艱難。
因此，圍繞這個話題存在著非常嚴肅的爭論，科學界並無一致意見。
但這個事實本身就值得注意：就在幾年前，這個問題還是這樣問的：
「AI 究竟能做到什麼？」
如今人們越來越常問的是另一個問題：
「而在它變得過於強大之前，我們來得及學會駕馭它嗎？」
