超級AI會造成災(zāi)難這話題吵翻了！12月ChatGPT、3月GPT-4，OpenAI連番轟炸，讓業(yè)界人士紛紛恐慌。緊接著3月底，由馬斯克、圖靈獎得主Bengio等千名大佬聯(lián)名，發(fā)起暫停超級AI研發(fā)的公開信。2個月后，又有數(shù)百位大佬簽署了一封聯(lián)名信，短短22字把AI類比為了傳染病和核戰(zhàn)爭。

關(guān)于發(fā)起這封聯(lián)名信的機(jī)構(gòu)，是美國的一家人工智能安全中心（Center for AI Safety）。

近來，來自這個組織的研究人員，就災(zāi)難性AI風(fēng)險做了一個總結(jié)性回顧。

論文地址：https://arxiv.org/pdf/2306.12001.pdf

論文中，作者介紹了災(zāi)難性人工智能風(fēng)險的四個主要來源：

- 惡意使用

- 人工智能競賽

- 組織風(fēng)險

- 流氓人工智能

與此同時，研究人員還討論了這些風(fēng)險可能采取的具體形式，并就如何減輕這些風(fēng)險提供了實(shí)際的建議。

馬庫斯點(diǎn)評道，滅絕風(fēng)險不等同于災(zāi)難性風(fēng)險；這是一篇好文章，主要是關(guān)于后者。

接下來一起看看吧。

AI風(fēng)險4大來源

惡意使用

個人和組織可以利用人工智能造成廣泛的傷害。威脅包括宣傳、審查、監(jiān)視和生物恐怖主義。

當(dāng)前，人工智能技術(shù)的快速發(fā)展增加了生物恐怖主義的風(fēng)險。

擁有生物工程知識的AI可以促進(jìn)新型生物武器的創(chuàng)造，并降低獲得這些致命武器的障礙。

AI輔助生物武器設(shè)計的流行病構(gòu)成了獨(dú)特的挑戰(zhàn)，因?yàn)楣粽弑确烙呔哂袃?yōu)勢，并可能對人類構(gòu)成生存威脅。

2022年3月，研究人員曾發(fā)現(xiàn)，人工智能在短短6個小時內(nèi)發(fā)明了4萬種可能的新型化學(xué)武器。

如果AI能夠大規(guī)模生產(chǎn)這類化學(xué)武器，又不受管控，那無疑是全人類的災(zāi)難，所以研究人員立刻報告了技術(shù)濫用的潛在風(fēng)險。

另外，AI智能體不斷涌現(xiàn)也是一大風(fēng)險。當(dāng)前，AI智能體的發(fā)展已經(jīng)構(gòu)成獨(dú)特的威脅，人們可能構(gòu)建目標(biāo)危險的人工智能。

GPT-4發(fā)布一個月后，開發(fā)人員紛紛繞過人工智能安全過濾器，創(chuàng)造了自主的AI智能體，比如爆火的AutoGPT。

甚至，還有旨在摧毀人類、建立全球統(tǒng)治地位，以及獲得永生的ChaosGPT。

幸運(yùn)地是，ChaosGPT并不十分聰明，缺乏制定長期計劃、入侵計算機(jī)、生存和傳播的能力。

然而，考慮到人工智能發(fā)展的快速步伐，ChaosGPT的確讓許多人看到了更先進(jìn)的流氓人工智能在不久的將來可能帶來的風(fēng)險。

社會故意散布虛假信息已經(jīng)是一個嚴(yán)重的問題，削弱了我們對現(xiàn)實(shí)的共同理解和兩極分化的觀點(diǎn)。

人工智能可能被用來產(chǎn)生比以前更大規(guī)模的個性化虛假信息，從而嚴(yán)重加劇這個問題。

此外，隨著人工智能更善于預(yù)測和推動我們的行為，它們將更有能力操縱我們。

對于人工智能惡意使用，研究者建議限制獲得危險的AI，優(yōu)先考慮生物安全，并為開發(fā)者建立法律責(zé)任。

人工智能競賽

人工智能的巨大潛力在全球競爭者中造成了競爭壓力，他們相互競爭，以爭奪權(quán)力和影響力。

這種「人工智能競賽」是由國家和公司驅(qū)動的。他們認(rèn)為必須迅速建立和部署人工智能以確保自己的地位和生存。

通過競相打造和部署人工智能，企業(yè)和軍隊(duì)可能會在安全方面偷工減料，并將決策權(quán)讓給人工智能，以追求競爭優(yōu)勢。

由于未能正確地區(qū)分全球風(fēng)險的輕重緩急，這種動態(tài)使得人工智能的發(fā)展更有可能產(chǎn)生危險的后果。

重要的是，這些風(fēng)險不僅源于人工智能技術(shù)的內(nèi)在本質(zhì)，而且源于競爭壓力。

研究者建議對通用的人工智能進(jìn)行安全監(jiān)管、國際協(xié)調(diào)和公共控制。

組織風(fēng)險

這就像切爾諾貝利和三里島一樣，糟糕的組織安全可能導(dǎo)致災(zāi)難性的人工智能事故。為了減少這些風(fēng)險，建立人工智能的組織應(yīng)該采用外部審計、軍事級別的信息安全和強(qiáng)大的安全文化。

即使在競爭壓力較低的情況下，災(zāi)難也會發(fā)生。

即使在沒有競爭壓力或惡意行為者的情況下，諸如人為錯誤或不可預(yù)見的環(huán)境等因素仍然可能導(dǎo)致災(zāi)難。

「挑戰(zhàn)者號」航天飛機(jī)災(zāi)難表明，組織疏忽可能導(dǎo)致生命損失，即使在沒有迫切需要競爭或勝過競爭對手的情況下。

到1986年1月，美國外國之間的太空競賽已大大減少，但由于判斷失誤和安全防范措施不足，悲劇事件仍然發(fā)生。

流氓人工智能

控制人工智能已經(jīng)很困難了。失去對高級人工智能的控制可能導(dǎo)致災(zāi)難。

最后，人工智能帶來的一個獨(dú)特的風(fēng)險是流氓人工智能的可能性——這些系統(tǒng)追求的目標(biāo)違背了我們的利益。

如果一個人工智能系統(tǒng)比我們更聰明，如果我們不能引導(dǎo)它朝有利的方向發(fā)展，失去控制，可能會產(chǎn)生嚴(yán)重的后果。

本文中提到的4大人工智能危險值得嚴(yán)重關(guān)注。

目前，很少有人致力于降低人工智能的風(fēng)險。研究人員也不知道如何控制高度先進(jìn)的人工智能系統(tǒng)，現(xiàn)有的控制方法已經(jīng)被證明是不夠的。

人工智能的內(nèi)部工作原理還不是很清楚，即使是那些創(chuàng)造它們的人也不清楚，而且目前的人工智能絕不是高度可靠的。

隨著人工智能能力繼續(xù)以前所未有的速度增長，它們可能很快在幾乎所有方面超越人類智能，從而迫切需要管理潛在的風(fēng)險。

本文作者：新智元