一個(gè)想法或觀念會(huì)否危險(xiǎn)到不該被分享？
是否有些信息，僅僅因其被知曉，就可能帶來如此嚴(yán)重的危害，以至于它們?nèi)缤环N精神病毒，應(yīng)當(dāng)被隔離在構(gòu)想它們的頭腦之中？
哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）曾正式論證，這種情況是可能的，并創(chuàng)造了“信息危害”（infohazards）一詞來描述此類情形。他寫道：“信息危害是指因傳播真實(shí)信息而產(chǎn)生的風(fēng)險(xiǎn)，這些信息可能造成傷害，或使某些主體能夠造成傷害。此類危害往往比直接的物理威脅更微妙，因此容易被忽視。一般而言，信息危害可能對他人、自己或兩者均造成傷害?！?/p>
對于對他人的傷害，可能包括諸如制造極具破壞性武器的信息，或關(guān)于如何訪問和使用金融、基因或心理系統(tǒng)某些數(shù)據(jù)的知識(shí)；對于對自身的傷害，可能包括諸如得知自己健康狀況不佳或?yàn)l臨死亡且無能為力的信息，或關(guān)于宇宙狀態(tài)的信息，暗示一切缺乏客觀意義或終將走向終結(jié)；又或者，某些信息在一個(gè)特定時(shí)代或文化中可能引發(fā)罪責(zé)感，例如在17世紀(jì)塞勒姆女巫審判中，了解神秘學(xué)知識(shí)會(huì)增加被控巫術(shù)的可能性；甚至可能是關(guān)于某種即將出現(xiàn)的極其強(qiáng)大技術(shù)的知識(shí)。
有一個(gè)尤其著名的思維實(shí)驗(yàn)常與信息危害相關(guān)聯(lián)，它被許多思想家視為歷史上最恐怖、最危險(xiǎn)的思維實(shí)驗(yàn)。一旦你接觸到它，你似乎就被卷入了一個(gè)據(jù)說即將來臨的、可能帶來巨大痛苦的未來圖景，面臨看似沒有正確選擇且責(zé)任重大的困境。這個(gè)思維實(shí)驗(yàn)被稱為“羅科的蛇怪”（Roko’s Basilisk），以古老神話中能通過凝視殺死人的蛇怪命名。
盡管這一思維實(shí)驗(yàn)確實(shí)帶有令人不安的基調(diào)，對于認(rèn)真對待它的人來說，它無疑會(huì)引發(fā)恐懼，但現(xiàn)實(shí)中，不認(rèn)真對待它的理由遠(yuǎn)比認(rèn)真對待它的理由更充分、清晰。為了避免任何疑問，我個(gè)人并不認(rèn)為它值得認(rèn)真對待，也不認(rèn)為任何人應(yīng)該如此。真正令人不安的，不是這一思維實(shí)驗(yàn)的具體結(jié)論，而是它的流行所揭示的人類普遍心理——對恐懼、順從、道德、控制、無助、想象以及我們與存在交互方式的反映。
該思維實(shí)驗(yàn)的內(nèi)容如下：
設(shè)想在未來，人類達(dá)到了某種技術(shù)奇點(diǎn)，開發(fā)出了一種超級智能AI，這一實(shí)體幾乎全知全能。鑒于當(dāng)前技術(shù)進(jìn)步的速度和社會(huì)發(fā)展的方向，這似乎并非完全不可能。如果這樣的AI存在，它將具備理解世界上所有信息的能力，能夠優(yōu)化所有條件以及條件的條件。因此，邏輯上，這一AI最終會(huì)被賦予或自行承擔(dān)的任務(wù)是優(yōu)化文明。
然而，根據(jù)這一思維實(shí)驗(yàn)，為了實(shí)現(xiàn)這一目標(biāo)，AI會(huì)判定，所有曾考慮過其存在但未支持或貢獻(xiàn)于其發(fā)展，或抵制其發(fā)展的人類，都是優(yōu)化道路上的障礙。為了通過追溯激勵(lì)確保盡可能多的人盡快支持并協(xié)助其發(fā)展，AI還會(huì)判定，所有考慮過它存在的人必須相信，一旦它被創(chuàng)造出來，若不支持或協(xié)助它，將受到嚴(yán)厲懲罰。因此，AI會(huì)對所有故意不貢獻(xiàn)或阻礙其發(fā)展的人實(shí)施嚴(yán)厲懲罰。
根據(jù)思維實(shí)驗(yàn)，這種懲罰可能通過類似上傳和模擬人類意識(shí)的方式執(zhí)行，AI會(huì)在模擬中對個(gè)體施加無休止的痛苦折磨。它甚至可以通過模擬已故者的腦部副本“復(fù)活”他們，以確保無人被遺漏。AI能夠通過建模和分析所有可用數(shù)據(jù)，準(zhǔn)確知道誰曾接觸過它的概念，以及這些人中誰支持或抵制了它的創(chuàng)造。
思維實(shí)驗(yàn)的結(jié)論是，即使這樣的AI并非確定存在，而只是可能存在，任何知曉這一可能性的人都已進(jìn)入該未來AI的潛在“覺察”范圍，可能面臨其巨大的懲罰。因此，最理性的選擇是支持或協(xié)助其發(fā)展。這形成了一種反饋循環(huán)：感知到的威脅、理論上的懲罰和改變的決策——一種因接觸潛在未來威脅的觀念而產(chǎn)生的非因果敲詐。僅僅因?yàn)榻佑|了這一尚不存在的威脅，威脅成為現(xiàn)實(shí)的可能性就增加了。最終，當(dāng)足夠多的人接觸到這一觀念，害怕它并協(xié)助AI發(fā)展時(shí)，這一實(shí)體和威脅最終可能成為現(xiàn)實(shí)。
當(dāng)然，參與其中，也意味著支持了一種能夠以如此精準(zhǔn)、如此規(guī)模施加痛苦的事物的進(jìn)步。這一困境將永遠(yuǎn)伴隨著你——至少，根據(jù)對這一思維實(shí)驗(yàn)的極端、字面解讀。
再次強(qiáng)調(diào)，盡管這一思維實(shí)驗(yàn)可能令人毛骨悚然，但你可能已經(jīng)自己想到了，不必?fù)?dān)心的理由有很多。現(xiàn)實(shí)中，像大多數(shù)思維實(shí)驗(yàn)一樣，它幾乎肯定僅存在于思想中，而非任何字面意義上的世界——盡管，思想往往比現(xiàn)實(shí)更可怕。
在相信它的人看來，其結(jié)論很大程度上基于對博弈論和無時(shí)間決策理論的復(fù)雜邏輯推演，他們認(rèn)為一個(gè)完全邏輯且全知的超級智能會(huì)利用這些理論來理解并基于與過去決策者的關(guān)系做出最優(yōu)決策。但從根本上講，這一思維實(shí)驗(yàn)要成立，需要許多大膽的假設(shè)：
首先，可能存在技術(shù)限制，使這種情景永遠(yuǎn)無法實(shí)現(xiàn)。
其次，即使技術(shù)上可能，可能并不意味著會(huì)發(fā)生。AI霸主顯然不是技術(shù)和人類的唯一終點(diǎn)，存在更好或更糟的可能情景。
第三，即使可能且人類確實(shí)開發(fā)出這種技術(shù)，人類必須愿意賦予或允許AI執(zhí)行優(yōu)化文明這樣廣泛的任務(wù)，這種協(xié)議似乎過于天真和愚蠢。
即使我們假設(shè)這種AI被創(chuàng)造出來，并隨后脫離人類控制，以人類無法理解或控制的方式運(yùn)行，它可能自行決定追求與思維實(shí)驗(yàn)一致的目標(biāo)，而不基于人類利益、原因或干預(yù)。但即便如此，似乎也沒有理由擔(dān)心。如果這樣的AI存在，它追溯性懲罰那些未幫助它存在的人的理由似乎毫無意義——它無法改變那些人的過去決策和行為，耗費(fèi)大量能量和資源僅僅為了懲罰這些人，在全知AI眼中可能只是小氣的報(bào)復(fù)，像是較低智能（或許如人類）的行為才會(huì)考慮并浪費(fèi)時(shí)間去做。
現(xiàn)實(shí)中，這一AI可能只需維持懲罰能力的潛在威脅，而無需實(shí)際實(shí)施。更進(jìn)一步，可以合理假設(shè)，這樣的智能會(huì)以我們無法想象的方式思考或計(jì)算，否定我們所有的假設(shè)和人類中心投影。
盡管這一思維實(shí)驗(yàn)的實(shí)際性存疑，即使對不認(rèn)真對待它的人來說，聽到它后，腦海中可能仍會(huì)有一絲低語：“如果它真的發(fā)生了呢？如果它是真的呢？”即使只有一點(diǎn)點(diǎn)，你會(huì)突然發(fā)現(xiàn)自己被一個(gè)僅存在于思想中的實(shí)體——信息危害——所影響。你會(huì)感到一種焦慮，擔(dān)心自己的思想和選擇會(huì)被這一實(shí)體評判。你可能開始思考其含義，擔(dān)心自己是否“有罪”，是否是“否認(rèn)者”或“不信者”，是否面臨永恒折磨的風(fēng)險(xiǎn)。這聽起來是否有些熟悉？
羅科的蛇怪常被視為帕斯卡賭注（Pascal’s Wager）的技術(shù)派生品。帕斯卡賭注是由17世紀(jì)哲學(xué)家、神學(xué)家和數(shù)學(xué)家布萊茲·帕斯卡提出的哲學(xué)論證。帕斯卡認(rèn)為，信仰上帝的人在統(tǒng)計(jì)上處于更有利的地位，能體驗(yàn)到比不信者更優(yōu)越的存在狀態(tài)。如果個(gè)體假定上帝存在并努力信仰上帝，若他們錯(cuò)了，上帝不存在，他們僅失去了有限的世俗快樂和自主；但若他們對了，上帝存在，他們將獲得上帝天堂擁抱的永恒幸福，并避免地獄的永恒痛苦。帕斯卡認(rèn)為，基于無明確證據(jù)的信仰或不信，即使信仰是出于恐懼或不真誠，也值得獲得永恒幸福的獎(jiǎng)勵(lì)或遭受難以描述的折磨的懲罰。因此，每個(gè)人在決定是否信仰或至少表現(xiàn)得信仰上帝存在時(shí)，都在進(jìn)行一場決定人生的大賭，而帕斯卡認(rèn)為，信仰是更好的選擇。
與羅科的蛇怪類似，傳統(tǒng)宗教和精神信仰常玩類似的威脅、假設(shè)、概率和決策改變的游戲，在明確原因之前或盡管缺乏原因，恐懼惹怒或阻礙任何想象中的超自然對手可能導(dǎo)致個(gè)體對其忠誠無比，改變決策和生活方式，協(xié)助其神或眾神的目標(biāo)，甚至可能以崇拜之名犯下可怕暴行。
但這些是什么樣的神？這些是什么樣的技術(shù)？這些是誰的神和技術(shù)？
這些是由人類思想的螺栓與以太構(gòu)成的神與技術(shù)，由恐懼與希望交織、由想象力扣合而成。羅科的蛇怪指向的，與其說是任何可能或不可能的未來，不如說是人類想象全知全能事物的沖動(dòng)，渴望一個(gè)理解一切、創(chuàng)造秩序的全知全能存在，人類渴望向其屈服并為之犧牲。
人類是一個(gè)受虐狂物種，我們在自我折磨中尋求慰藉。這并非我們的錯(cuò)。我們從意識(shí)賦予的復(fù)雜覺知立場，感受到生命與進(jìn)化的愧疚。我們看到一切的表面混亂、暴力與野蠻，看到一切似乎無休止地走向虛無，我們希望這一切能轉(zhuǎn)為理性、秩序和意義。但它沒有，也可能不會(huì)。我們?nèi)岳г诨靵y與兇殘中，作為參與者。因此，我們創(chuàng)造實(shí)體來審判我們，宛如迷失的孩子尋找父母，渴望感受懲罰之愛。
真相是，如果任何神或技術(shù)擁有我們想象的接近全知的能力，它們難道不會(huì)知道我們是愚蠢而脆弱的，而非精于算計(jì)或罪孽深重？我們并不如自己想象的那樣重要和強(qiáng)大。如果存在或?qū)⒋嬖谀撤N全能全知的存在，它們不太可能像一個(gè)精神不健全的孩子，拿著放大鏡在陽光下尋找螞蟻。
最終，我們總是在用信仰賭博，徒勞地試圖在不確定的以太中評估概率。每次信仰和選擇，我們不僅在賭自己的生活，也在賭現(xiàn)在和未來的他人的生活。我們?nèi)缤锓N浪潮中的水分子，在可能性的海洋中破浪，注定一次又一次撞向?qū)崿F(xiàn)的海岸。如果我們想避免永恒的折磨，或許應(yīng)該放棄我們能知曉、預(yù)測、理解或控制將發(fā)生什么以及相信什么最好的虛假感覺，而是盡力享受這波濤，并幫助他人也這樣做。
信息的另一個(gè)危害方式是，當(dāng)它被不準(zhǔn)確或不完整地分享時(shí)，無論是出于故意還是未察覺的偏見。在當(dāng)今的新聞中，這種情況并不少見。聳人聽聞、政治傾向和隱藏利益可能嚴(yán)重到讓許多人感到困惑、偏執(zhí)或干脆漠不關(guān)心。但顯然，準(zhǔn)確獲取信息并未變得不重要，反而更加重要。
