聽(tīng)過(guò)了很多道理，卻依然過(guò)不好這一生。這是很多人的困惑。這篇小文想講的是，任何一場(chǎng)科技中的浪潮，都會(huì)帶來(lái)方法論上的變革。關(guān)于人生中的抉擇，人們總是用當(dāng)前最熱門(mén)科技中的概念去類(lèi)比。正如Carl Sagan所說(shuō)：Science is a way of thinking much more than it is a body of knowledge。授人以魚(yú)不如授人以漁，了解了方法論的變革，才會(huì)帶來(lái)元認(rèn)知上的升級(jí)換代。

在過(guò)去，當(dāng)我們站在人生選擇的十字路口，我們會(huì)從古代先哲的話(huà)中去尋找啟迪，會(huì)聽(tīng)從當(dāng)?shù)刈诮填I(lǐng)袖的話(huà)，到了啟蒙運(yùn)動(dòng)之后，社會(huì)的主流意見(jiàn)變成了聽(tīng)從你內(nèi)心的聲音。然而，隨著數(shù)據(jù)在我們的生活中占據(jù)了越來(lái)越重要的位置，我們做決策時(shí)也需要拿出數(shù)據(jù)和圖表，用量化的數(shù)據(jù)以及算法來(lái)指導(dǎo)我們的決策，而不只是做你自己喜歡的事。

為什么我們不應(yīng)該只追隨自己的inner voice了？這是因?yàn)楫?dāng)代心理學(xué)，及其衍生出來(lái)的行為經(jīng)濟(jì)學(xué)已積累了足夠的證據(jù)，說(shuō)明人類(lèi)會(huì)系統(tǒng)性的犯錯(cuò)誤。關(guān)于這個(gè)話(huà)題，最著名的論述就是《思考，快與慢》這本書(shū)，另一本值得看的書(shū)是進(jìn)化的 '亂亂腦'是怎么讓你不完美的。

另一方面，在《A brief history of tomorrow》這本書(shū)中，作者指出，做出明智的決策，自我意識(shí)的存在不是必要條件，很多Non-conscious but highly intelligent的算法即將在未來(lái)變得比我們更加了解自己。但我們有些時(shí)候卻不愿相信算法幫我們做出的決策，尤其在面對(duì)人生的關(guān)鍵選擇時(shí)，例如，你愿意你的終身大事被算法安排嗎？當(dāng)一個(gè)程序告訴你，你應(yīng)該和A結(jié)婚，盡管你覺(jué)得B更有魅力時(shí)，你會(huì)聽(tīng)程序的安排嗎？要回答這個(gè)問(wèn)題，最好我們先了解程序背后的算法邏輯，否則在對(duì)算法一無(wú)所知的情況下做出的選擇，不會(huì)是一個(gè)well-informed chocie。在不久的將來(lái)，算法將會(huì)或顯或隱的影響你的選擇，你準(zhǔn)備好相應(yīng)的心智模塊了嗎？

舉一個(gè)具體的例子，假如一個(gè)非常優(yōu)秀的人參加選秀節(jié)目，已知追求的他的人有有限個(gè)，例如10位，選秀節(jié)目規(guī)定，他不能腳踏兩只船，即不能同時(shí)和兩個(gè)人交往，如果在交往之后他沒(méi)有接受這個(gè)人，那么，以后也沒(méi)有機(jī)會(huì)再選擇這個(gè)人作為對(duì)象。然后接著和下一個(gè)人交往。他該怎么辦？

對(duì)這個(gè)問(wèn)題的回答，有兩種思考方式，先說(shuō)機(jī)器學(xué)習(xí)的方式。一個(gè)做機(jī)器學(xué)習(xí)的人拿到這個(gè)問(wèn)題，首先會(huì)做的是收集數(shù)據(jù)，假設(shè)上面提到的選秀節(jié)目進(jìn)行了100期，那么要收集的數(shù)據(jù)包括這一百期節(jié)目中每位男嘉賓的年齡，學(xué)歷，身高，職業(yè)等structure data，還會(huì)收集臺(tái)上發(fā)生的對(duì)話(huà)這樣unstucture的data，最后在通過(guò)對(duì)每位女嘉賓的事后訪(fǎng)談，確定各位女嘉賓是否后悔自己的選擇，是否和男嘉賓有更多的發(fā)展。之后將所有的這些數(shù)據(jù)放入多個(gè)模型中，目標(biāo)是找出一套規(guī)律來(lái)，來(lái)指導(dǎo)未來(lái)參加這個(gè)節(jié)目的女嘉賓，讓她們能做出讓她們最不后悔的選擇。不同的模型給出的規(guī)律會(huì)各有不同，有的模型很簡(jiǎn)單，會(huì)告訴女嘉賓找和自己年齡相差最小的，有些規(guī)則會(huì)很復(fù)雜，會(huì)告訴女嘉賓去找又高又年輕的程序員但是卻要比自己大1歲到3歲。（咳咳）

另一種方法是傳統(tǒng)的數(shù)學(xué)模型，關(guān)于上文提到的問(wèn)題，有一個(gè)現(xiàn)成的數(shù)學(xué)理論可以去對(duì)這個(gè)問(wèn)題給出最優(yōu)解。Optimal Stop Theory 是一個(gè)在金融衍生品定價(jià)中應(yīng)用很廣泛的理論，假設(shè)每個(gè)女嘉賓可以對(duì)男嘉賓給出一個(gè)唯一的打分，但女嘉賓不清楚這屆男嘉賓的整體水平怎么樣，需要拿前幾個(gè)去摸索一下自己應(yīng)該把標(biāo)準(zhǔn)定的多高，又擔(dān)心久久不選擇，錯(cuò)過(guò)了最好的那個(gè)，那么Optimal Stop Theory 給出的答案是37%，在37%之后，女嘉賓應(yīng)該不要猶豫，只要遇到一個(gè)比之前的選擇都得分高的男嘉賓，該將就就將就吧。（咳咳）

對(duì)于這個(gè)問(wèn)題的數(shù)學(xué)建模，感興趣的童鞋可以自己去推算出上文提到37%來(lái)。

在男嘉賓的數(shù)目不同時(shí)，女嘉賓按Optimal Stop Theory 應(yīng)該采取的最優(yōu)策略，以及對(duì)應(yīng)的有多少比例找到這一組中男嘉賓中最好的那個(gè)，有63%的概率遇不到最好的那個(gè)這不是一個(gè)好消息，但從另一方面來(lái)看，Optimal Stop Theory保證了不管男嘉賓有多少個(gè)，女嘉賓總能有差不多的幾率找到最好的那個(gè)。

將選秀節(jié)目中的場(chǎng)景反射到生活的時(shí)間之流中。我們每個(gè)人也都會(huì)遇到或多或少幾個(gè)追求者，也會(huì)在到底是該等待唯一的那個(gè)人，還是就這么嫁了中彷徨。假設(shè)我們的平均壽命是90歲，那么Optimal Stop Theory 告訴你可以在33歲前去explore你的選擇，過(guò)了33歲之后，再選擇遇到的最好那個(gè)不遲。下次再遇到逼婚的，就可以給父母親戚推一推公式，告訴他們數(shù)學(xué)家已經(jīng)證明了，再等幾年是最優(yōu)的選擇。（咳咳）

比較一下機(jī)器學(xué)習(xí)和傳統(tǒng)的數(shù)學(xué)建模的方式，機(jī)器學(xué)習(xí)處理的多維的，復(fù)雜的數(shù)據(jù)，其模型相比數(shù)學(xué)模型，需要更少的假設(shè)條件，其得出的結(jié)論，不會(huì)保證其一定是最優(yōu)的。而數(shù)學(xué)建模，首先假設(shè)了男嘉賓出現(xiàn)的次序和其質(zhì)量是獨(dú)立的，更重要的是，其要求女嘉賓對(duì)每一個(gè)男嘉賓有一個(gè)唯一的打分，如果真的能這樣，生活中的選擇就簡(jiǎn)單多了。所以說(shuō)，盡管機(jī)器學(xué)習(xí)有時(shí)會(huì)給出一些不那么靠譜的選擇，在面對(duì)現(xiàn)實(shí)的問(wèn)題時(shí)，不過(guò)度的簡(jiǎn)化問(wèn)題，是給出的解答有用的一個(gè)必要條件。

不過(guò)，不管是那么方法得出的答案，數(shù)據(jù)指導(dǎo)的思考方式要求你去做驗(yàn)證，要求你去質(zhì)疑的假設(shè)，并看看將某些假設(shè)做了修改后，答案又會(huì)變成怎樣。比如上文提到的問(wèn)題，如果假設(shè)在女嘉賓拒絕了男嘉賓后一次，男嘉賓還會(huì)接受女嘉賓，那么女嘉賓的最優(yōu)選擇應(yīng)該是什么了？又比如女嘉賓能給男嘉賓一個(gè)0到100之間的評(píng)分，而不是不清楚這屆男嘉賓的分?jǐn)?shù)上下限的時(shí)候，又應(yīng)該采取什么樣的策略了，數(shù)據(jù)時(shí)代，首先要說(shuō)的質(zhì)疑你的假設(shè)。

關(guān)于驗(yàn)證你的結(jié)論，最弱的證據(jù)是個(gè)人的personal story，稍微強(qiáng)一些的是case study，即名人的傳記訪(fǎng)談，因?yàn)榈谌降囊暯菚?huì)去除掉自我記憶的和認(rèn)知中的偏見(jiàn)。更好的證據(jù)是Statistic，比如查一查結(jié)婚的年齡和離婚率是否相關(guān)，如果在20到40歲之間，排除其他因素，結(jié)婚年齡太早或者太晚的離婚率很高，再通過(guò)問(wèn)卷調(diào)查，得出對(duì)婚姻的滿(mǎn)意程度，結(jié)果發(fā)現(xiàn)按照當(dāng)時(shí)的預(yù)期壽命，相應(yīng)年齡結(jié)婚的伙伴滿(mǎn)意度最高，那么說(shuō)明Optimal Stop Theory 還是有一定道理的。

比統(tǒng)計(jì)更高級(jí)的驗(yàn)證是機(jī)器學(xué)習(xí)中最常用的Cross Validation。舉個(gè)例子，5 fold Cross Validation 將已知的數(shù)據(jù)分成10份，選8份作為訓(xùn)練數(shù)據(jù)集，將這些數(shù)據(jù)丟給模型，然后在剩下的兩份數(shù)據(jù)上去檢測(cè)模型的效果。然后重復(fù)這個(gè)過(guò)程5次，直到每份數(shù)據(jù)都做了一次測(cè)試數(shù)據(jù)了。Cross Validation是為了保證訓(xùn)練出的模型不會(huì)把數(shù)據(jù)中噪音放大，然而其背后的思想則是我們對(duì)現(xiàn)實(shí)的認(rèn)識(shí)的不完全的，因此訓(xùn)練時(shí)數(shù)據(jù)少一些，是必然的。模型不能要求麥克斯韋妖那樣的全知全能，而要在部分可見(jiàn)的情況下給出相對(duì)靠譜的對(duì)整體的預(yù)測(cè)。這種對(duì)自己的未知謙卑的態(tài)度，讓人想起了“認(rèn)識(shí)你自己”這句古希臘的格言。如果將機(jī)器學(xué)習(xí)的算法看成是一個(gè)認(rèn)知策略，那么認(rèn)識(shí)你自己說(shuō)的就是meta-learning，即是將不同的算法結(jié)合起來(lái)，取長(zhǎng)補(bǔ)短，從而更快得到（收斂出）更好的結(jié)果。

機(jī)器學(xué)習(xí)的方法框架和循環(huán)，實(shí)現(xiàn)模型，驗(yàn)證模型，分析模型的效果和優(yōu)缺點(diǎn)，在一輪輪的迭代中持續(xù)改進(jìn)模型。

之后，想談一談上文案例反映的一個(gè)更深層次的權(quán)衡（tradeoff），Explore vs Exploit。我們年輕的時(shí)候，總是忍不住想去看一看世界，所謂的沒(méi)有看過(guò)世界，哪來(lái)的世界觀，而當(dāng)年紀(jì)漸長(zhǎng)，就應(yīng)有所立足，在某一個(gè)領(lǐng)域有所專(zhuān)注，從而exploit自己之前積累的見(jiàn)識(shí)，這固然會(huì)讓你覺(jué)得生活不在像之前那樣豐富多彩，新的刺激會(huì)減少，然而這是生命的常態(tài)，如同熵增一樣不可避免。要想生命之樹(shù)常青，除了認(rèn)識(shí)到時(shí)間箭頭不可逆帶來(lái)的新朋友新經(jīng)歷越來(lái)越少，就是要在自己橫向的處理問(wèn)題時(shí)把握好這個(gè)權(quán)衡，做到既不over explore，也不over exploit。

over exploit帶來(lái)的問(wèn)題是overfitting，這個(gè)機(jī)器學(xué)習(xí)中的概念對(duì)應(yīng)是生活中的陰謀論或者對(duì)文本的過(guò)度解讀。比如用一條線(xiàn)連接下圖的五個(gè)點(diǎn)。overfiting的答案是這樣一條包含五個(gè)參數(shù)的彎彎曲曲的曲線(xiàn)，這條曲線(xiàn)雖然在這五個(gè)點(diǎn)上誤差極小，但當(dāng)加入一個(gè)新的點(diǎn)之后，結(jié)果就不那么好了。這里更好的解答應(yīng)該是一條包含兩個(gè)參數(shù)的直線(xiàn)。

陰謀論將幾個(gè)看似不相關(guān)的事件用一個(gè)不那么簡(jiǎn)單直接的故事連接起來(lái)，在陰謀論為何總是錯(cuò)的？中，對(duì)陰謀論有更深入的分析，感興趣的小伙伴可以點(diǎn)擊查看。

犯了over exploit這種錯(cuò)誤的小伙伴，總想著找出一個(gè)一招鮮吃遍天的法子來(lái)，在數(shù)據(jù)收集的還不夠充分的時(shí)候，機(jī)器學(xué)習(xí)的方法既可以放大數(shù)據(jù)中的規(guī)律，也可以放大其噪音，只有更多的數(shù)據(jù)才能解決這個(gè)問(wèn)題。比如下圖中的下一個(gè)圖形該是哪一個(gè)，有兩種可能的解答，這兩種規(guī)律哪一個(gè)才是我們真正關(guān)心的了？只有更多的數(shù)據(jù)才能回答。

over explore的問(wèn)題也許更多人更加熟悉，信息過(guò)載這個(gè)詞很多人會(huì)覺(jué)得陌生，然而當(dāng)看到那數(shù)不清的朋友圈，每日頭條的諸多推送，你就會(huì)明白什么叫information overload了，關(guān)于這個(gè)問(wèn)題，可以參考如果用刷朋友圈的時(shí)間讀一本書(shū)，能讀多少本？和我應(yīng)該刪掉多少好友，屏蔽多少朋友圈。over explore讓人成為只會(huì)讀兵書(shū)的趙括馬謖，讓人們以為知道了很多碎片化的知識(shí)，卻無(wú)法形成體系。

over explore的一個(gè)解毒藥是機(jī)器學(xué)習(xí)中No free lunch 定理，我們?cè)跈C(jī)器學(xué)習(xí)中衡量?jī)蓚€(gè)算法，到底孰優(yōu)孰劣，該怎么考慮？“沒(méi)有免費(fèi)的午餐定理”仿佛給了一個(gè)很令人 depressing 的答案：針對(duì)某一域的所有問(wèn)題，所有算法的期望性能是相同的。注意，這里有兩個(gè)關(guān)鍵詞，某一域的“所有”，和“期望”性能。所以它并沒(méi)有否認(rèn)兩個(gè)算法有優(yōu)劣之分，并且事實(shí)上還提供了一個(gè)視角讓我們理解為什么在機(jī)器學(xué)習(xí)中，我們可以選擇算法的優(yōu)劣性。 

No free lunch告訴我們，沒(méi)有一個(gè)適用于所有問(wèn)題的通用方法。機(jī)器學(xué)習(xí)的諸多方法各有各的適用場(chǎng)景，需要使用者因地制宜的去選擇。這個(gè)定理還告訴我們，即使收集到了全部的數(shù)據(jù)，我們也無(wú)法一錘定音的找到一個(gè)一成不變的最優(yōu)方案。這對(duì)從事機(jī)器學(xué)習(xí)人來(lái)說(shuō)是個(gè)好消息，說(shuō)明其工作要被計(jì)算機(jī)取代，還需要一段時(shí)間，任何機(jī)器學(xué)習(xí)算法成功的背后，都是很多人持續(xù)的選擇和分析一點(diǎn)一滴堆出來(lái)的勝利。

數(shù)據(jù)思維帶給我們的啟示，除了用數(shù)據(jù)去支持你人生的決策外，另一點(diǎn)是去關(guān)注explore 和exploit自己的平衡，不要犯上面提到的兩類(lèi)錯(cuò)誤。知道何時(shí)該停止試水的Optimal Stop Theory，無(wú)疑可以在這方面給予讀者啟迪。而另一方，我們可以通過(guò)制度的設(shè)計(jì)來(lái)幫助大家去做出更好的選擇。

Taleb的反脆弱（參考殺不死我的東西，使我變得更強(qiáng)大｜BetterRead）中提到Have an skin in the game，說(shuō)的是當(dāng)你需要為你的言論買(mǎi)單時(shí)，你會(huì)更注重你發(fā)言的質(zhì)量，更加深思熟慮。而通過(guò)市場(chǎng)機(jī)制去將眾多人的觀點(diǎn)綜合起來(lái)的制度，就是Superforcast這本書(shū)中提到的預(yù)測(cè)市場(chǎng)。

比如你想知道美國(guó)大選誰(shuí)的勝率高，民調(diào)的結(jié)果不靠譜，因?yàn)楹芏噙x民會(huì)在投票時(shí)變卦，專(zhuān)家的意見(jiàn)更加不靠譜，專(zhuān)家都有自己的偏見(jiàn)，那該聽(tīng)誰(shuí)的？有這么一個(gè)市場(chǎng)，你可以針對(duì)各種事情下注，從NBA得冠軍到石油價(jià)格的漲跌，這個(gè)市場(chǎng)上你可以自由的交易自己的賭注。通過(guò)對(duì)這個(gè)市場(chǎng)的觀察，那么就可以得出最靠譜準(zhǔn)確的預(yù)測(cè)來(lái)。這就是通過(guò)市場(chǎng)的擴(kuò)展秩序來(lái)發(fā)掘人群中的私人的隱形知識(shí)，同時(shí)避免噪音的干擾。

如果能綜合利用到更多人的觀點(diǎn)，預(yù)測(cè)的準(zhǔn)確度會(huì)不會(huì)提高了，腦補(bǔ)這樣一種未來(lái)，人們不止是為了接受信息付費(fèi)，還能為了傳播觀點(diǎn)承擔(dān)風(fēng)險(xiǎn)。具體的舉個(gè)例子，如果你寫(xiě)了一篇，或者轉(zhuǎn)發(fā)了一篇支持希拉里當(dāng)下一任美國(guó)總統(tǒng)的文章，然后在發(fā)表時(shí)后臺(tái)系統(tǒng)的自然語(yǔ)言處理系統(tǒng)識(shí)別出了你文章中的觀點(diǎn)，要求你付一筆錢(qián)，到時(shí)候如果希拉里贏得了大選，你會(huì)按照出價(jià)時(shí)的賠率獲得相應(yīng)的賠償，若是你猜錯(cuò)了，你會(huì)損失這筆錢(qián)。或者你在這樣的預(yù)測(cè)市場(chǎng)上下了注，你寫(xiě)了篇文章解釋你為什么要下注。這里的要點(diǎn)是要想發(fā)出聲音，你需要花錢(qián)，愿意將越多的錢(qián)用來(lái)做風(fēng)險(xiǎn)投資，你的聲音就越大，就會(huì)被置頂，被更多人聽(tīng)到。

這會(huì)不會(huì)通過(guò)金錢(qián)上的刺激，使你更加注重explore和exploit之間的權(quán)衡，從而提高下一屆朋友圈的信息水準(zhǔn)，那些傳播陰謀論的，會(huì)賭他們預(yù)測(cè)那末日即將到來(lái)，然后天下太平，他們失去了自己的賭注，從而只能發(fā)出更小的聲音。而那些只收集信息的人，則失去了將自己的洞見(jiàn)變現(xiàn)的機(jī)會(huì)。優(yōu)勝劣汰，在這樣的輿論生態(tài)圈中，活下去的都會(huì)是智者，而無(wú)論是做投資的，亦或是普通人，都可以從這樣的預(yù)測(cè)市場(chǎng)中受益，就像我們從市場(chǎng)經(jīng)濟(jì)中獲得了高質(zhì)量的物質(zhì)資源，結(jié)合了自然語(yǔ)言處理的預(yù)測(cè)市場(chǎng)將會(huì)為我們的注意力資源的合理分配提供一種可能性。

總結(jié)的Take home message

ALWAYS Test / Cross validation

MIND tradeoff between explore vs exploit

TAKE risk for your opinion

MEDEL your life choice

AS problem in math/ machine learning

QUESTION your assumption

NOT confuss over-interpretation with rule

REALITY need open mind thinking

如同古代的藏頭詩(shī)，算法和數(shù)據(jù)思維也不是萬(wàn)能的，always mind，take model as question，not as reality。生命之樹(shù)長(zhǎng)青，只要你還愿意接受新的觀點(diǎn)，新的數(shù)據(jù)。

感謝 深大王雄老師組織的南山深度學(xué)習(xí)讀書(shū)會(huì)中提供的機(jī)會(huì)，讓我能夠和更多的大牛請(qǐng)教分享自己的心得體會(huì)。

本文的標(biāo)題是一本推薦的書(shū) 參考 Algorithm to live by讀書(shū)筆記 我們?cè)摬辉撟詣?dòng)化我們的決策。

更多閱讀

七年之癢

信息格局論

未來(lái)簡(jiǎn)史 讀書(shū)筆記