作者：Rochelle King, Elizabeth Churchill, Caitlin Tan

如需轉(zhuǎn)載請(qǐng)聯(lián)系大數(shù)據(jù)（ID：hzdashuju）

無(wú)論你在何種類型的企業(yè)就職，我們都希望你將打造最佳用戶體驗(yàn)作為最重要的目標(biāo)與挑戰(zhàn)。用戶群體的差異很大，他們的經(jīng)歷、能力及預(yù)期都將影響并驅(qū)動(dòng)他們的行為。如果僅依賴直覺(jué)，即使最優(yōu)秀的設(shè)計(jì)師與產(chǎn)品團(tuán)隊(duì)也難以打造符合所有場(chǎng)合、所有用戶的完美體驗(yàn)。

通過(guò)高效的實(shí)驗(yàn)方法收集用戶數(shù)據(jù)，將在用戶行為多樣性、相似性、差異性及設(shè)計(jì)對(duì)用戶影響等方面獲得大量洞察。實(shí)際上，實(shí)驗(yàn)是一種與用戶對(duì)話的方法，能了解用戶的想法。收集實(shí)驗(yàn)數(shù)據(jù)有助于落實(shí)“用戶至上”的理念，并且在打造最佳體驗(yàn)的前提下進(jìn)行設(shè)計(jì)決策。

01 數(shù)據(jù)的多樣性

本文將利用一個(gè)形象的比喻幫助闡述一些概念與場(chǎng)景。我們發(fā)現(xiàn)，通常一個(gè)強(qiáng)有力的比喻有助于生動(dòng)傳達(dá)某些概念的內(nèi)涵，而真實(shí)案例有時(shí)難以做到這一點(diǎn)。有時(shí)，相比搜集真實(shí)的案例，簡(jiǎn)單的示例更適于當(dāng)下的情形。

所以我們邀請(qǐng)你扮演夏令營(yíng)的擁有者。每年，你將迎接大約200名兒童，并將與他們一起遠(yuǎn)足，開展戶外活動(dòng)，一同進(jìn)餐。由于夏令營(yíng)的規(guī)模很大且活動(dòng)豐富，一些營(yíng)員的反饋也許不能代表整體營(yíng)員的感受。

夏令營(yíng)已運(yùn)營(yíng)了一些年頭，每年都有一些老營(yíng)員光顧，但這畢竟是在做生意，你希望能夠持續(xù)吸引更多新成員。夏令營(yíng)是一個(gè)循環(huán)往復(fù)的過(guò)程，這也解釋了你為何希望采用新方式來(lái)改進(jìn)夏令營(yíng)的體驗(yàn)，進(jìn)而提升你的業(yè)務(wù)。

提起數(shù)據(jù)，我們只單純指那些可被收集、衡量或分析的碎片信息或信息集合。我們的目的不在于討論數(shù)據(jù)本身，而是使你認(rèn)識(shí)到數(shù)據(jù)對(duì)了解用戶的價(jià)值。比如老營(yíng)員不喜歡過(guò)多食用綠色蔬菜，對(duì)制定夏令營(yíng)運(yùn)營(yíng)計(jì)劃的你而言，這是否算是一則有用的信息？

常聽有人爭(zhēng)執(zhí)于一些數(shù)據(jù)比另一些更具價(jià)值。但我們認(rèn)為，與其說(shuō)存在所謂的最佳數(shù)據(jù)，不如說(shuō)能最大化幫助你獲得所需信息的數(shù)據(jù)即為最佳。

為此，我們將介紹一些（而非全部）數(shù)據(jù)的不同維度，而不再一一深入贅述各類數(shù)據(jù)或其收集方法。

02 數(shù)據(jù)的不同維度

數(shù)據(jù)與設(shè)計(jì)的討論中假如不涉及數(shù)據(jù)維度的討論，便是不完整的。介紹這些是要向你說(shuō)明，具有不同優(yōu)缺點(diǎn)的數(shù)據(jù)類型適合于不同的業(yè)務(wù)場(chǎng)景及目的。

因此，你需要判斷哪些數(shù)據(jù)可用，哪些不可，以及這些數(shù)據(jù)類型是否適用于待解決的問(wèn)題。這一系列需要思考的問(wèn)題總結(jié)一下便是：為什么收集，何時(shí)收集，如何收集，收集量是多少。這些問(wèn)題有助于你理清所要收集的數(shù)據(jù)維度與類型。

1. 為何收集數(shù)據(jù)？

首先，你要想清楚為何收集數(shù)據(jù)。換句話說(shuō)，你希望從數(shù)據(jù)中獲得哪些信息？

也許你十分想了解用戶的行為習(xí)慣。簡(jiǎn)單來(lái)說(shuō)，行為就是用戶做了什么，或采取了哪些行動(dòng)。比如，假設(shè)你剛剛在應(yīng)用程序中推出了一個(gè)新功能，你想了解用戶能否找到這個(gè)功能，以及會(huì)在什么情況下使用它，那么你需要考慮用戶行為數(shù)據(jù)的收集。

通常，這非常便于衡量與檢測(cè)行為。實(shí)際上，人類行為的用戶研究員常說(shuō)，相比一個(gè)人說(shuō)了什么，你應(yīng)當(dāng)相信他的行為。然而，僅僅觀察行為并不能告訴你用戶行為背后的原因，或是他們的感受。

可能你也想要了解用戶的態(tài)度與期望。比如，假如你對(duì)行為好奇，便會(huì)思考用戶是否會(huì)點(diǎn)擊按鈕。相反，假如你在衡量用戶態(tài)度，你可能會(huì)思考，用戶點(diǎn)擊按鈕前對(duì)點(diǎn)擊結(jié)果的期望是什么。你可能想要了解什么結(jié)果符合或違背了用戶的期望。

最后，你可能想要了解用戶的感受。這類數(shù)據(jù)反映了用戶的情感狀態(tài)，是一種“效應(yīng)”數(shù)據(jù)。你可能會(huì)思考，用戶是否信任你的企業(yè)或品牌？是否對(duì)新的注冊(cè)流程感到不安或滿意？

與行為數(shù)據(jù)相比，觀點(diǎn)態(tài)度與情感數(shù)據(jù)的收集更難擺脫主觀因素而不失偏頗。一個(gè)常見(jiàn)的問(wèn)題是，用戶通常希望提供“正確回答”，因而，他們會(huì)告訴你所希望聽到的答案，并非自己的真實(shí)想法。這稱作社會(huì)期許反應(yīng)偏差或默許偏差，許多技術(shù)手段可以有效避免這種情況。

雖然存在種種難題，但觀點(diǎn)態(tài)度與情感類數(shù)據(jù)對(duì)于打造良好的用戶體驗(yàn)非常關(guān)鍵。即使每個(gè)用戶都會(huì)點(diǎn)擊新按鈕，但假如點(diǎn)擊后的結(jié)果與他們的期望不符，用戶便會(huì)感到失望，也會(huì)失去對(duì)產(chǎn)品和品牌的信任。

2. 何時(shí)收集數(shù)據(jù)？

除了考慮數(shù)據(jù)內(nèi)容，也要考慮何時(shí)收集它們。拆分成兩種便是：縱向數(shù)據(jù)與快照。

首先，數(shù)據(jù)收集的時(shí)間間隔是多少？縱向數(shù)據(jù)來(lái)自同一名用戶一段時(shí)期內(nèi)的數(shù)據(jù)（周期可能是幾天、幾個(gè)月甚至幾年），使你能夠了解在這段時(shí)間內(nèi)用戶的改變、調(diào)整適應(yīng)與學(xué)習(xí)進(jìn)步。你能夠了解以往的經(jīng)歷如何影響著未來(lái)的經(jīng)歷，這為你的數(shù)據(jù)分析提供了背景信息。然而，你的分析必須等到周期結(jié)束，同時(shí)數(shù)據(jù)收集也必然將花費(fèi)更久的時(shí)間。

假如將縱向數(shù)據(jù)比作一段視頻，那么快照便是一張圖像。相比了解用戶的行為變化，也許你只想了解用戶使用產(chǎn)品的其中一種情況。這種數(shù)據(jù)能夠被更快地收集（你可以一次性觀察上百名實(shí)驗(yàn)參與者，而你將需要花費(fèi)兩年時(shí)間觀察并研究一名用戶的行為），但會(huì)缺失一些信息，諸如用戶先前行為對(duì)后續(xù)行為的影響，以及一段時(shí)間內(nèi)用戶的行為變化。

另外，需要考慮數(shù)據(jù)收集的環(huán)境，是真實(shí)場(chǎng)景中還是孤立場(chǎng)景。想象一下，在通勤時(shí)間，用戶在擁堵的地鐵上試用令人著迷的手機(jī)游戲，與他們?cè)谵k公室——一個(gè)安靜私密的空間——使用這款游戲之間的差異。在孤立的環(huán)境中收集數(shù)據(jù)有助于控制那些可能影響或改變用戶使用行為的因素。

你很明白，若干用戶同時(shí)測(cè)試，環(huán)境將不會(huì)對(duì)他們的體驗(yàn)產(chǎn)生任何影響。但是，用戶完全不可能在安靜而隔離的溫室中使用產(chǎn)品。上下文數(shù)據(jù)可以反映設(shè)計(jì)在“原始環(huán)境”——一個(gè)嘈雜混亂、充滿挑戰(zhàn)與干擾的真實(shí)世界——中的真實(shí)情況。

3. 如何收集數(shù)據(jù)？

根據(jù)問(wèn)題的不同類型，數(shù)據(jù)可被分為定性數(shù)據(jù)與定量數(shù)據(jù)。定性數(shù)據(jù)用以闡述諸如“為什么”或“為什么如此”的問(wèn)題。這類信息能夠被觀察或捕捉，但不能以量作為衡量標(biāo)準(zhǔn)。在設(shè)計(jì)過(guò)程中，定性數(shù)據(jù)有助于建立起用戶同理心，了解用戶的想法態(tài)度、觀念、價(jià)值觀和需求。

相比而言，定量數(shù)據(jù)通過(guò)數(shù)量來(lái)闡述觀察結(jié)果。定量數(shù)據(jù)適用于回答“多大量”或“多少量”的問(wèn)題。可在設(shè)計(jì)流程中使用定量數(shù)據(jù)來(lái)衡量一些固定指標(biāo)，如日活躍用戶（DAU）或用戶留存率（在所定義的兩個(gè)時(shí)間段內(nèi)繼續(xù)使用產(chǎn)品或服務(wù)的用戶占例，比如，橫跨兩種業(yè)務(wù)時(shí)）。

另外，可以通過(guò)自述報(bào)告或觀察收集數(shù)據(jù)。自述報(bào)告的數(shù)據(jù)包含詢問(wèn)用戶的問(wèn)題及用戶的一些回答。相比詢問(wèn)用戶，觀察用戶行動(dòng)或行為能夠獲取觀察數(shù)據(jù)。如前面所述，自述報(bào)告的數(shù)據(jù)也許不太客觀，因?yàn)橛脩艨赡軙?huì)給出我們希望了解的內(nèi)容，而非他們真實(shí)的想法或行為。但有些類型的數(shù)據(jù)（比如觀點(diǎn)態(tài)度或情感數(shù)據(jù)）難以通過(guò)觀察獲取。

最后，根據(jù)想要獲得的信息深度或事先想要了解的信息量，可以選擇收集封閉式數(shù)據(jù)或開放式數(shù)據(jù)。在訪談等場(chǎng)景中收集封閉式數(shù)據(jù)時(shí)，人們進(jìn)行提問(wèn)或觀察。當(dāng)發(fā)現(xiàn)一些有趣或令人困惑的信息時(shí)，進(jìn)一步詢問(wèn)用戶行動(dòng)的原因。

相比之下，在調(diào)研等開放式方法中，假如數(shù)據(jù)比較特別或不清晰，則難以繼續(xù)深入了解行為原因或意圖。封閉式數(shù)據(jù)要求觀察者跟蹤觀察或進(jìn)行訪談，了解信息并通過(guò)詢問(wèn)澄清疑惑。

相比之下，開放式調(diào)研需要更多的前期投入（設(shè)計(jì)調(diào)研問(wèn)題必須謹(jǐn)慎而專業(yè)，避免系統(tǒng)偏差或干擾用戶，因?yàn)檫@些難以澄清），但由于無(wú)須安排人員跟蹤每個(gè)階段的調(diào)研，這種方式使大規(guī)模數(shù)據(jù)收集變得容易。

此外，開放式調(diào)研確保了每位調(diào)研對(duì)象獲得近乎相同的調(diào)研體驗(yàn)，不會(huì)受到行為細(xì)微差異的影響（比如，不同的調(diào)研者會(huì)采用不同的措辭或略有差異的語(yǔ)序進(jìn)行發(fā)問(wèn)）。

4. 收集多少數(shù)據(jù)？

最后還剩一個(gè)問(wèn)題，收集多少數(shù)據(jù)才足夠。實(shí)際上，這是一個(gè)相當(dāng)難給出答案的問(wèn)題，本文將簡(jiǎn)要提及一些。這個(gè)答案很大部分依賴于根據(jù)所要收集的數(shù)據(jù)類型與最終目標(biāo)所做出的決策。

想象一下，你工作的桌子旁有一塊地毯。一天，你看到某人因地毯的一塊隆起而絆了一下。你會(huì)一直等到10個(gè)、100個(gè)甚至更多人都絆倒在同一處時(shí)，才會(huì)考慮撫平這塊地毯?jiǎn)?？?dāng)然不會(huì)。

這與如何看待軟件缺陷問(wèn)題的情況一樣——當(dāng)你發(fā)現(xiàn)了一些軟件/硬件配置問(wèn)題，雖然不確定多少人面臨同樣的問(wèn)題，但你會(huì)修復(fù)這個(gè)問(wèn)題。這個(gè)原則同樣適用于設(shè)計(jì)的可用性問(wèn)題。包含少數(shù)參與者的研究（通常叫作“小樣本研究”）可以完美說(shuō)明此類問(wèn)題，你無(wú)須量化問(wèn)題人數(shù)來(lái)確認(rèn)問(wèn)題是否是由設(shè)計(jì)引起的。

比如，圖2-1指出，由5個(gè)被測(cè)試者即可確定85%以上的可用性問(wèn)題。假如調(diào)研更少的用戶，你同樣可以在相同時(shí)間內(nèi)獲得更豐富、更深入的數(shù)據(jù)信息。

然而，在某些類型的小樣本研究中，你無(wú)法保證研究發(fā)現(xiàn)適用于總體中的每一個(gè)個(gè)體。同樣，你也無(wú)法采用更高精度的方法量化到底多少用戶將遇到相同的問(wèn)題，或產(chǎn)生相似的感受。這意味著，小樣本研究不適用于某些決策，比如，確定某個(gè)問(wèn)題的產(chǎn)生概率。

▲圖 2-1：隨著更多用戶的參與，從每個(gè)后續(xù)用戶中獲取的信息量在逐漸遞減。絕大多數(shù)人（包括NNG，本圖表的發(fā)明者）都贊同，可用性測(cè)試只需5名用戶參與，便可使你不費(fèi)吹之力注1發(fā)現(xiàn)85%以上的可用性問(wèn)題

相比而言，從大量參與者收集的數(shù)據(jù)（通常被稱作“大樣本研究”）可以提供更加精確的量化及頻率信息：多少人存在相同的感受，以及執(zhí)行某種操作的用戶占比是多少等。理想的環(huán)境中資源是無(wú)限的，你可能認(rèn)為盡量多地收集數(shù)據(jù)總是最好的選擇，這確保你掌握全部信息。

然而，你可能沒(méi)有時(shí)間以這種方式進(jìn)行研究。通常，樣本量越大，得到的結(jié)果越能夠代表整體情況（只要樣本具有代表性）。一些統(tǒng)計(jì)學(xué)方法可以用來(lái)確定進(jìn)行數(shù)據(jù)收集的用戶量，以保證結(jié)果達(dá)到一定的可信度。

我們不再深入討論更多細(xì)節(jié)問(wèn)題，假如你想了解更多，建議與你的數(shù)據(jù)分析師或數(shù)據(jù)科學(xué)家進(jìn)行溝通，探討關(guān)于樣本大小和統(tǒng)計(jì)規(guī)模之間的關(guān)系。

03 為什么實(shí)驗(yàn)

剛剛講了數(shù)據(jù)的多種維度。實(shí)際上，精確細(xì)膩地處理各類數(shù)據(jù)需要耗費(fèi)數(shù)年時(shí)間。相比膚淺地研究處理多類型數(shù)據(jù)，我們決定專注于一種類型的數(shù)據(jù)收集：通過(guò)A/B測(cè)試開展實(shí)驗(yàn)。

那么為何如此在意實(shí)驗(yàn)，且不斷提及？簡(jiǎn)要來(lái)說(shuō)，實(shí)驗(yàn)幫助我們通過(guò)證據(jù)了解事情的因果關(guān)系，而非傳聞逸事，這可能具有統(tǒng)計(jì)學(xué)意義。因此，當(dāng)在真實(shí)環(huán)境中發(fā)布設(shè)計(jì)、功能或是產(chǎn)品時(shí)，我們能夠得到一些預(yù)見(jiàn)性的觀點(diǎn)。這么說(shuō)可能有點(diǎn)夸張，下面將進(jìn)行詳細(xì)說(shuō)明。

1. 了解因果關(guān)系

先從實(shí)驗(yàn)的一個(gè)明顯重要的優(yōu)勢(shì)談起。有句古老諺語(yǔ)：“相關(guān)不蘊(yùn)含因果聯(lián)系”。這是說(shuō)兩件或多件事物相關(guān)聯(lián)，意味著它們之間存在著某些共同相互的關(guān)系或聯(lián)系，這并不意味著一件事情的變化會(huì)引起另一件（些）事情發(fā)生改變。實(shí)際上，我們善于將生活中發(fā)生的各種事情與影響關(guān)聯(lián)起來(lái)。

在夏令營(yíng)的例子中，假設(shè)我們?cè)噲D了解使用哪種營(yíng)銷方式可招攬更多營(yíng)員。對(duì)此，我們也許得出一個(gè)結(jié)論，刊登了夏令營(yíng)廣告的雜志的熱賣會(huì)促進(jìn)營(yíng)員增長(zhǎng)（見(jiàn)圖2-2）。

雜志銷量的提升一定會(huì)引起注冊(cè)人數(shù)的增多，該假設(shè)的問(wèn)題在于，在不可控的環(huán)境中，我們不是上帝，無(wú)法完美預(yù)見(jiàn)所有的因素，而某些因素或許會(huì)引起其他結(jié)果。我們無(wú)法排除這些因素，無(wú)法斷定預(yù)見(jiàn)了事情的前后因果。

▲圖2-2：假如刊登了夏令營(yíng)廣告的雜志熱賣，營(yíng)員增多，也許可以認(rèn)為營(yíng)銷活動(dòng)促進(jìn)了人數(shù)擴(kuò)張

實(shí)際上，這個(gè)例子中，雜志的銷量增多可能確實(shí)引起了注冊(cè)人數(shù)的增長(zhǎng)，但其他原因也是存在的。增加一個(gè)變量便可清楚地解釋這一點(diǎn)。比如，把經(jīng)濟(jì)的發(fā)展情況考慮在內(nèi)？

實(shí)際上，也許是經(jīng)濟(jì)整體的健康發(fā)展引起了雜志銷量的提高和夏令營(yíng)人數(shù)的增長(zhǎng)。經(jīng)濟(jì)的發(fā)展使得家庭可自由支配的收入增多，因而在雜志和夏令營(yíng)方面花銷增長(zhǎng)（見(jiàn)圖2-3）。

▲圖2-3：然而，也可能是經(jīng)濟(jì)的健康發(fā)展引起了雜志銷量的提高和注冊(cè)人數(shù)的增長(zhǎng)。哪種假設(shè)才是正確的？不實(shí)驗(yàn)，我們便不了解真相

A/B測(cè)試和實(shí)驗(yàn)的優(yōu)勢(shì)在于，它們提供了可控的環(huán)境，有助于了解事情發(fā)生的前因后果。換句話說(shuō)，實(shí)驗(yàn)幫助我們確立因果關(guān)系。這對(duì)設(shè)計(jì)師很重要，了解了行為的潛在原因，便能預(yù)知產(chǎn)品或設(shè)計(jì)的改變會(huì)產(chǎn)生哪些影響。

同樣，也有助于明確地了解，怎樣的設(shè)計(jì)決策會(huì)引起用戶行為的變化。再則，避免過(guò)于傾向于可支持我們觀點(diǎn)的數(shù)據(jù)與行為模式（心理學(xué)上稱作“確認(rèn)偏差”），降低將時(shí)間和企業(yè)資源投入到未被證明的假設(shè)上的風(fēng)險(xiǎn)。

2. 采用統(tǒng)計(jì)方法，而非道聽途說(shuō)

作為一種方法論，因果關(guān)系對(duì)于實(shí)驗(yàn)而言非常獨(dú)特，是A/B測(cè)試令人期待一個(gè)重要原因，但我們依然想談?wù)撚嘘P(guān)實(shí)驗(yàn)的一些其他優(yōu)勢(shì)。

一般來(lái)說(shuō)，無(wú)論采取哪種數(shù)據(jù)收集方法，都旨在找到有意義并值得信賴的可引導(dǎo)設(shè)計(jì)及產(chǎn)品決策的依據(jù)。

當(dāng)團(tuán)隊(duì)中的某成員基于朋友、熟人或業(yè)務(wù)利益相關(guān)人的個(gè)人想法而建議一種全新的產(chǎn)品方向或設(shè)計(jì)調(diào)整時(shí)，你應(yīng)當(dāng)保持謹(jǐn)慎。大多數(shù)情況下，這些都是個(gè)人觀點(diǎn)而非真實(shí)依據(jù)。希望你對(duì)所了解的傳聞逸事的局限性有更多的思考（不僅具有偏見(jiàn)的風(fēng)險(xiǎn)），提出問(wèn)題來(lái)幫助了解更多信息。

這就是說(shuō)，定義“有意義”的方法有許多。嚴(yán)謹(jǐn)?shù)亩ㄐ匝芯糠椒ㄕ摕o(wú)疑是有意義的依據(jù)來(lái)源，也是制定良好產(chǎn)品決策的關(guān)鍵。確保所得數(shù)據(jù)有意義的方法之一是制定良好的研究計(jì)劃。

比如，提出不包含偏見(jiàn)、不被偏見(jiàn)誘導(dǎo)或引導(dǎo)、經(jīng)過(guò)深思熟慮的問(wèn)題。再比如，用戶研究員接受過(guò)良好的專業(yè)培訓(xùn)，是開展此類工作的專家。

識(shí)別數(shù)據(jù)可能存在意義的另一種方式是運(yùn)用統(tǒng)計(jì)學(xué)方法。這些方法僅適用于定量測(cè)量，但因?yàn)閷?shí)驗(yàn)與A/B測(cè)試也是定量方法，它們可基于統(tǒng)計(jì)顯著性進(jìn)行度量。

統(tǒng)計(jì)顯著性能夠量化數(shù)據(jù)所反映的現(xiàn)象是一種真實(shí)存在而非隨機(jī)現(xiàn)象。根據(jù)所收集的數(shù)據(jù)類型，可選擇不同的統(tǒng)計(jì)顯著性度量標(biāo)準(zhǔn)，比如P值。P值用于度量某既定事件在既定情況下發(fā)生的概率。因而，P值有助于量化實(shí)驗(yàn)中隨機(jī)差異產(chǎn)生的概率。

這里將不再詳述P值的計(jì)算方法，但假如你希望了解更多，建議你與數(shù)據(jù)科學(xué)家或分析師朋友進(jìn)行溝通。此處這些有限的統(tǒng)計(jì)學(xué)知識(shí)，來(lái)自一個(gè)被稱作“頻率論”的統(tǒng)計(jì)學(xué)流派，通常用于在線實(shí)驗(yàn)。

統(tǒng)計(jì)學(xué)方法可以幫助確定可能有意義的數(shù)據(jù)，而非一定有意義的數(shù)據(jù)。為了確定這部分，我們同 Arianna McClain進(jìn)行了交談。Arianna現(xiàn)在擔(dān)任DoorDash公司用戶洞察部門的主管，最近擔(dān)任全球設(shè)計(jì)公司IDEO的設(shè)計(jì)研究員及設(shè)計(jì)與數(shù)據(jù)專家。Arianna在兩個(gè)領(lǐng)域的交叉方面，以及如何使設(shè)計(jì)師無(wú)須接受過(guò)多培訓(xùn)便可使用數(shù)據(jù)方面有很棒的見(jiàn)解。

當(dāng)考慮統(tǒng)計(jì)顯著性，以及它與某事物是否有意義的關(guān)系時(shí)，Arianna談道：

統(tǒng)計(jì)顯著性不會(huì)表明事情是“對(duì)的”或是“錯(cuò)的”，也不會(huì)決定應(yīng)當(dāng)采取什么行動(dòng)。反而，它僅僅是簡(jiǎn)單的建議，有些事值得繼續(xù)。

當(dāng)我注意到，某種相關(guān)或模型并不接近統(tǒng)計(jì)顯著性時(shí)，我便認(rèn)為這是一個(gè)可快速跳過(guò)并繼續(xù)的提示。但是，假如接近統(tǒng)計(jì)顯著性，這便是說(shuō)：“喂，你應(yīng)該關(guān)注這部分?！?/span>這促使我進(jìn)行更多深入的研究，提出更多問(wèn)題。

以臨床隨機(jī)藥物實(shí)驗(yàn)為例，一家制藥企業(yè)不會(huì)因?yàn)閿?shù)據(jù)表明藥物達(dá)到了統(tǒng)計(jì)顯著性的預(yù)期效果便決定批準(zhǔn)該藥物進(jìn)入臨床使用。他們同時(shí)要考慮藥物的臨床效果影響、副作用以及成本。許多醫(yī)學(xué)案例表明，有些藥物具有統(tǒng)計(jì)上的顯著效果，但沒(méi)有意義。

例如，減肥實(shí)驗(yàn)可能表明，與P<0.0001的生活方式干預(yù)相比，某新藥的減重效果更明顯。但是，患者服用后可能出現(xiàn)強(qiáng)烈的副作用，并只能減重一磅或兩磅以上，這就使藥物不具備臨床意義，也不值得患者服用。

P值小不代表沒(méi)有意義，相反，如Arianna所述，這表示你應(yīng)當(dāng)關(guān)注這個(gè)結(jié)果，思考在這種情況下如何收集數(shù)據(jù)，這個(gè)改變將如何影響業(yè)務(wù)，其他數(shù)據(jù)來(lái)源可以提供什么信息。

不要只考慮顯著性而不考慮其意義。也就是說(shuō)，在精心設(shè)計(jì)的前提下，實(shí)驗(yàn)?zāi)軌蚍从痴鎸?shí)而非隨機(jī)的情況，這是在決策時(shí)應(yīng)當(dāng)關(guān)注與思考的。

3. 了解真實(shí)情況

A/B測(cè)試非常善于鑒別統(tǒng)計(jì)顯著性結(jié)果，識(shí)別真實(shí)存在而非偶然發(fā)生的現(xiàn)象。除了因付出有所回報(bào)感到激動(dòng)欣喜之外，統(tǒng)計(jì)顯著性還有哪些價(jià)值？

當(dāng)團(tuán)隊(duì)計(jì)劃推出一款產(chǎn)品及設(shè)計(jì)時(shí)，他們希望對(duì)用戶行為做出明智判斷。以電商網(wǎng)站為例，用戶是否會(huì)點(diǎn)擊按鈕，成功沿著新步驟完成付款流程？少量用戶研究的局限性主要在于，目標(biāo)難以代表用戶整體。但你可以采用其他方式獲得洞察，了解用戶可能遇到的問(wèn)題或特殊群體的訴求。

回顧之前提到的數(shù)據(jù)維度。精心設(shè)計(jì)并實(shí)施的實(shí)驗(yàn)?zāi)芴峁┯幸饬x的洞察，指明有關(guān)功能或產(chǎn)品的真實(shí)表現(xiàn)，以此消除局限性的問(wèn)題。A/B測(cè)試是一種基于觀察的行為研究方法，收集大量用戶上下文的數(shù)據(jù)信息。

這就是說(shuō)，只要精心設(shè)計(jì)A/B測(cè)試的實(shí)驗(yàn)，我們便能確信，測(cè)試結(jié)果可以真實(shí)一致地體現(xiàn)產(chǎn)品發(fā)布后的結(jié)果。借助A/B測(cè)試，團(tuán)隊(duì)便能夠“窺探未來(lái)”，了解產(chǎn)品的預(yù)期表現(xiàn)，衡量與量化設(shè)計(jì)變動(dòng)產(chǎn)生的影響。

通過(guò)數(shù)據(jù)感知的方式預(yù)估未來(lái)的能力非常重要?；诖?，進(jìn)行再設(shè)計(jì)、再思考時(shí)，企業(yè)能夠節(jié)約時(shí)間與資源，用以投資表現(xiàn)優(yōu)異的項(xiàng)目，舍棄表現(xiàn)不佳或不符合預(yù)期用戶行為的想法。

除去商業(yè)上的優(yōu)勢(shì)，A/B測(cè)試幫助設(shè)計(jì)師基于用戶體驗(yàn)或公司的底線量化付出的努力的價(jià)值。這非常重要，因?yàn)檫@有助于設(shè)計(jì)師清晰地向利益相關(guān)人及業(yè)務(wù)人員闡述投資與重視優(yōu)秀設(shè)計(jì)的重要性。

了解并運(yùn)用數(shù)據(jù)感知的方法（比如A/B測(cè)試），有助于設(shè)計(jì)師提出令人信服的依據(jù)，并證實(shí)投資優(yōu)秀設(shè)計(jì)對(duì)于商業(yè)成功的關(guān)鍵性是可以被量化評(píng)估的，而非僅僅是哲學(xué)意義上的。