5分鐘講清楚ABtset，詳解數(shù)據(jù)分析必備模型——辛普森悖論!
假設(shè)你是一個APP的負責(zé)人，你的團隊成員在爭吵不休。因為一個頁面的設(shè)計修改，你現(xiàn)在面臨一個選擇問題:選擇方案A是否更好？B計劃更好嗎？
今天介紹的分析思維模型:A/B測試模型可以幫助你做出更科學(xué)的選擇。
1.模型介紹
A/B測試是將優(yōu)化前和優(yōu)化后的方案在同一時間段展示給同類用戶，通過數(shù)據(jù)分析判斷是否符合預(yù)期的測試方法。
廣告界有一句經(jīng)典的話:
我知道廣告的投入有一半是沒用的，但問題是我不知道是哪一半。
這句話在傳統(tǒng)廣告行業(yè)一直都是成立的。
但隨著互聯(lián)網(wǎng)的發(fā)展，人們可以快速獲取大量的用戶行為數(shù)據(jù)，從而準確衡量廣告的效果，減少無效廣告的投放。這背后的關(guān)鍵技術(shù)是A/B測試模型。
互聯(lián)網(wǎng)時代，細節(jié)決定成敗。
谷歌、臉書、字節(jié)跳動等知名互聯(lián)網(wǎng)公司正在廣泛應(yīng)用A/B測試。無論是色彩調(diào)整、位置擺放還是文案設(shè)計，很多細節(jié)都會通過A/B測試來驗證，從而實現(xiàn)產(chǎn)品的不斷優(yōu)化。2.應(yīng)用示例
A/B測試廣泛應(yīng)用于互聯(lián)網(wǎng)、醫(yī)療、金融等領(lǐng)域。以APP設(shè)計方案的選擇為例:
首先要明確指標是什么，比如轉(zhuǎn)化率高就代表好。
其次，要合理劃分流量，保證A組和B組的用戶特征基本一致，并且兩者都具有代表性，能夠代表整體用戶特征。
如果整體流量比較大，為了減少測試可能造成的損失，建議在測試初期小范圍嘗試，比如取2%的流量，其中1%的用戶為A組，1%的用戶為b組。
當流量足夠大時，可以根據(jù)用戶的特征(如年齡、性別等)將用戶劃分為更細致的用戶群。)分別進行A/B測試，盡量排除其他因素的干擾。
然后，通過數(shù)據(jù)分析，比較檢驗結(jié)果，并做顯著性檢驗。
可以使用在線AB測試結(jié)果分析工具輸入訪問次數(shù)和轉(zhuǎn)化次數(shù)，可以自動計算轉(zhuǎn)化率和統(tǒng)計顯著值。
如果測試結(jié)果不顯著，可能是由于樣本量不足。建議增加檢驗的比重，以便得到更明確的檢驗結(jié)果，從而指導(dǎo)下一步的決策行動。
最后，在大膽假設(shè)的基礎(chǔ)上，一定要仔細驗證和考慮灰度發(fā)布是否必要，讓一部分用戶先試用新版本，避免出現(xiàn)辛普森悖論，否則可能造成不良影響。
辛普森悖論(Simpson Paradox)是由英國統(tǒng)計學(xué)家辛普森在1951年提出的，即在一定條件下的兩組數(shù)據(jù)分開討論時會滿足一定的性質(zhì)，但一旦放在一起考慮，就可能得出相反的結(jié)論。
比如A組男性1000人，女性200人，轉(zhuǎn)化率分別為10%和75%。B組有200名男性和1000名女性，轉(zhuǎn)化率分別為5%和50%。
如果男女分開，A組的轉(zhuǎn)化率明顯高于B組，10%高于5%，75%高于50%。
但如果男女合計，A組的轉(zhuǎn)化率只有20.8%，還不到B組42.5%轉(zhuǎn)化率的一半。
因此，在A/B測試過程中，需要特別注意組的權(quán)重，消除組基數(shù)差異帶來的影響，使測試樣本真實反映總體分布。
因為數(shù)量和質(zhì)量并不等價，但是，因為數(shù)量更容易衡量，人們總是習(xí)慣用數(shù)量來評價好壞，結(jié)果卻可能是錯過了重點。
從辛普森悖論中，我們可以得到一點啟示:A做了很多不重要的小事，而B做了幾件非常重要的事，最后A的成就可能遠不如B。
這就是為什么我們要牢記二八法則，用20%的高效時間專注于做能產(chǎn)生80%效果的重要事情。臨終遺言
在應(yīng)用A/B測試模型時，也要遵循大事優(yōu)先的原則，運用全局思維，優(yōu)先考慮那些對業(yè)務(wù)影響較大的測試，而不是不分輕重緩急抓眉毛胡子一把抓。
從小到大經(jīng)歷過各種各樣的考試，我們都有這樣的經(jīng)歷:從0到90，從90到99，從99到100，三者花費的時間是一樣的。分數(shù)越高，難度越大，效率越低。
在計算機軟件開發(fā)領(lǐng)域，有一個“99定律”，也被稱為90-90定律:
前90%的代碼占用了90%的開發(fā)時間，剩下的10%的代碼又占用了90%的開發(fā)時間。
在做A/B測試之前，我們可以花少量的時間快速定位正確的方向，先把細節(jié)放在一邊(必要的話后期再做優(yōu)化也不遲)，這樣才能實現(xiàn)快速迭代，形成良性循環(huán)，從而獲得更好的結(jié)果。
