網頁的測試可以有很多好處，但這裡提到5種A/B測試和多變量測試的誤區會讓你誤入歧途，SO，不要犯這樣的錯誤。
單變量、多變量、“顛覆性設計”測試
單變量測試就是只測試一個變量的多個值，就是我們平常說的A/B test。注意啦，a/b測試不只是有a/b兩個版本， a/b/c/d/e/f/g一樣是a/b test!!。
多變量測試呢，就是說會存在多個變量，比如變量是logo的大小，顏色，布局，logo大小有3個值，顏色有3個值，布局也有2個值，需要測試的版本就有3*3*2=18 ！這就是所謂的全因子實驗設計。不過一般制造業不會這樣子，成本太高了，於是就有了正交實驗設計。這樣可以在短時間找到顯著較優的方案，但並不適用於互聯網！
顛覆性設計就是的全新的（Radical redesigns），多用於新產品，totally different，測試look-and-feel。
網頁的測試可以有很多好處，那什麼時候用A/B，什麼時候用多變量呢？
A/B test的適用條件
- 新手！
- 只有一個變量要測試（廢話）
- “全新設計”（一點一點來實在太慢了！）
- 流量太低，多變量測試導致統計上不顯著
多變量測試的適用條件
- 流量足夠、有多個變量
- 追趕業內老大
- 無法測試“全新設計”
但這裡提到5種A/B測試和多變量測試的誤區會讓你誤入歧途，SO，不要犯這樣的錯誤。
1. 網站分析程序有不是最優的。
在開始測試前，先確定分析程序是OK的，這樣不僅可以保證你測試前的分析是正確的，測試過程和測試後也可以正確運行。（補充一下，就是要保證分析之前，采集數據的方法統一。即使有誤差那也都存在誤差，互相比較時不會把你帶到溝裡。）
2. 沒有用戶細分
平均的綜合性的指標會掩蓋真正的問題。比如說你在測試出網站平均跳出率為59%，如果你去按用戶類型細分，新用戶可能是74%，回訪用戶可能是38%。所以目標應該是降低新用戶的跳出率。
同樣這種情況存在於國內用戶與國際用戶，郵件訂閱者……可悲的是，不是所有程序都能對用戶細分。
（補充：正確的用戶細分與業務結合得非常緊密，一般需要經過建模，通過合理的變量來細分用戶。這樣才能實現更有效的細分）
3、使用錯誤的度量
4、測試時間過短。學習一下統計知識，均值檢驗、卡方統計等等，不要過早宣判一個版本的勝利。
以上內容大多取自http://www.getelastic.com/5-common-ab-multivariate-testing-mistakes/，圍觀請移步.