資深的歐美影視粉絲，都熟悉 Netflix 在線影片租賃網(wǎng)站，在上面你能看到各種熱點的美劇和片子，《紙牌屋》就是它買下版權(quán)并打造的 IP 之一。

今天 AppSo分享的這篇文章，讓 Jessie Chen 告訴你 Netflix 如何通過呈現(xiàn)不同的片子/電視劇封面圖，知道怎樣的畫面能捉住我們的留意力。

你有想過為什么 Netflix 有這么棒的流媒體觀賞體驗嗎？你想知道每次 Netflix 對主頁的 UI 層進行重新設計時，A/B 測試施展著怎樣的作用嗎？假如你的回答是 yes，那么這篇文章你不能錯過。

之前在 Yelp 的設計師與極客大會時，Netflix 的產(chǎn)品設計師 Anna Blaylock 和 Navin Iyengar 分享自己多年來在數(shù)千萬用戶身上實踐過的 A/B 測試心得，結(jié)合相關(guān)案例的展示，匡助參加者思索自己的產(chǎn)品設計是否真的公道。

什么是 A/B 測試？

在科學領(lǐng)域中，「假設」是指你即將要通過研究和實驗去驗證的一個觀點或解釋。在設計中，理論或猜想同樣可以被當作假設。假設的一個最基本特征是「沒有預先確定的實驗結(jié)果」，同時必需是可以被反復驗證的。

A/B 測試的主要概念在于創(chuàng)造一組實驗，其中包括一個對照組和若干個經(jīng)由處理的實驗組（在 Netflix 內(nèi)部實驗組被稱作「cell」）。

在詳細的實驗中，每個被選中介入實驗的用戶都會且僅會被劃進一個「cell」中，其中有一個「默認cell」，它充當對照組的角色，對照組內(nèi)的用戶體驗的產(chǎn)品與未介入實驗的用戶完全一致。

——引自 Netflix 博客

Netflix 實施 A/B 測試的流程

測試開始后，實驗職員會追蹤特定的重要數(shù)據(jù)指標，例如用戶瀏覽視頻流的時間長度或者是保存率等等。

一旦測試用戶表現(xiàn)出具有足夠說服力的行為，實驗職員就會對比各個測試組的效果，并將表現(xiàn)最好的那個小組指定為最優(yōu)小組。

「實驗方法」指的是實驗的詳細操縱步驟，包括 Netflix 在內(nèi)的很多公司都會通過實驗去獲取用戶數(shù)據(jù)。為了盡可能高效率地解決我們感愛好的題目，實施實驗前需要耗費大量的時間和精力去設計和組織一個公道的實驗方案，以確保盡實驗數(shù)據(jù)在類型和數(shù)目上都是充分且有效的。

每次你登陸 Netflix 的主頁，首頁專題都會發(fā)生變化。這恰是 Netflix 為了引導你觀看他們提供的節(jié)目而進行的復雜實驗中的一部門。

首次登陸時呈現(xiàn)的主頁：

非登陸用戶看到的《紙牌屋》頁面：

第二次登陸時的首頁：

我修改用戶名稱后的首頁：

當我用兒童身份登錄時看到的主頁：

非登陸狀態(tài)下的首頁：

A/B 測試的概念在于給不同用戶小組提供不同的內(nèi)容，收集用戶行為并將分析結(jié)果用于制定未來的內(nèi)容投放策略。Netflix 的工程師 Gopal Krishnan 在博客中寫到：

假如你不能在 90 秒以內(nèi)牢牢捉住用戶的留意力，用戶就很可能會失去愛好而去進行別的操縱。

類似的無效訪問之所以會常常泛起，一方面可能是由于我們沒有為用戶提供他們感愛好的內(nèi)容，另一方面也有可能我們確實提供了用戶想看的內(nèi)容，但沒有充分的證據(jù)去解釋為什么用戶應該看到這些內(nèi)容。

Netflix 曾在 2013 年完成一次實驗，去探索對于統(tǒng)一個標題而言，豐碩封面圖的多樣機能不能帶來觀眾數(shù)目的增長。實驗結(jié)果如下：

圖來譯自Netflix技術(shù)博客

用戶相稱顯著地表現(xiàn)出了對封面圖變化的高敏感度，利用這個特征，可以匡助 Netflix 的用戶在瀏覽選劇時更輕易地找到喜愛的目標劇集。

Netflix 隨后建立了一個封面圖自動分類系統(tǒng)，將共用一張背景圖但具有不同長寬比、裁剪位置、小規(guī)模修整以及標題經(jīng)由局部處理的封面圖分為一組作為比較，并在網(wǎng)站上的不斷重復試驗，以追蹤具有相似特征的封面圖吸引點擊的效果。

下面是一些案例：

兩張標記封面圖效果明顯優(yōu)于其他實驗對象

圖來自 Netflix 技術(shù)博客

最后一張標記封面圖效果明顯優(yōu)于其他實驗對象：

圖來自 Netflix 技術(shù)博客

下面兩篇博客文章先容了更多 Netflix 進行A/B測試的細節(jié)：

我們能從中學習到什么？

A/B 測試是理解用戶行為最可靠的方法。作為設計師，我們需要通過實驗反思我們的工作。由于我們的直覺并不老是對的。

1. 進行 A/B 測試的時間及理由

當你完成了一項產(chǎn)品設計，可以使用 A/B 測試對設計進行調(diào)整，主要關(guān)注兩個樞紐指標：保存和收益。

通過 A/B 測試對產(chǎn)品的各方各面進行優(yōu)化，并對用戶進行長時間的追蹤觀察，你可以發(fā)現(xiàn)所做的改動是否晉升了保存率或收益。假如確實有效，就把改動全量上線。就這樣，A/B 測試可以用來持續(xù)不斷地晉升貿(mào)易指標的表現(xiàn)。

2. 用戶是否按照你想的那樣在使用產(chǎn)品？

根據(jù)我的經(jīng)驗，用戶通常無法按照你設想的那樣快速完成一個任務，他們有時候甚至無法發(fā)現(xiàn)你在頁面上設置了一個顯眼的按鈕。造成這種現(xiàn)象的原因有良多：可能是設計不夠直觀，可能是按鈕配色不夠顯眼，可能用戶還沒有用慣這一類產(chǎn)品，也有可能是頁面布置了太多按鈕讓用戶難以抉擇等等。

3. 你的直覺是準確的嗎？

令人沮喪的是，當我們研究用戶行為時，直覺的運用往往適得其反，因此 A/B 測試是獨一可以驗證用戶行為的方法，也是可以證實為了獲取最有效果，我們選用當前設計而非其它的獨一方法。

在實際的工作中，我們的消費者產(chǎn)品團隊在自家房地產(chǎn)網(wǎng)站上通過 A/B 測試證明了上述觀點。舉個例子，他們想弄清晰改變設計風格，能否晉升點擊谷歌廣告鏈接進入網(wǎng)站的用戶的登錄率。

在把一些不同風格的設計作為測試樣品進行線上 A/B 測試時，他們發(fā)現(xiàn)消去樓盤照片的設計效果最好，還發(fā)現(xiàn)同時消去樓盤照片和房屋價格的設計，可以晉升用戶向客服咨詢問價的概率。

4. 探索邊界

最佳的創(chuàng)意往往脫胎于對大量創(chuàng)意的探索。在實際工作中，我們的產(chǎn)品團隊在不同的項目中交叉協(xié)作。不同的團隊相互碰撞（從設計師到產(chǎn)品經(jīng)理再到開發(fā)職員），我們共同探索邊界的位置。

一些絕佳的創(chuàng)意，往往是當開發(fā)職員或者產(chǎn)品經(jīng)理，測試完我們提供的產(chǎn)品原型后突發(fā)奇想提出的。

5. 去觀察用戶是怎么做的，而不是怎么說的

當我們與用戶對話時，腦海中要有一個堅定的信念：他們經(jīng)常說一套，做一套。就在本周我主導進行了一些用戶測試會議，其中有一個絕佳的案例可以與你們分享。

為了測試全新的聯(lián)系人列表原型，我與一位用戶進行了交談，當我詢問他是否會常常對聯(lián)系人進行分類治理和篩選時，他表示從來沒有進行過類似的操縱，由于毫無必要。

然而，當他體驗新版的下拉篩選聯(lián)系人菜單時，他對這個可以一次性對多個聯(lián)系人進行分類或篩選的功能大呼贊嘆，并且立刻問我們這個功能什么時候才能上線使用。

6. 利用數(shù)據(jù)評估機會的大小

怎么樣？UI 和 UX 設計仍是很有趣的對吧？在設計的過程中，洞察用戶的需求是最有趣的環(huán)節(jié)！設計不存在終點，但是可以通過迭代的機會去完善你的設計，為我們的用戶帶來最佳的體驗！

為用戶打磨細節(jié)，衡量設計間的化學反應，與產(chǎn)品團隊共同解決下一個題目，這就是我的工作，我愛我的工作！