我很喜歡《流言終結者》這個電視節目,因為我認為他所面臨的挑戰就是真實。在節目中,用一種令人愉快的和科學的方法來對人們普遍認同的留言進行測試。在節目中我最喜歡的部分,當然除了爆炸的部分,是我所信仰的被證明是不真實的。這一直讓我開放思想,專注於現實。我也喜歡另一個方面——揭露還沒有建立起來的流言。這就是我這篇文章的視角。特別地,我將突出有關與網絡可用性測試的五個常見的流言,同時解釋為什麼我認為這些流言是不真實的。
寫這篇文章的動機是幫助用戶體驗研究人員在線可用性測試時打開思想。已經有很多研究人員使用這種方法許多年,而且很有用(在某些情況下)。其他人則是剛開始接觸,並希望了解更多的關於它的優勢和局限性的信息。最後,一些用戶體驗研究人員已經形成了關於在線可用性測試的一些觀點,並認為不是對各種各樣的原因(沒有形成的)都有用。我希望通過我揭露這些流言,作為用戶研究團體的我們能夠根據真實的功績來評估這個工具。
1、有大量的干擾因素影響數據的可信賴度
可能大部分關於在線可用性測試的的流言是數據都不是很可信的。一些人認為這些參與者不會很努力,在參與調研時也是心煩意亂,會盡可能快的完成調研以獲得相應的激勵,或者虛假陳述他們調研的質量(目的就是獲得獎勵)。這的確是事實,大體上在所有的案子中占到5%-10%。但是,這已經是一個好消息了。
這兒有一些很好的技術來清除這些數據。鑒別(和移除)“精神騙子”並不難。這些人的行為是可以預測的。“扁平化”是指一些人的答案都是1或5,在5個等級量表中。“速度檢測”是一種檢測這些人(看問題6在這幅圖下)的方法,確保他們確實認真閱讀了每一個問題。一致性檢驗可以用重復詞語的問題,並來分析一致性的回答。移除不切實際的任務時間也是很容易的,並能幫助處理那些在任務中間周末回家的參與者。同時,篩選問題可以寫信給那些欺騙性最小的參加調研的參與者(那些偽裝自己的人)。
歸根結底,在線可用性測試的數據能夠和傳統的實驗室測試一樣可靠。唯一的不同就是在跳到分析階段以前需求做一些清理。
2.你只需要收集數據
當人們告訴我在線可用性測試只適用與收集基本的數據:比如任務的成功、完成時間、滿意度等時,我一直感到驚奇。因為某些原因,人們認為這只是因為你有一個大樣本量,你只能收集定量數據。網絡可用性研究是沒有意義的,如果你想要收集關於用戶體驗的定性數據,。這些不能遠離事實。
在線可用性測試的好處之一就是研究人員可以收集大量的關於用戶體驗的定量和定性數據。舉個例子,如果用戶對特殊的任務有困難,他們可以提供注解,說明他們為什會在這些任務上有困難,或者他們希望在交易時有困難的地方出現什麼。定性數據,經常是詳細的評論,能夠在他們體驗的任何一個環節收集。當用戶展示某些行為時,他們甚至可以提示提供一些詳細的評論,比如中途放棄交易或者偏離了導航行為。
詳細的評論不僅很容易收集,而且很容易分析。現在有很多可利用的方法來選出來描摹這些詳細的評論。在詳細的回答中,詞組群(見下文)是一種能得到快速反應的關鍵模型的方式。
3.在線可用性測試在設計階段不能取得好的功效
大部分人認為在運行在線可用性測試只適用於產品建立好以後。這樣的在線可用性研究只是總結性評估的一個部分,同時並不適合與實際設計階段。在線可用性測試並不能指導設計,要麼花費太多的時間,要麼花銷太大在設計階段。這些並不切合實際。
在線可用性測試能在幾個小時內建立起來,也能夠很快的收集數據。我們已經能在一天內建立、發布並分析來自在線可用性測試的數據。不僅能夠快速的建立,而且能夠幫助回答在設計階段發生的問題。例如:關於導航方式、標簽、外觀和感受的參數選擇的問題。還有一些其他設計參數選擇問題不能在小樣本兩中得到真實的回答。有時候,為了確認重大的設計方案,我們需要快速地從成千上萬的用戶中收集數據。
4.它只適用與網站
研究人員認為在線可用性測試只適用與網站評估。而不能用於軟件,語音應答系統、手機、家用電器和烤箱。雖然大量的在線可用性測試專注於網站,但是沒有必要。
多年來,我們用在線可用性測試方法並不局限於網站交互界面的評估。從理論上來說,這仍然是相同的方法。參與者會被提問一些問題,給予一些任務,提供一些關於他們真實體驗的反饋。唯一的不同是不能跟蹤參與這的行為。但是,可以收集大量的關於他們體驗的數據,比如:他們是否能順利的完成他們的任務,花費了他們多長時間,他們對這個體驗有什麼感受,或者他們有什麼困難。因此,即使你可能放棄了一些行為數據,仍然有大量的他們的體驗可以研究。
5.在線可用性測試花銷太大
一些人說他們希望做很多在線可用行測試,但是經常性的使用會比較昂貴。這個確實昂貴,但是很幸運,在最近幾年有各種各樣的工具可以使用,使得在線可用性測試不再需要花費大量的經費。有大量的自我服務供應商,允許你建立並進行在線可用性研究。你只需要付費給他們的技術。請訪問www.measuringux.com看一下供應商一覽表。
如果預算確實比較緊張,可以用一些打折的在線可用行測試方法,或者基本上是免費的。利用一些在線測量工具(比如調查Gizmo或者調查猴子),一些HTML和JAVA腳本,你可以逐一的建立你自己的幾乎免費的在線用戶研究(請看下面圖作為一個例子,是本土的方法)。而當你沒有預算來進行在線可用性研究時,在這種情況下放棄一些數據和功能是必要的。請訪問www.measuringux.com ,你能看到更多詳細的關於怎麼創建一個打折的在線可用性測試的說明。
自己試一試
我可能不一定能說服你相信這些流言是不真實的。不管怎樣,我支持你把在線可用性測試作為你用戶體驗設計和研究努力的一個部分。這樣做,你將會發現它的優點和局限性。畢竟,每一種用戶研究方法都有它自己的優缺點,在線可用性測試也不例外。
編輯注:如果對這個課題感興趣,Bill最近撰寫了《超越可用性實驗室:指導更大規模的在線用戶體驗研究》
翻譯:upa編輯小組-墨雁
相關連接:More: read all the five myths of online usability testing