TB最近在各個關鍵產品與購物流程中陸續加入了用戶反饋入口(圖1),也開設了各種官方論壇收集用戶意見和建議,因此會收集到大量純文本數據。如何對這些數據進行分析、從而指導產品改進?本文將講述,將內容分析(content analysis)應用於網絡文本數據(如,用戶反饋)處理的理論基礎與實際應用。包括:內容分析法簡述;企業中應用內容分析的步驟與技巧。
PART1 理論基礎:內容分析法簡述
內容分析,是指利用明晰的編碼規則,將大量文本信息轉化為定量數據,並歸於若干類別以分析信息特征的方法)。內容分析有三個特點:
1)客觀性。內容分析不受主觀偏見影響,有標准化的研究過程,研究員對結果持開放態度;
2)系統。內容分析過程(取樣、分析、編碼等)有統一、標准的規則和程序;
3)定性與定量結合。內容分析通過定性研究找出能反映內容本質的特征,又將文本轉化為定量的數據,分析結果可用頻次、百分比,或相關系數等來表示。
這種研究無需直接接觸研究對象,在傳播學、情報學、教育學等社會學科有廣泛應用,但目的有所差別。鑒於本文所述的應用類型,更傾向從情報學的觀點去定義內容分析的目的:通過分析內容了解本質性的事實和趨勢,並揭示隱性問題。換句話說,在用戶反饋分析中應用內容分析法,目的在於對反饋信息進行系統的歸納分類,整理問題點並評估其嚴重性,從而有針對地實施改進。
內容分析的基本流程如圖2所示。科研中,還有訓練編碼員(5、6環節間)、測量編碼員之間可信度(6、7環節間)的步驟。在企業環境中由於受到時間等調研成本制約,可選擇性執行這兩步。具體每一步的實施將在PART2中通過實例詳述。
PART2 實踐應用:步驟與技巧
如前所述,在企業的用戶研究中利用內容分析處理文本型用戶反饋數據,最終目的在於,通過科學有效地總結歸納問題來促進改進。因此應用文本分析的步驟和技巧有以下特點:
現按照前文所述的分析流程,以旺鋪升級後一周內的用戶反饋分析為例,介紹內容分析在企業用戶研究中的實踐步驟。
【第一步 對分析的目標和范圍做出准確定義】分析目標:收集、歸納用戶體驗問題及用戶看法
分析范圍:
呈現在用戶研究報告中,也就是一句簡短陳述,如:旺鋪升級後一周內的用戶反饋總結
【第二步 決定抽樣樣本】
包括決定以下三方面
1)內容源:選擇從什麼地方(幫派?問卷?…等)抽樣
2)時間:選擇在分析時間段的哪幾天(全段?隔天?隔周?)抽樣
3)內容:對內容進行隨機或等距抽樣
這意味著研究員要對產品周期有充分的了解和認識。在本例中,我們的抽樣樣本是,旺鋪升級後一周內(7天)用戶通過旺鋪裝修頁面“提意見”入口(圖3)提交的所有數據。
——>
圖3:旺鋪用戶反饋收集入口
【第三步 確定分析單位】
分析單位是內容分析中的最小元素,要對此給出明確清晰的操作性定義。在本例中,分析單位就是一名用戶所陳述的一條意見。值得注意的是,並非以一次提交的數據為單位,因為一名用戶一次性可能提交若干條意見,需要把意見拆開,每條為一個分析單位。如圖4所示,“刪除模塊刪完不能添加”、“發布完又回到裝修頁面”分別是一個分析單位。
【第四步 建立分類】
分類是內容分析的關鍵步驟,決定了後續的定量分析的有效性。類別是內容分析的基本單位,每個分析單位都能且只能歸入某類別中。在學術研究中,往往依據研究理論或參考過往研究結果來分類。在企業用研中,則要對產品有充分了解,並與產品經理合作制定分類框架。因為這便於分配問題解決負責人。
窮盡、互斥是分類的兩大原則。分類應涵蓋可能的問題范圍,但由於事前無法全面預知內容,最好設立“其它”類以滿足窮盡性。若有≥10%的分析單位被歸入“其它”,則分類不當。類與類之間是不重合的,若有一個分析單位可歸入兩個或以上類別,則分類不當,或分析單位不准。
分多少類為合適?類別太多會導致某些類的分析單位少而失去統計意義;類別太少,不同性質的分析單位歸入同一類,可能會掩蓋顯著性差異。考慮到將分類合並比將分類拆分容易,建議寧多勿少。在無從下手的情況下,可試檢驗50-100條分析單位。
在本例中的分類如圖5——
該分類傾向於以問題解決方(如系統問題由開發人員解決、功能需求由產品經理解決、交互問題由設計師解決)為基礎維度,便於推動改進。對於頁面、功能有限的產品/流程,也可按照頁面或功能分類。對於本例,也有針對功能、頁面進行分類,主要體現在二級編碼中,詳情見下。
【第五步 制作編碼表 試驗性編碼】
制作編碼表是在大分類的基礎上進行細化,以更好地聚焦問題。在這一步,要盡可能細致全面,才能保證有效的數據分析。對每個編碼的含義要有所說明,尤其在編碼者不止一人的情況下。在本例中,對功能需求這一大分類的部分編碼如圖6,其原則是盡可能涵蓋所有功能。而對於系統問題、交互體驗問題,子編碼又是應內容特點、以另外的維度設定的。
在編碼表制作好後,抽取50-100條分析單位(如100條反饋)進行試編碼(coding),以檢驗是否夠細夠全。當然了,在實際實施編碼(第六步)過 程中可能發現編碼不夠用的情況。此時只能新增編碼,並對該分類下的所有分析單位重新編碼。所幸的是——也是內容分析的優點之一——即使發現問題,能在不影響數據本身准確性和完好性的情況下彌補錯誤。不像問卷調研或現場實驗,一旦實施,有錯誤也無法彌補,只能拋棄數據。
【第六步 收集數據 實施編碼】
收集數據就是按照之前所定義好的范圍與抽樣標准提取數據。通常將數據導入到EXCEL中進行處理。在本例中,每條用戶意見(即最小分析單位)對應一行(圖7)。
然後便可開始對每個分析單位進行編碼,是純人工的過程。目前也有一些文本分析軟件可輔助,但這些基於分詞技術的軟件智能程度不足,且實施聚類分析對樣本量有要求(至少上萬條),更適合用於海量文本數據的分類。
編碼過程可借助EXCEL的文本篩選功能。比如筆者用得較多的是“包含XX關鍵詞” 的篩選方式(圖8),能有效提高編碼效率。在過程中要把無意義的分析單位(如在本例中,會有用戶在反饋中打自己店鋪的廣告)給清理掉。
初步編碼結果如下圖所示,接著便可進入分析、報告階段。
【第七步 分析 報告結果】
分析包括兩部分。定量部分使用描述性統計,計算各分類中條目、各個碼類的頻數、百分比。如果還能結合到其他變量,如用戶的星級等,可進行更復雜的交叉分析、卡方檢驗、t檢驗、方差分析等。定性部分,是對某子編碼下的所有條目進行梳理,總結出問題點。
要注意的是,頻數、百分比不是衡量嚴重程度的唯一指標。比如我們發現大量系統問題這一分類的用戶意見,但基本上說的只是發布失敗和速度慢兩點。 功能需求這一分類下的意見總數相對較少,但問題有10余種。因此,定性與定量分析的結合,才能反映各分類對整體體驗(滿意或不滿意)的貢獻度大小,以及問題聚焦/分散程度。示例如下:
進一步的分析還包括對表象所隱含的問題的推斷。例如筆者發現圖11所示的問題。
圖11:深層分析示例
在企業中,內容分析報告的輸出形式更靈活,關鍵在於有效傳達問題,推動問題的解決。尤其用戶反饋的內容本身比用戶研究員的分析歸納更具沖擊力,更易引起同理心。
在本例中,筆者的輸出物包括:
小結
本文介紹了內容分析,以及內容分析在企業用戶研究中應用的步驟與技巧。內容分析的優點有:1)相比實驗法、問卷法等,較為節省人力物力;2)內容可被重復分析,可靠性較大;3)無需直接接觸研究對象;4)操作過程若產生問題,錯誤易被彌補。它的缺點在於:1)人為因素(如如何分類、編碼)會極大影響結果;2)編碼工作需時較長、單調。