如何通過問卷量表來度量產(chǎn)品體驗?
在之前的文章里,我們分享了目前常見問卷量表的匯總和統(tǒng)計方法,本篇將結(jié)合實際項目,介紹度量體系是如何指導(dǎo)設(shè)計開展體驗優(yōu)化的。
以負(fù)責(zé)過的業(yè)務(wù)為例,美間作為當(dāng)時還在不斷擴張的成長期的產(chǎn)品,用戶規(guī)模也到了一定的量級,但業(yè)務(wù)數(shù)據(jù)基建能力缺失,數(shù)據(jù)粗顆粒度,存在體驗黑盒。產(chǎn)品優(yōu)化大多靠業(yè)務(wù)感覺、個別用戶反饋,沒有合理的度量標(biāo)準(zhǔn)。
其次數(shù)據(jù)資源短缺,目前無法快速補齊數(shù)據(jù)基建能力,而產(chǎn)品更新節(jié)奏快,暫時不可能快速補齊數(shù)據(jù)基建能力,因此需要一套標(biāo)準(zhǔn)化、低投入、輕量化的產(chǎn)品體驗度量體系短平快的解決上述問題。
一、制定流程框架
通過前期的調(diào)研準(zhǔn)備工作后,結(jié)合目前產(chǎn)品的現(xiàn)狀,進(jìn)行了度量體系的框架制定
二、產(chǎn)品指標(biāo)定義
歸納整理市面上常見的27+評估問卷類型&體驗度量模型,對其考察維度指標(biāo)進(jìn)行匯總,對指標(biāo)出現(xiàn)次數(shù)進(jìn)行頻率統(tǒng)計后得到了常用的高頻率指標(biāo)通過查閱ISO/IEC 25010、ISO-9241-110-2020模型,對指標(biāo)進(jìn)行一二級拆解和指標(biāo)內(nèi)容再定義。
這一環(huán)節(jié)的目的在于了解各行業(yè)類型產(chǎn)品是如何應(yīng)用指標(biāo)度量,以及指標(biāo)背后代表的意義是什么,這可以很好的幫助后續(xù)進(jìn)行指標(biāo)的選定
三、制定度量規(guī)則
1. 了解信息處理機制,結(jié)合認(rèn)知模型框架指導(dǎo)指標(biāo)的選取范圍
通過對認(rèn)知行為等多種模型對人腦信息獲取加工原理的分析,總結(jié)人對外界信息獲取處理的機制是有一套標(biāo)準(zhǔn)的處理流程:
- 感官收到刺激接收信息
- 信息輸入
- 信息加工(控制處理器工作,對其進(jìn)行識別、理解,并結(jié)合已有經(jīng)驗規(guī)則進(jìn)行解讀)
- 信息儲存(短期記憶,重復(fù)刺激會形成長期記憶)
- 信息決策、執(zhí)行、并反哺至心智模型、不斷修正模型(類似不斷擴充學(xué)習(xí))
- 信息提取、應(yīng)用、再創(chuàng)造
對幾種模型的優(yōu)缺點對比,最終選取工程心理學(xué)中的三三模型作為度量體系的指導(dǎo)框架
該模型總結(jié)了人機交互中所涉及的體驗維度:認(rèn)知、情感、操作(用戶在使用一個系統(tǒng)的前中后的情緒、信念、感知、行為和成就等因素都可以抽象概括為認(rèn)知、情感、操作三個維度)
這與國際人機交互技術(shù)委員會對用戶體驗在ISO-9241的定義相吻合(用戶因使用或預(yù)期使用系統(tǒng)、產(chǎn)品或服務(wù)而產(chǎn)生的感知和反應(yīng)的組合)
2. 體驗指標(biāo)選取定義
3. 結(jié)合業(yè)務(wù)細(xì)化度量指標(biāo)
僅有上述指標(biāo)還是太泛了,它更像一個全局的指導(dǎo)性體驗指標(biāo),我們還需結(jié)合具體的業(yè)務(wù)來對這些指標(biāo)進(jìn)行篩選來保證最后的指標(biāo)是可以較好的契合和量化產(chǎn)品體驗。那么如何結(jié)合業(yè)務(wù)?主要有這幾個考量維度:產(chǎn)品屬性:業(yè)務(wù)類型,面向群體、商業(yè)模式產(chǎn)品痛點:設(shè)計層、技術(shù)層面臨的問題產(chǎn)品目標(biāo):所處的產(chǎn)品周期階段、現(xiàn)階段需要達(dá)成的目標(biāo)
以美間平臺業(yè)務(wù)舉例,平臺屬于內(nèi)容分發(fā)類型業(yè)務(wù),通過內(nèi)容導(dǎo)向來引導(dǎo)用戶進(jìn)行相關(guān)的圍繞內(nèi)容收藏、創(chuàng)作等一系列行為。平臺業(yè)務(wù)因為歷史因素及模塊間的迭代頻率不同,導(dǎo)致交互&視覺的一致性問題突出,其次在技術(shù)層面存在操作卡頓、圖片展示模糊、加載速度慢等問題。綜上結(jié)論,并且考慮現(xiàn)有產(chǎn)品一致性差、性能存在短板及業(yè)務(wù)定位等因素,將相關(guān)衡量指標(biāo)納入,來促進(jìn)產(chǎn)品在短板上的快速補齊,因此平臺業(yè)務(wù)的體驗指標(biāo)確定為:
認(rèn)知:易學(xué)習(xí)、清晰性(可見性、可讀性)、一致性、吸引力操作:效率、性能情感:滿意度
四、問卷設(shè)計投放
有了度量指標(biāo),接下來就是設(shè)計問卷題項、確定投放范圍以及評分標(biāo)準(zhǔn)。
投放范圍:考慮信息的采集需要保證對產(chǎn)品有一定的認(rèn)知,因此投放范圍是注冊時間>30天;進(jìn)工具次數(shù)>1次的用戶。
評分標(biāo)準(zhǔn):采用10點評分量表(通過對不同等級量表調(diào)研文獻(xiàn)發(fā)現(xiàn)10點量表相對于5點、7點量表可以使用更少的樣本量的情況下有更好的鑒別力和穩(wěn)定性,不過10點量表在分布方面卻存在較大的偏態(tài)性,在1-4分段偏態(tài)嚴(yán)重,因此通過Option-Keyed方法對其進(jìn)行修正,把1-4分段定義為不滿意分?jǐn)?shù),統(tǒng)一賦值為4解決偏態(tài)問題)。
樣本量:保證回收量是量表題項的10倍以上,或者在非實驗室標(biāo)準(zhǔn)的200份左右,當(dāng)然越多數(shù)據(jù)越好,不過回收成本會逐步提高:
五、樣本回收分析
對樣本數(shù)據(jù)進(jìn)行清洗后進(jìn)行數(shù)據(jù)分析,因為是自制量表,首先需要進(jìn)行信效度驗證保證量表是可靠的,其次再進(jìn)行相關(guān)性、回歸等分析手段。
1、信效度評分標(biāo)準(zhǔn)信度:一般克隆巴赫系數(shù)大于0.6即可,克隆巴隆系數(shù)越高,信度越高;效度:效度分析的種類有很多,量表一般使用結(jié)構(gòu)效度方法(結(jié)構(gòu)效果又區(qū)分了探索因子分析和驗證性因子分析,前者常用),因此探索因子的評分標(biāo)準(zhǔn)為 KMO>0.6、共同度>0.4、存在因子荷載系數(shù)絕對值>0.4、累計方差解釋率>50%。
2、相關(guān)性分析
通過相關(guān)性分析得出指標(biāo)的有無相關(guān)性關(guān)系0.8-1.0 極強相關(guān)0.6-0.8 強相關(guān)0.4-0.6 中等程度相關(guān)0.2-0.4 弱相關(guān)0.0-0.2 極弱相關(guān)或無相關(guān)
量表統(tǒng)計中常用Pearson(皮爾遜)系數(shù)進(jìn)行相關(guān)性的分析
3、回歸分析(貢獻(xiàn)度分析)
通過相關(guān)性分析,才可以進(jìn)行回歸分析,進(jìn)而判斷存在相關(guān)性關(guān)系的指標(biāo)對需要觀測的指標(biāo)影響程度:評分標(biāo)準(zhǔn) VIF<10(一般VIF<10即可,嚴(yán)格一點是<5)F檢驗:p<0.05
經(jīng)過數(shù)據(jù)分析后,最終得出以下結(jié)論:
六、總結(jié)
在得出數(shù)據(jù)后,我們立刻開展了設(shè)計優(yōu)化工作,最終優(yōu)化因性能、一致性問題等帶來的上傳卡頓、信息不一致,流程不統(tǒng)一等體驗缺陷共24+,度量指標(biāo)分?jǐn)?shù)均有所提升,同時用戶滿意度評分對比之前提升0.9。
到這很多同學(xué)可能會問,滿意度提升了有什么實際意義?
行業(yè)內(nèi)的共識可以得知,滿意度指標(biāo)會間接影響了用戶增長、傳播、轉(zhuǎn)化等指標(biāo),因此滿意度的提升間接促進(jìn)了其他指標(biāo)的提升,當(dāng)然本文僅說明了一個大致的情況,實際影響效果可以構(gòu)建滿意度和其他指標(biāo)的數(shù)學(xué)模型來判斷影響程度,或者將滿意度指標(biāo)替換為業(yè)務(wù)當(dāng)前目標(biāo),來度量體驗指標(biāo)如何影響業(yè)務(wù)目標(biāo)的,本文只是提供一個度量思路,具體的指標(biāo)選取可以根據(jù)所處行業(yè)、周期、業(yè)務(wù)目標(biāo)來因地制宜。
最后,問卷度量的實施成本相對于數(shù)據(jù)埋點建設(shè),其成本是很低的,一般對于快速發(fā)展的業(yè)務(wù),需要進(jìn)行體驗度量,但又缺乏相關(guān)的數(shù)據(jù)分析資源,作為設(shè)計師我們可以不依賴其他資源,獨立開展問卷度量項目獲得數(shù)據(jù)反饋。
通過問卷度量精準(zhǔn)挖掘產(chǎn)品體驗問題,實現(xiàn)產(chǎn)品問題的價值排序,找到影響體驗和業(yè)務(wù)指標(biāo)的增長機會點,為產(chǎn)品體驗優(yōu)化提供了數(shù)據(jù)支持和方向決策。
作者:嘉銘,公眾號:群核科技用戶體驗設(shè)計
本文由 @群核科技用戶體驗設(shè)計 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自 Unsplash,基于CCO協(xié)議。
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!