沒有埋點數(shù)據(jù)時,如何證明你的方案有效性?

6 評論 6692 瀏覽 43 收藏 13 分鐘

大部分的產(chǎn)品或者場景下其實是沒有埋點數(shù)據(jù),或是因為某些原因拿不到各項數(shù)據(jù)。本文介紹了如何利用NASA-TLX與PANAS量表量化方案有效性。幫助你提供證據(jù)證明你的解決方案真正的達到了商業(yè)預期。

對于一個設計解決方案來說經(jīng)常被問到:你怎樣驗證你的方案的有效性?或是你怎么證明你是否真的達到了你的商業(yè)目標?

這個問題的根本是需要證明你的方案是有效的,除了客觀的行為數(shù)據(jù),我們還可以通過量化用戶心理數(shù)據(jù)來提供證明方案的有效性。

在大數(shù)據(jù)時代的當下,我們過分強調線上結果數(shù)據(jù),從而忽視了對于用戶心理層面的調研分析,甚至直接使用線上客觀數(shù)據(jù)直接用于判斷和建立一些知識體系,這就是數(shù)據(jù)化的弊端,我們很容易被各類數(shù)據(jù)所淹沒,這對于認識世界真正的客觀規(guī)律的知識模型的建立不利,也對今后的商業(yè)決策產(chǎn)生負面的影響。

一份有效的用戶分析,應該既包含生理上的,也包含心理上的。生理上我們現(xiàn)在常見的眼動儀、點擊率、轉化率這類生理行為的商業(yè)客觀數(shù)據(jù),但如果我們需要更好的進行迭代產(chǎn)品或是尋找產(chǎn)品方向,那么我們就應也注重在用戶的心理層面的研究分析。

社會分工不斷細分的今天都沒離開一個基礎的課題「研究人」,用戶研究也離不開人的屬性,對于用戶的研究就是對于人的研究。

在時間的驗證下,沉淀了一些方法,其中NASA-TLX量表是用于衡量用戶在使用產(chǎn)品時的心理負荷水平,PANAS量表是用于評估用戶在使用產(chǎn)品的情緒狀態(tài),這些標準化量表可以幫助產(chǎn)品打磨開發(fā)過程中快速得到能直接使用的問卷問題,但我們在產(chǎn)品開發(fā)的不同周期中,對于用戶研究的目的與情景都差別很大,如果僅僅直接使用標準化量表進行用戶調研和分析,很有可能與你的目標相違背,從而達不到用戶研究想要的結果。

所以本文的目的:

  1. 介紹NASA-TLX與PANAS量表
  2. 如何利用標準化量表建立屬于你的量化解決方案的有效問卷?

一、什么是NASA-TLX(Task load Index)《NASA任務負荷指數(shù)量表》??

用戶在使用產(chǎn)品過程中的心理負荷水平意味著直接影響著對于用戶使用過程中認知模型的刺激。

NASA任務負荷問卷(NASA-TLX, NASA Task Load Index) 是一個主觀的工作量評估工具,主要用途是對各種用戶界面系統(tǒng)的操作人員進行主觀的工作量評估。通過采用多維評級程序,美國國家航空航天局 TLX 根據(jù)六個加權平均數(shù)的評級得出總體工作量評分:

  1. 腦力需求(Mental Demands);
  2. 身體負擔(Physical Demands);
  3. 時間需求(Temporal Demands);
  4. 任務績效(Own Performance);
  5. 努力程度(Effort);
  6. 挫敗感(Frustration)

翻譯過來就是:

二、什么是PANAS(Positive Affect and Negative Affect Schedule)《積極與消極情緒量表》?

PANAS量表是由三位美國心理學家David Watson,Lee Anna Clark和Auke Tellegen于1988年開發(fā)。當時,PANAS量表主要用于測量執(zhí)行研究任務時的感覺和情感變化。該測試還用作小組研究中的研究工具。

這種心理測驗量表,顯示了性格統(tǒng)計數(shù)據(jù)和特征與正負情緒之間的關系。在填寫調查表時,重點是要確定一個人當時的感受。到現(xiàn)在PANAS量表現(xiàn)已成為衡量情緒變化的標準方法。

翻譯過來:

完整的PANAS情緒量表共有20個因子,I-PANAS-SF是后來基于PANAS開發(fā)出的一套更短更簡潔的版本,它刪除了一些有歧義和需要解釋的空間,并由含義明確的詞所替代,使各個國籍的人都能以相同的方式理解成為了國際上可使用的更可靠的測試量表。

I-PANAS-SF

三、如何利用標準化量表建立屬于你的有效問卷?

國際上用于衡量用戶體驗或可用性的標準化量表有很多,由于我所在的業(yè)務的特性,從這兩個標準化量表中提取與轉化一部分為針對我用戶研究目標的問題。

上文我構建了AST模型也闡述了為什么我需要這三個維度的來驗證我的方案,這是基于我的業(yè)務目標來說我需要獲得這三個維度的用戶反饋信息,

它衍生出的三個方向也是我進行用戶研究的三大目的:

  1. 吸引,在一個交互片段前能否逐步吸引用戶不斷獲取信息?
  2. 刺激,在一個交互片段中對用戶認知模型的刺激量有多大?(不論是刺激調動/形成認知模型還是刺激促成行為)
  3. 信任,在一個交互片段后用戶對本次體驗的認知修正量有多大?

第一步:基于調研目標提取問卷因子

從這些標準化量表中提取與我目標相關的因子,我這里轉化提取了7個因子,在問卷中使用時,盡量正反詞穿插使用,避免依賴性,評估刻度使用Likert五分量表法

第二步:評估建立因子與目標維度的相關性

根據(jù)你所在業(yè)務的特性評估出每個問題對目標的影響程度的大小,在這里我想要了解的是產(chǎn)品使用過程中的吸引力,產(chǎn)品對用戶認知模型的刺激程度,以及產(chǎn)品對用戶產(chǎn)生的信任度。你只需要依據(jù)你調研的目標來建立問卷量表與你目標之間的相關度關系,不一定是我這里呈現(xiàn)的吸引,刺激,信任三大維度。

第三步:建立三個維度的衡量基準

當拿到量化數(shù)據(jù)后,我們還需要建立起評價基線,否則數(shù)據(jù)就僅僅是數(shù)據(jù),一個好的解決方案對于用戶來說或對于企業(yè)來說能接受的閾值為多少,也是需要跟你的情況進行評估衡量得出。

通過這樣對用戶填寫輕松的量表,可以快速得到一個解決方案的體驗數(shù)據(jù)。但對用戶的研究不僅僅停留至此,這樣的可用性量表得出的結果,它真正的目的是為你提供你的客戶/用戶對你粗粒度的信息反饋,從而為下次深度訪談獲取細粒度信息或洞察分析提供線索。

用戶行為的數(shù)據(jù)分析與對用戶心理的數(shù)據(jù)分析,對于解決方案的決策或來說是同等重要的。在獲取用戶行為數(shù)據(jù)的同時,輔助可用性量表的方法能更有效進行在方案制作過程中或方案完成后的用戶研究,且能直接幫助到設計方案早期的迭代與上線后的驗證,從而讓產(chǎn)品開發(fā)迭代過程形成一個可持續(xù)的閉環(huán)。

用戶的研究或是可用性測試的意義,也不僅僅停留在表面的體驗層迭代上,它對于商業(yè)戰(zhàn)略層的分析和規(guī)劃同樣有著必要的提供依據(jù)的作用。

References

Di Stasi, L., Antolí, A., Gea, M., & Ca?as, J. (2011). A Neuroergonomic Approach to Evaluating Mental Workload in Hypermedia Interactions.?International Journal of Industrial Ergonomics, 41(3): 298-304.

Komlodi, A., Hou, W., Preece, J., Druin, A., Golub, E., Alburo, J., Liao, S., & Resnik, P. (2007). Evaluating a Cross- cultural Children’s Online Book Community: Lessons Learned for Sociability, Usability, and Cultural Exchange.?Journal of Interacting with Computers,?19(4):494-511.

Preece, J., Rogers, Y., and Sharp, H. (2002).?Handbook of Interaction Design: Beyond Human-Computer Interaction. New York: Wiley.

Bevan, N. (1995). Usability is Quality of Use.?Advances in Human Factors/Ergonomics, 20: 349-354.

Hart, S., Staveland, L. (1988). Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research.?Human Mental Workload?(Amsterdam: North Holland Press), 139-183.

Hassenzahl, M. & Tractinsky, N. (2006). User Experience: A Research Agenda,?Journal of Behaviour & Information Technology, 25(2): 91-97.

Lenker, J., Nasarwanji M., Paquet V., and Feathers, D. (2011). A Tool for Rapid Assessment of Product Usability and Universal Design: Development and Preliminary Psychometric Testing.?Journal of Work, 39:141–150.

Watson, D., Clark, L. A., & Tellegen, A. (1988). Development and Validation of Brief Measures of Positive and Negative Affect: The PANAS Scales.?Journal of Personality and Social Psychology, 54(6):1063-1070.

Hertzum, M., Hansen, K., & Andersen, H. (2009). Scrutinising Usability Evaluation: Does Thinking Aloud Affect?Behavior and Mental Workload??Behavior & Information Technology, 28(2): 165-181.

Wei-Ying Cheng, Po-Hsin Huang, Ming-Chuan Chiu.(2014). Integrating physiological and psychological techniques to measure and improve usability: an empirical study on?Kinect applying of health management sport.?International Journal of Industrial Engineering, 21(6), 304-316.

Lin, H., Choong, Y., & Salvendy, G. (1997). A Proposed Index of Usability: A Method for Comparing the Relative Usability of Different Software Systems.?Journal of Behaviour & Information Technology, 16(4-5): 267-277.

 

作者:WuP,公眾號:WuP的設計視界

本文由 @WuP 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 本質上就是用戶問卷調查,只不過這里有個理論支撐,我們通過這兩個量化方案指導如何制定問卷,如何分析問卷結果。這樣理解正確嘛?

    來自四川 回復
  2. 兩種量化表有評分調研的表格(比如1-5分有的),為啥沒有評分分析體系呢(比如項目A得分6分,這6分意味著什么,代表什么樣的結果成都)

    來自北京 回復
    1. 對的,你說的這一塊也是重要的后續(xù)流程,我這里更側重想講這兩份不太常見但有用的量表,建立完整的評價體系,我這里只一筆帶過了,在第三步分數(shù)衡量基準的建立,是需要考慮到您說的這個點的,為什么定的6分是優(yōu)秀和一般的分水嶺,為什么有的維度5分就是優(yōu)秀,以及為什么我們在某個維度上要達到優(yōu)秀水平背后的意義或商業(yè)價值,是根據(jù)每個人具體的公司背景去靈活制定與評估得來的,這也是很大的一塊要去拆解闡述。您這個確實是很好的問題,我在文章中因為內容篇幅有限沒有表達出來??

      來自浙江 回復
  3. 看不懂 ??

    來自福建 回復
    1. 需要的時候就懂了

      來自浙江 回復
  4. 好復雜

    來自福建 回復