成功進(jìn)行產(chǎn)品Beta(測試版)計(jì)劃的10個(gè)關(guān)鍵步驟
編輯導(dǎo)語:在產(chǎn)品正式發(fā)布之前,產(chǎn)品團(tuán)隊(duì)和開發(fā)人員往往需要進(jìn)行產(chǎn)品測試,以便及時(shí)發(fā)現(xiàn)漏洞、完善用戶體驗(yàn)。那么,產(chǎn)品團(tuán)隊(duì)要如何才能成功地進(jìn)行一次產(chǎn)品測試?本篇文章里,作者總結(jié)了十個(gè)關(guān)鍵步驟,一起來看。
在 iPad 發(fā)布 Illustrator 的當(dāng)天,它立即在美國和日本的應(yīng)用商店中排名第一,獲得了4.6 星級的評價(jià),并得到了許多刊物的好評。
這個(gè)應(yīng)用程序最初的成功是出于設(shè)計(jì),而不是偶然的。一個(gè)有用的 Beta 程序可以幫助團(tuán)隊(duì)成功地進(jìn)行設(shè)計(jì)和實(shí)踐,也許最重要的是,讓我們的用戶感覺到了付出、包含和參與到創(chuàng)造 Illustrator 生態(tài)系統(tǒng)的未來中。
用一位 Beta 參與者的話說:“我參加了不少測試版程序,這里的 Slack 頻道社區(qū)很棒,我很高興成為社區(qū)的一員,我很喜歡 Illustrator 推出 iPad 版本的極致體驗(yàn),這讓體驗(yàn)更加直觀。太感謝了!
Beta(測試版)程序用于在開發(fā)周期收集有關(guān)產(chǎn)品或服務(wù)的反饋,以便在版本發(fā)布之前進(jìn)行改進(jìn)。一旦產(chǎn)品開發(fā)完成,目標(biāo)用戶就可以從一個(gè)端口到了另一個(gè)端口,來完成一個(gè)或多個(gè)關(guān)鍵工作流,以收集真實(shí)世界的用戶的體驗(yàn)。
在軟件開發(fā)世界中,Beta測試是常見的,但在焦點(diǎn)和形式上差異很大。Adobe 近年來,我們一直在通過反復(fù)試驗(yàn),來開發(fā)一套測試版最佳實(shí)踐流程。我們相信,我們已經(jīng)找到了成功的 10 個(gè)關(guān)鍵主題,這些主題步驟可以成為強(qiáng)大的工具,來幫助任何團(tuán)隊(duì)推出成功產(chǎn)品的。
下面,我們將深入研究這些主題,并提供一些有關(guān)如何在你自己的測試版程序中實(shí)現(xiàn)它們的信息。
一、選一個(gè)目標(biāo)?Pick a goal
這似乎看起來很明顯,但作為一個(gè)團(tuán)隊(duì),你需要為 beta 測試程序設(shè)定一個(gè)目標(biāo)。這一目標(biāo)在作出較小規(guī)模的決定時(shí)候,將會提供一個(gè)明確定義的優(yōu)先級,比如邀請誰參加程序,或舉辦何種類型的虛擬活動。
如果你的團(tuán)隊(duì)的主要目標(biāo)是營銷和參與,那么收集反饋以改善體驗(yàn)和產(chǎn)品開發(fā)策略將更加困難。例如,將市場營銷放在首位的測試計(jì)劃可能會影響社交媒體大V 參與者數(shù)量,因?yàn)檫@會導(dǎo)致這些影響力者將產(chǎn)品推廣給他們的追隨者,在這種情況下,產(chǎn)品團(tuán)隊(duì)和測試團(tuán)隊(duì)之間可能更傾向于取悅用戶,而不是獲得可操作的產(chǎn)品反饋。
由于項(xiàng)目中有社會影響者,團(tuán)隊(duì)將不太可能調(diào)查挑戰(zhàn)領(lǐng)域,分享他們正在尋找反饋的領(lǐng)域,或者包容負(fù)面反饋。同樣,如果測試版的重點(diǎn)放在強(qiáng)調(diào)這項(xiàng)技術(shù)有多神奇的教程上,用戶將無法提供最初的、公正的反饋——這將更能代表用戶在應(yīng)用發(fā)布時(shí)的反應(yīng)。
如果你的團(tuán)隊(duì)的目標(biāo)是收集可操作的反饋以幫助改進(jìn)用戶體驗(yàn),那么本文非常適合您。獲取有用的產(chǎn)品反饋將使整個(gè)團(tuán)隊(duì)受益:設(shè)計(jì)師將獲得有關(guān)用戶體驗(yàn)的有用反饋;工程師將發(fā)現(xiàn)有助于改進(jìn)代碼的相關(guān)缺陷;營銷人員將開發(fā)一個(gè)投資社區(qū),產(chǎn)品經(jīng)理可以根據(jù)用戶需求調(diào)整功能架構(gòu)和未來產(chǎn)品方向。
二、建立社區(qū)?Create a community
用戶更喜歡有被傾聽的感覺。開發(fā)一個(gè)社區(qū),讓它活躍,鼓勵(lì)和歡迎用戶參與。通過確保社區(qū)中的每個(gè)人都能向合適的跨職能團(tuán)隊(duì)成員提出職責(zé)問題、困惑和管理請求,讓用戶能夠聽到任何給定主題的“專家”的意見。
如果用戶無法解決困擾他們的問題或得到有用的反饋,他們將停止溝通??梢酝ㄟ^設(shè)立有趣的復(fù)活節(jié)彩蛋來鼓勵(lì)用戶參與,比如驚喜贈品、參與設(shè)計(jì)挑戰(zhàn)和有益的研討會。
從組織管理的角度來看,確保整個(gè)跨職能團(tuán)隊(duì)在回答問題和跟進(jìn)用戶反饋方面承擔(dān)一定的責(zé)任。這樣,參與的負(fù)擔(dān)就不會落在一個(gè)團(tuán)隊(duì)成員身上,團(tuán)隊(duì)的參與能力才能得到最大化。
至于社區(qū)平臺,我們一直在使用Slack。你公司旗下的在線論壇可能無法獲得持續(xù)的互動和參與,這是因?yàn)橛脩舨涣?xí)慣在這種情況下進(jìn)行交流,因此最重要的是在用戶習(xí)慣的場景下與他們進(jìn)行互動溝通:我們發(fā)現(xiàn),每天我們的許多用戶都在使用 Slack 與客戶和合作者進(jìn)行溝通,因此整合功能對我們很有用。
無論如何,找到你的用戶所聚集的地方,并將這些平臺作為潛在的社區(qū)進(jìn)行調(diào)查,但同樣重要的是要確信平臺為用戶提供了安全和隱私。
無論你的平臺是什么,如果在你的測試版中有兩個(gè)或更多不同的用戶類型,那么尋找不同的社區(qū)是很重要的,這將使你更容易將研究結(jié)果背景化,對你的測試參與者來說,這將是一個(gè)更好的體驗(yàn)。
我們通過一次痛苦經(jīng)歷意識到這一點(diǎn):在一次測試中,我們既包括了學(xué)生,也包括了專業(yè)人士。我們很快意識到學(xué)生們被專業(yè)人士嚇壞了,他們感到被排除在談話之外。在 Slack 中,這意味著我們需要開發(fā)單獨(dú)的工作興趣區(qū)供相同類型的用戶溝通(而不僅僅只是一個(gè)渠道)。
三、以用戶為中心?Be user-centered
理想情況下,整個(gè)跨職能團(tuán)隊(duì)都能與用戶交談,我們需要確保所有人都準(zhǔn)備就緒。當(dāng)直接與用戶交談時(shí),有一些需要注意最佳實(shí)踐方法可以提供給你們(這里我們不會全部介紹)。
舉個(gè)例子,你作為評分者,用戶會傾向于取悅你,因此遵循本文中的指導(dǎo)原則將有助于減少這種偏見,并為參與者提供表達(dá)自己的空間,并提供關(guān)鍵信息。
請記住,對于參與者來說,有點(diǎn)困難是可以的接受的(這可以讓我們了解需要解決的問題),對于我們來說,也是可以選擇不提供答案的——相反,所有團(tuán)隊(duì)成員都應(yīng)該探究“為什么”。
例如,如果一個(gè)用戶說,“嘿,我想要某某功能”,不要回答說,“那不在我們的規(guī)劃內(nèi)?!倍?,問他們?yōu)槭裁聪胍@個(gè)功能——他們會用它做什么?他們什么時(shí)候用?他們希望在哪里找到它?
這將更具洞察力——它將便于設(shè)計(jì)團(tuán)隊(duì)更好地了解預(yù)期的切入點(diǎn);它將為產(chǎn)品管理層提供關(guān)于特定工作流程需要哪些功能的清晰信息;它甚至可能表明,用戶的問題可以通過實(shí)現(xiàn)相同目標(biāo)的不同功能來解決。
四、仔細(xì)篩選參與者?Carefully screen the participants
當(dāng)一個(gè)團(tuán)隊(duì)開始測試的時(shí)候,最大的問題總是:誰會被邀請參加測試?因此,很重要的一點(diǎn)是要清楚地定義你測試對象的的要求。這些用戶將決定應(yīng)用程序的未來,因此確保他們反映目標(biāo)用戶的屬性非常重要。
這可以包括職業(yè)、工具使用、工作流程、需求和目標(biāo)等變量。與研究人員合作,為篩選調(diào)查來設(shè)計(jì)問題,以涵蓋你決定的所有標(biāo)準(zhǔn),并根據(jù)用戶完成的調(diào)查結(jié)果,來只邀請符合這些標(biāo)準(zhǔn)的用戶。
當(dāng)你在做的時(shí)候,篩選調(diào)查是一個(gè)收集其他有用數(shù)據(jù)的絕好機(jī)會,所以不要局限于詢問前面提到的用戶標(biāo)準(zhǔn)。雖然篩選的首要任務(wù)是選擇用戶參與(或不參與)beta測試程序,但它也可以用于其他原因。
例如,可以用來篩選出對你的產(chǎn)品感興趣的人群,并洞察哪些信息是用戶群體在產(chǎn)品上市時(shí)最感興趣的。
此外,篩選調(diào)查是一個(gè)很好的途徑,可以收集到更多關(guān)于那些最終進(jìn)入數(shù)據(jù)測試程序的用戶的見解。該用戶信息可以稍后與用戶提供的反饋進(jìn)行三角剖分;例如,有關(guān)用戶正在運(yùn)行的設(shè)備、他們對類似產(chǎn)品的經(jīng)驗(yàn)以及他們使用的其他技術(shù)信息,這些都可以幫助解釋他們的定性反饋。
當(dāng)你確定測試版目標(biāo)受眾時(shí),一定要考慮公平和包容。畢竟,我們生活在一個(gè)多元化的社會,而不是一個(gè)單一的社會,你產(chǎn)品的最終用戶將反映這一點(diǎn)。
一定要為不同背景、性取向、性別、體型以及身體、心理和感官能力的人創(chuàng)造一個(gè)包容的空間。收集不同的觀點(diǎn)可以幫助團(tuán)隊(duì)更好地理解用戶面臨的一系列問題,使他們能夠在產(chǎn)品發(fā)布之前解決這些問題。如果你想了解更多提示,可以查看 Adobe Design Inclusive Worksho 或其他 Adobe Design Inclusive 資源。
我們的團(tuán)隊(duì)將很快分享一份包容性的研究最佳實(shí)踐指南,其中是有關(guān)招募用戶、與用戶溝通、適應(yīng)和吸引具有各種能力的用戶的最佳實(shí)踐的詳細(xì)信息。
五、嚴(yán)格跟蹤和分類反饋?Rigorously track and triage feedback
如果團(tuán)隊(duì)忽視了跟蹤和分類,那么我們最初收集的所有有用的產(chǎn)品反饋都將丟失。
出于這些目的,我們選擇使用 Reacji Channeler,這是 Slack 上的一個(gè)插件,通過使用預(yù)定義的 emoji 對單個(gè)消息進(jìn)行簡單的回饋,就可以對消息進(jìn)行有效的標(biāo)記、排序和跟蹤。通過這種方式,我們可以用瓢蟲表情符號標(biāo)記與 bug 相關(guān)的反饋,并將它發(fā)送到工程部,而我們可以用剪貼板標(biāo)記與可用性相關(guān)的反饋,并將它發(fā)送到設(shè)計(jì)部。
整個(gè)團(tuán)隊(duì)都參與了 “反應(yīng)”——這是一種確保 Beta 版反饋被發(fā)送到正確位置的低成本方式,不必花一整個(gè)下午的時(shí)間來回答用戶的問題。畢竟,團(tuán)隊(duì)正忙于開發(fā)新產(chǎn)品!
我們還使用了 Instabug,這是一種應(yīng)用內(nèi)服務(wù),允許用戶快速輕松地共享 bug、崩潰日志,用戶可以選擇直接報(bào)告改進(jìn)的方面。一般來說,Instabug 的反饋會發(fā)送給工程師或用研人員,而可用性請求或功能請求會發(fā)送給研究人員進(jìn)行分析。
六、切實(shí)分析反饋?Actionably analyze the feedback
在使用 Reacji Channeler(應(yīng)用插件)對輸入進(jìn)行分類之后,反饋可以被傳送到數(shù)據(jù)庫軟件中(我們使用Airtable),在那里,研究人員可以對其進(jìn)行分類、跟蹤、組織和分析。
整個(gè)團(tuán)隊(duì)都應(yīng)該能夠訪問這些數(shù)據(jù),這樣如果他們想獲取詳細(xì)信息,就可以引用這些數(shù)據(jù)。
在分析 Airtable 中的反饋之后,研究人員將結(jié)果與所有跨職能團(tuán)隊(duì)分享,然后他們可以實(shí)施反饋。對我們來說,這采取了每周一次的全體會議的形式,研究人員在會上分享了測試版中最重要的幾點(diǎn)見解:一次又一次出現(xiàn)的特性請求或重復(fù)出現(xiàn)的可用性問題(值得注意的是,根據(jù)上述國際觀點(diǎn),這是針對多個(gè)國家的)。
例如,本次周會將分享美國的最高反饋,但日本的反饋也會進(jìn)行分享。這對整個(gè)團(tuán)隊(duì)的文化管理非常有幫助。每一項(xiàng)發(fā)現(xiàn)都與可行的建議和下一步措施相結(jié)合,其中一些建議被輸入Jira,以確保問責(zé)制的實(shí)行。
七、所有流程國際化?Internationalize all processes
關(guān)于包容性的建議,最重要的是要考慮到你的潛在受眾的全部范圍。因此,所有做法也應(yīng)在國際上付諸實(shí)施。國際化管理,而不僅僅是本地化。
正如我們的同事 Wilson Chan和 Mika Nakamura 所指出的,國際研究已經(jīng)超越了語言,包括文化色彩、符號、美學(xué)、設(shè)備使用、連接水平、技術(shù)標(biāo)準(zhǔn)、工作流程、購買風(fēng)格、學(xué)習(xí)風(fēng)格,甚至法律考慮。對于本文概述的所有最佳實(shí)踐,我們建議在其他國家(和語言/文化)也實(shí)施它們。
這張圖片是由一位日本測試版的參和者sunsuke Satake在iPad的Illustrator中創(chuàng)作的。
八、找到你的“部落”?Find your village
需要一個(gè)“部落”才能提高 beta 的實(shí)踐成功性!一個(gè)成功的測試版需要專門的跨職能資源。根據(jù)你的團(tuán)隊(duì)結(jié)構(gòu),這可能包括工程、產(chǎn)品管理、設(shè)計(jì)、研究、用研質(zhì)量評估、內(nèi)容策略和社區(qū)管理。
我們發(fā)現(xiàn),如果有人將測試版本作為他們的主要關(guān)注點(diǎn),那么測試版本的效果將是最好——沒錯(cuò),運(yùn)行測試版本可以是一項(xiàng)全職工作。我們強(qiáng)烈建議讓用戶體驗(yàn)研究人員從頭到尾參與這個(gè)過程。雖然他們可能不會運(yùn)行測試版的日常后勤工作,但研究人員可以設(shè)置程序以獲得盡可能好的數(shù)據(jù),這意味著需要收集可操作和可預(yù)測的數(shù)據(jù)。
用戶體驗(yàn)研究人員可以幫助進(jìn)行諸如面向用戶的反饋會議、調(diào)查和數(shù)據(jù)分析等活動。同樣重要的是,測試版用戶通常是你的產(chǎn)品的粉絲(稍后將對此進(jìn)行詳細(xì)介紹)。研究人員會意識到這種積極的偏見,并在他們的分析中加以解釋。
九、縱向評估?Evaluate longitudinally
縱向研究是研究人員工具箱中最強(qiáng)大的工具之一,它允許團(tuán)隊(duì)在相當(dāng)長的一段時(shí)間(例如一個(gè)月)內(nèi)關(guān)注應(yīng)用程序中的完整工作流,以便更好地了解用戶體驗(yàn)。
對于我們的縱向研究,我們首先在實(shí)踐研究前對每位參與者進(jìn)行 30 分鐘的人種學(xué)訪談。然后,每周都有任務(wù)要求參與者完成關(guān)鍵的工作流程,來確定風(fēng)險(xiǎn)領(lǐng)域。
參與者需要在每周末提供結(jié)構(gòu)化的書面反饋。最后,我們對每位參與者進(jìn)行 30 分鐘的研究后匯報(bào)和反饋訪談。
在整個(gè)過程中,參與者與主持人有一個(gè)開放的渠道,并鼓勵(lì)參與者隨時(shí)與主持人聯(lián)系,提出受挫的情況、bug、問題或疑惑。同樣,重要的是要 參與者 包括殘疾人和具有國際視野的人。
縱向研究的結(jié)果可以揭示什么有助于或阻礙用戶成功使用產(chǎn)品,他們也可以提供一種方法來衡量隨著時(shí)間的推移,熟練程度的提高程度。
例如,我們尋找的關(guān)鍵指標(biāo)之一是用戶的感知能力隨著時(shí)間的推移而增加;同時(shí),他們完成任務(wù)的時(shí)間(或完成任務(wù)所需的時(shí)間)應(yīng)該隨著熟練程度的提高而減少。基本上,你的目標(biāo)是這樣的:
十、對結(jié)果進(jìn)行基準(zhǔn)測試?Benchmark the results
基準(zhǔn)測試提供了一致的度量標(biāo)準(zhǔn),用來衡量用戶對應(yīng)用程序的感知。特別是,基準(zhǔn)測試提供了基線度量,以便隨著新版本的發(fā)布時(shí)間進(jìn)行監(jiān)視和跟蹤,從而測量錯(cuò)誤修復(fù)、性能更新和每個(gè)版本附帶的新特性的影響。
在應(yīng)用程序不斷發(fā)展的過程中,他們通過識別任何可能解決的成功和滿意度障礙(心智模型不匹配、復(fù)制不清晰、使用質(zhì)量等)來通知團(tuán)隊(duì)。它們還允許研究人員收集對用戶體驗(yàn)更深入的見解,為此,我們將在每次發(fā)布實(shí)質(zhì)性更新時(shí)推送的應(yīng)用內(nèi)調(diào)查。
選擇您最感興趣的度量標(biāo)準(zhǔn),我的建議是:易用性、性能、滿意度,并使用 Likert 量進(jìn)行調(diào)查反映問題。
測試版本的一個(gè)重要指標(biāo)是用戶整合產(chǎn)品的意圖。也就是說,如果這個(gè)應(yīng)用程序明天推出,他們真的會使用它嗎?我們還建議將每個(gè)定量問題與定性開放式問題配對;也就是說,對每個(gè)李克特量表問題都要問 “為什么”,數(shù)字本身并不能說明全部情況!
盡管 Beta測試版 程序需要預(yù)先投入時(shí)間和資源,但它要比在發(fā)布錯(cuò)誤應(yīng)用程序后對其進(jìn)行改進(jìn)要簡單得多,成本也要低得多。通過我們的測試程序收集到的豐富信息使 iPad團(tuán)隊(duì)中能夠在 Illustrator 開發(fā)過程中做出關(guān)鍵的作用,評估產(chǎn)品準(zhǔn)備情況,完善營銷材料,并發(fā)布一款獲得成功和用戶贊賞的產(chǎn)品。
本文翻譯已獲得作者的正式授權(quán)(授權(quán)截圖如下)
作者:Laura Herman;譯者:李玥琪;審校:蔡林燕、李澤慧、張聿彤;編輯:李莉好
原文鏈接:https://medium.com/thinking-design/10-key-steps-to-a-successful-product-beta-program-868a4d3fd9ca
本文由@TCC翻譯情報(bào)局 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于CC0協(xié)議。
- 目前還沒評論,等你發(fā)揮!