怎么為“不可量化的任務(wù)”制定指標(biāo)?

0 評論 7011 瀏覽 22 收藏 12 分鐘

無論采用哪種方式,都應(yīng)該記得指標(biāo)是最終目標(biāo)??墒侵笜?biāo)的抽象化和不容易量化的領(lǐng)域增加了制定指標(biāo)的難度。曾在Digg、 Uber、Stripe以及Calm等多家公司工作的Will Larson將在這篇文章分享關(guān)于指標(biāo)的思考,感興趣的小伙伴趕緊來看看吧。

隨著組織變得越來越復(fù)雜,其管理要靠無形的抽象,越來越脫離其所代表的現(xiàn)實的抽象。

在最小規(guī)模的團隊里面,決策者可能每天都埋頭于代碼之中。稍微大一點的呢,就會跟你談?wù)撜谮s的任務(wù)。團隊再大些之后,領(lǐng)導(dǎo)要討論的就變成了任務(wù)組,并采用諸如“史詩”(epic)之類的花哨用語。

如果要管理的工程師達到上百時,你可能就主要是圍繞著工作主題展開討論了,并且會側(cè)重在若干關(guān)鍵計劃上面。如果手下千軍萬馬,你討論的也許就是用于資源分配決策的投資框架。

無論采用哪種方式,指標(biāo)都是你的最終目標(biāo)。

指標(biāo)是非常有效的抽象。一個結(jié)構(gòu)得當(dāng)?shù)闹笜?biāo)會有足夠的上下文信息,通過它可以了解你的工作狀況,把表現(xiàn)跟過去的表現(xiàn)進行上下文關(guān)聯(lián),然后定義清晰的、可分級的目標(biāo)。

帶有目標(biāo)的指標(biāo)的例子:

20%的部署在第四季度完成金絲雀發(fā)布,比第三季度的10%有所提高,但未達25%的目標(biāo)。

這樣的指標(biāo)很強大,原因有幾點:

  • 首先,歷史背景描述了所取得進展的情況,尤其是跟圖表結(jié)合在一起的時候更能昭示。
  • 其次,目標(biāo)是否已實現(xiàn)一目了然,從歷史記錄可以大致了解目標(biāo)實現(xiàn)的難易程度。
  • 最后,也是最重要的一點是,人們可以在對基本主題了解最少的情況下對其進行評估。

領(lǐng)導(dǎo)復(fù)雜公司的家伙對基礎(chǔ)工作的了解自然不成問題,但是他們出這張牌要非常謹慎。以內(nèi)需要他們關(guān)注的事情太多了,而指標(biāo)就成為他們篩選哪些領(lǐng)域只需要大概觀察一下,哪些需要再具體研究的重要手段。

組織需要一些時間來獲得新的能力,才能滿足對指標(biāo)的這種貪得無厭的需求。好的指標(biāo)需要對底層數(shù)據(jù)有深刻的理解,而形成那種熟悉程度是真正的工作。

什么時候象征著指標(biāo)時代的開始呢?看你選擇的指標(biāo)被廢棄的程度。每一次學(xué)習(xí)都會激發(fā)你對指標(biāo)的類別進行改進,而且大多數(shù)的新指標(biāo)都需要新的手段、管道和環(huán)境來支持。

這需要時間,而且是一項艱巨的工作,但這項工作的成果是可預(yù)見的。你投入的時間越多,掌握的信息越多,那么你選擇的指標(biāo)就會成為其下的現(xiàn)實更持久、更有用的實現(xiàn)。

不管怎樣,指標(biāo)就是這樣發(fā)揮作用的。隨著我在定義和使用指標(biāo)方面的經(jīng)驗越來越豐富,我的時間越來越多地花在跟不容易衡量的領(lǐng)域打交道上面,有時候我將其稱為不可測領(lǐng)域。

當(dāng)我碰到負責(zé)基礎(chǔ)設(shè)施的新領(lǐng)導(dǎo)時,我的問對方的第一個問題通常是以下之一:

  • 你怎么去衡量公司的安全性?
  • 你怎么衡量團隊的生產(chǎn)效率?

我會得到各種不同的答案,但是答案通常都不盡人意。這兩個問題的挑戰(zhàn)非常相似,所以,我會特別探討一下對安全性的衡量。

01 衡量安全性

我們在討論安全性的衡量時,描述你期望的結(jié)果的輸出指標(biāo)是相對容易的。但是,在一般情況下,安全指標(biāo)的分子或分母都是不可知的。比方說,你可能想為入侵檢測設(shè)定一個目標(biāo),但是從定義上講,你不會知道分母是什么,因為你自然不知道沒檢測到的入侵有多少。

同樣,在你的確知道分子的情況下(比方說,已知的安全漏洞數(shù)量),一般來說,唯一可接受的目標(biāo)只能是零。在這些力量的共同作用之下,結(jié)果就是“零指標(biāo)”的擴散,比方說設(shè)定“違規(guī)數(shù)為0”,“內(nèi)部作案數(shù)為0”,“被感染系統(tǒng)數(shù)為0”等目標(biāo)。

“零指標(biāo)”是二元制指標(biāo)的一種特殊形式,這種指標(biāo)唯一有用的數(shù)據(jù)是能說明你成功(被擊中為0)還是失敗了(被擊中大于0)。

這樣的指標(biāo)不是很有用,因為所提供的對表現(xiàn)的評價非常粗粒度,真的只有通過或者失敗。更糟糕的是,這種指標(biāo)還不可執(zhí)行。假設(shè)這不是可以忽略的領(lǐng)域,你在安排下半年工作的時候,不管漏洞數(shù)是0還是4,你對這項工作的優(yōu)先考慮程度都會是一樣的。

如果我們不考慮這些二元化的指標(biāo)的話,其實還有很多非常有用的指標(biāo)可以考慮用來衡量我們的安全性的,比方說:

  • CVE(通用漏洞披露)庫的升級速度有多快?
  • 公司最老的那臺還在用的服務(wù)器用了多久了?
  • 通過mTLS 發(fā)起的請求百分比是多少?
  • 有多少家伙可以通過SSH訪問服務(wù)器?
  • 有多少家伙具備對服務(wù)器的根訪問權(quán)限?

這里所面臨的挑戰(zhàn)是,所有這些輸入指標(biāo)都非常適合針對計劃衡量進度,但對衡量該計劃的質(zhì)量卻無能為力。當(dāng)然,我們對服務(wù)器的存儲進行了100%的加密,但這種舉措對安全性的貢獻究竟有多大呢?

依賴輸入指標(biāo)還有一個問題,那就是輸入太多而且太具體,以至于想要綜合成有用的洞察很難。這意味著這類指標(biāo)沒法發(fā)揮出關(guān)鍵作用,也就是不能為高層領(lǐng)導(dǎo)提供有效理解某部分工作績效的抽象方法。

02 綜合指標(biāo)

綜合考慮上述挑戰(zhàn),那么什么才是衡量一個組織績效的好指標(biāo)呢?我們認為它應(yīng)該具備以下幾點:

  1. 指標(biāo)應(yīng)該暴露出足夠的層級,從而檢測出表現(xiàn)隨時間的變化情況;
  2. 等級之間的變化應(yīng)該為行動提供有用的指導(dǎo);
  3. 指標(biāo)應(yīng)該在有限的上下文背景下進行評估,以及
  4. 應(yīng)該足夠廣泛,可以對巨大的復(fù)雜性進行抽象。

按照上述要求看,我覺得具備這些屬性的純天然安全指標(biāo)并不存在,但幸運的是,我們不必依賴純天然的指標(biāo)。我最近的辦法是創(chuàng)造出綜合指標(biāo),也就是把輸入指標(biāo)打包成有用的抽象。

一個很好的例子是:

如果您想建立一個“服務(wù)器安全等級”,也就是根據(jù)輸入指標(biāo)為每個服務(wù)器從“A”到“F”分配一個字母等級。這里的細節(jié)有點難解釋,不過具安全等級為“A”的服務(wù)器的等級也許比不上一臺剛上線7天,跑的是最新的操作系統(tǒng),并且具備根訪問權(quán)限的人很少的服務(wù)器。

每天,你都要評估每臺服務(wù)器的安全等級,然后就可以開始跟蹤不同字母等級的服務(wù)器的分布情況。

然后,與其詳細討論每一個輸入指標(biāo),不如圍繞著改變等級的分布來設(shè)定目標(biāo)。比方說,你的目標(biāo)指標(biāo)可以是:

80%的服務(wù)器的安全級別為A,高于第四季度的60%,達到了我們設(shè)定的75%的目標(biāo)。

這樣一來,就用非常簡潔的方式代替了大量的復(fù)雜性。每一個安全等級應(yīng)該怎么定義還可以進行非常仔細的討論,但是大家已經(jīng)不需要深入了解相關(guān)定義就可以了解情況了。你可以測量等級分布的變化來評估長期的進展情況。如果等級分布往下走了,那就可以去深入了解一下導(dǎo)致等級下移的輸入指標(biāo)的情況,然后用來識別出糾正措施。

總的來說,我認為這種方法出奇的有用,但這并不是沒有代價的。這種方法的主要缺點是設(shè)計、檢測和改善綜合指標(biāo)的復(fù)雜性。取決于你使用什么樣的工具,維護此類指標(biāo)的開銷可能難以為繼,但是我認為隨著事情變得越來越復(fù)雜,這是一項值得放進你工具箱的強大技術(shù)。

人們還如何為無法衡量的指標(biāo)制定指標(biāo)?

順便說一句,跟衡量安全性一樣,衡量生產(chǎn)效率也很有挑戰(zhàn)。之前,我寫過一篇文章來討論過這一點,一方面概括了Accelerate 對生產(chǎn)效率的定義(重點是利用行業(yè)研究來選擇正確的輸入指標(biāo)),同時我還引入了系統(tǒng)思維把輸入指標(biāo)歸納為一個可理解的模型。

現(xiàn)在我的想法稍微有些改進了,重點放在對內(nèi)部開發(fā)人員的調(diào)查上面(而不是CSAT 客戶滿意度調(diào)查得分,而是參與率以及最關(guān)注問題的變化率),并圍繞著工作流的可用性構(gòu)成一個綜合指標(biāo)(基于一系列輸入指標(biāo),比方說開發(fā)、測試以及部署的速度和可靠性)。

看來要學(xué)習(xí)的東西還有很多啊!

 

作者:boxi,發(fā)布平臺:36氪

原文地址:https://36kr.com/p/5298480

本文由 @36氪 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。

題圖來自 Pixabay,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!