做數(shù)據(jù)分析如何從囚徒困境到合作的進(jìn)化
編輯導(dǎo)讀:囚徒困境是指兩個(gè)被捕的囚徒之間的一種特殊博弈,說明為什么甚至在合作對(duì)雙方都有利時(shí),保持合作也是困難的。做數(shù)據(jù)分析時(shí),也時(shí)常會(huì)遇到囚徒困境。應(yīng)當(dāng)如何解決呢?本文作者對(duì)此進(jìn)行了分析,希望對(duì)你有幫助。
在推進(jìn)業(yè)務(wù)線各種項(xiàng)目的過程中,做數(shù)據(jù)分析的人員在整體項(xiàng)目中起到了非常核心的作用,不管是決策支持還是數(shù)據(jù)支持,有著對(duì)業(yè)務(wù)線承上啟下的意義,需要了解業(yè)務(wù),還要與多個(gè)部門、各種不同外部組織以及個(gè)人打交道,但是,有的時(shí)候結(jié)果往往很難達(dá)到預(yù)期的效果,可能遇到項(xiàng)目無法推進(jìn),與技術(shù)或者業(yè)務(wù)人員無法有效的溝通等問題,其主要原因之一就是在工作過程中不知不覺的陷入了“囚徒困境”。
而從“社會(huì)學(xué)”角度觀察,不同組織之間,容易出現(xiàn)“本位主義”,越大的組織,越容易陷入“囚徒困境”中。那么,做數(shù)據(jù)分析的人員如何有效的解決工作中的“囚徒困境”呢?
所以今天,小飛象非常榮幸的邀請(qǐng)到了快用云科創(chuàng)始人兼CEO,創(chuàng)業(yè)老兵周海鵬,最近十年創(chuàng)業(yè),一直在大數(shù)據(jù)技術(shù)、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用的各個(gè)方面工作。服務(wù)過很多世界五百強(qiáng)企業(yè)(金融、房產(chǎn)、零售、醫(yī)療),對(duì)相關(guān)行業(yè)的背景、數(shù)據(jù)分析、數(shù)據(jù)智能和數(shù)據(jù)應(yīng)用方面都有詳細(xì)的了解。
將會(huì)為大家分享《做數(shù)據(jù)分析如何從囚徒困境到合作的進(jìn)化》的相關(guān)內(nèi)容,分為四部分:
- 線下環(huán)境觀察和零售選址案例
- 什么是所謂的“囚徒困境”
- 數(shù)據(jù)工作領(lǐng)域的囚徒困境
- 如何有效的解決囚徒困境?
做一個(gè)對(duì)世界充滿好奇的人!在分享之前,我們可以先思考幾個(gè)問題:
- 你認(rèn)為/了解過“囚徒困境”是什么?
- 你結(jié)合自身經(jīng)歷,是否在工作中也遇到過“囚徒困境”?
- 你覺得在數(shù)據(jù)分析領(lǐng)域的囚徒困境好解決么?以及數(shù)據(jù)分析有什么作用?
- ……
在分享的過程中,建議全程認(rèn)真聽,帶著思考來聽(去看),希望通過本次分享,幫助大家剖析一下“囚徒困境”和“純粹理想情況下的解決方案”,并給做數(shù)據(jù)分析的人員提供一些思路,有任何問題都可以隨時(shí)交流哦!
01 大數(shù)據(jù)時(shí)代如何推動(dòng)智能化,線下環(huán)境觀察和零售選址
在進(jìn)入正題之前,我先講一下咱今天分享的核心思想,我在一個(gè)大數(shù)據(jù)公司創(chuàng)業(yè),做了好幾個(gè)產(chǎn)品,從統(tǒng)計(jì)分析平臺(tái),到廣告監(jiān)測平臺(tái),再到用收集到的數(shù)據(jù)為移動(dòng)設(shè)備打標(biāo)簽,最后到用這些數(shù)據(jù)進(jìn)行商業(yè)分析,幫助客戶增收降本。在這十年的工作中,我發(fā)現(xiàn)一個(gè)非常重要,但是很困難的職業(yè)—–數(shù)據(jù)(商業(yè))分析師。
作為一個(gè)技術(shù)人員,我曾經(jīng)以為數(shù)據(jù)分析師只要會(huì)寫SQL,就可以做數(shù)據(jù)分析,但是隨著工作年限的提高,我發(fā)現(xiàn),做好數(shù)據(jù)分析的難度遠(yuǎn)高于我的想象。我從互聯(lián)網(wǎng)上查找了一些關(guān)于“數(shù)據(jù)(商業(yè))分析師技能要求”的文章,發(fā)現(xiàn)要想當(dāng)好數(shù)據(jù)(商業(yè))分析師,需要具備的能力可能遠(yuǎn)遠(yuǎn)超出技術(shù)人員的想象(如下圖所示)
從這個(gè)圖中,我覺得優(yōu)秀的數(shù)據(jù)分析人員,簡直就是個(gè)神的存在。從我常年在數(shù)據(jù)方面的工作而言,一個(gè)優(yōu)秀的技術(shù)人員,可以很好的掌握這里面幾項(xiàng)技術(shù)已經(jīng)相當(dāng)不錯(cuò)了。
那么,數(shù)據(jù)分析師如何成長成為這種神一樣的存在呢?我認(rèn)為,除了技術(shù)性因素外,還有一個(gè)組織問題:數(shù)據(jù)分析師在企業(yè)內(nèi)承上啟下,和多個(gè)部門、組織和個(gè)人打交道,在組織里起到組織核心的作用。從“社會(huì)學(xué)”角度觀察,不同組織之間,容易出現(xiàn)“本位主義”,越大的組織,越容易陷入“囚徒困境”中。
所以,我今天想剖析一下“囚徒困境”和“純粹理想情況下的解決方案”,并給數(shù)據(jù)分析師提供一點(diǎn)個(gè)人建議:數(shù)據(jù)(商業(yè))分析師,應(yīng)該以“幫企業(yè)更好、更快決策”為目標(biāo),尋求和下游(數(shù)據(jù)工程師團(tuán)隊(duì))、左右(其他合作部門,例如銷售、供應(yīng)鏈團(tuán)隊(duì)等)、上游(老板)通力合作、保持有效溝通,減輕學(xué)習(xí)的負(fù)擔(dān),加快自身進(jìn)化,最終成就了自己,也促進(jìn)了企業(yè)發(fā)展。
接下來,以某全球零售餐飲連鎖企業(yè)選址的方法論為例,來講講在這個(gè)通過數(shù)據(jù)分析選址的項(xiàng)目中,出現(xiàn)的“囚徒困境”是如何解決的?
某全球零售餐飲連鎖企業(yè),在中國市場開一家火一家,除了特有的餐飲文化和嚴(yán)格的復(fù)制標(biāo)準(zhǔn),還有一項(xiàng)在連鎖餐飲界引以為豪的競爭力——選址成功率,幾乎百分之一百的選址成功率!肯德基經(jīng)營成功的首要三大因素必然是選址、選址、選址。
“選址”對(duì)于連鎖經(jīng)營實(shí)體的重要性不言而喻,但同時(shí)也是長久以來所有實(shí)體連鎖的痛點(diǎn),而且對(duì)于目標(biāo)客群和商業(yè)模式并不清晰的便利店/超市連鎖而言,選址的難度更高。
傳統(tǒng)的選址作業(yè)流程主要靠人工調(diào)研和實(shí)地考察,大量及長時(shí)間周期的人工作業(yè),使得選址開發(fā)的流程過長,同時(shí)人工作業(yè)模式也存在太多的不可控性。
漫長的門店開發(fā)流程,單純依靠人工管控,對(duì)于進(jìn)度的管理和追蹤的難度極大。而與人口相關(guān)的各類數(shù)據(jù),如目標(biāo)門店區(qū)域的到訪量、到訪年齡比例等情況需靠長時(shí)間的人工現(xiàn)場采集,成本高,而且極易出現(xiàn)核心數(shù)據(jù)缺失的狀況。
同時(shí),手動(dòng)作業(yè)處理數(shù)據(jù)不及時(shí)等因素導(dǎo)致信息滯后,結(jié)果缺乏相應(yīng)的參考價(jià)值。下圖是PIE指標(biāo)體系和應(yīng)用。
我們知道選址,在商圈數(shù)據(jù)調(diào)研的時(shí)候,會(huì)走訪很多線下網(wǎng)點(diǎn),還要采集很多線下環(huán)境數(shù)據(jù),例如人口數(shù)據(jù)。我們可能可以從高德、百度獲得這樣的熱力圖,雖然看著非常煥麗。但是在精細(xì)的選址中卻沒有鳥用。
原因:在精細(xì)的選址中,業(yè)務(wù)方需要知道某個(gè)大樓、小區(qū),甚至是小區(qū)的東門還是小區(qū)的西門人多。但是我們無法從這種圖里獲得具體的人口數(shù)字(或者指數(shù))。
所以,數(shù)據(jù)不標(biāo)準(zhǔn),現(xiàn)場調(diào)研的數(shù)據(jù)和地圖數(shù)據(jù)無法綁定在一起。
場景:數(shù)據(jù)分析師發(fā)現(xiàn)地圖上某個(gè)區(qū)域的流量特別大。他會(huì)找數(shù)據(jù)工程師進(jìn)行排查:請(qǐng)幫忙查一下“某酒店”,流量為什么這么高?
數(shù)據(jù)工程師會(huì)反問:具體是哪個(gè)區(qū)域?能不能給我一個(gè)經(jīng)緯度列表。
分析師可能沒有工具獲取經(jīng)緯度列表,因此這個(gè)問題就耽誤了,后續(xù)的分析會(huì)遇到意想不到的坑。
不要小看這個(gè)Hash ID,它讓該企業(yè)第一次有了把所有數(shù)據(jù)放置到一個(gè)標(biāo)準(zhǔn)度量體系中的方法。徹底解決了前臺(tái)團(tuán)隊(duì)、后臺(tái)數(shù)據(jù)團(tuán)隊(duì)、分析師團(tuán)隊(duì)、數(shù)據(jù)智能團(tuán)隊(duì)之間溝通的溝壑。
在選址過程中,可能很多分析師都用過POI數(shù)據(jù),如上圖,客戶提出了新的挑戰(zhàn)??蛻粝牍浪愠鲞@個(gè)區(qū)域里人口的購買力指標(biāo),所以想用當(dāng)前區(qū)域里房價(jià)來進(jìn)行折算。但是,這個(gè)區(qū)域里,只有幾個(gè)小區(qū)有房價(jià)數(shù)據(jù),剩下的5、6個(gè)沒有辦法填充,造成這個(gè)指標(biāo)一直參差不齊。
客戶提出了新的挑戰(zhàn)??蛻粝牍浪愠鲞@個(gè)區(qū)域里人口的購買力指標(biāo),所以想用當(dāng)前區(qū)域里房價(jià)來進(jìn)行折算。但是,這個(gè)區(qū)域里,只有幾個(gè)小區(qū)有房價(jià)數(shù)據(jù),剩下的5、6個(gè)沒有辦法填充,造成這個(gè)指標(biāo)一直參差不齊。
所以,數(shù)據(jù)缺失多、數(shù)據(jù)精度比較差,無法對(duì)商圈進(jìn)行標(biāo)準(zhǔn)的畫像。
場景:數(shù)據(jù)分析師期待對(duì)左圖進(jìn)行分析,他手里有不少POI數(shù)據(jù),但是,他如何給這塊區(qū)域打標(biāo)簽?zāi)??例如餐飲?biāo)簽。
他想了個(gè)辦法:區(qū)域中餐飲個(gè)數(shù)/區(qū)域的面積=此餐飲密度。
現(xiàn)場調(diào)研員拿到這個(gè)標(biāo)簽后會(huì)質(zhì)疑:這個(gè)區(qū)域餐飲門店遠(yuǎn)比西南的高,這個(gè)密度不能顯示現(xiàn)實(shí)情況。另外,現(xiàn)在只有十幾種數(shù)據(jù)可以評(píng)估這塊區(qū)域,調(diào)研員還想要更多的數(shù)據(jù)標(biāo)簽,例如房價(jià)標(biāo)簽、交通標(biāo)簽等等。但是,其他數(shù)據(jù)的缺失更多,更難標(biāo)準(zhǔn)化和歸一化。
大家需要客觀接受一個(gè)現(xiàn)實(shí),就是這個(gè)世界離廣泛、真實(shí)、準(zhǔn)確的數(shù)據(jù)化,還差的遠(yuǎn)。在這種條件下,要多個(gè)團(tuán)隊(duì)(有巨大差異化的同事),進(jìn)行合作、探索、挖掘數(shù)據(jù)的價(jià)值,就要給出一個(gè)有效、標(biāo)準(zhǔn)的框架和解決方案。
這套數(shù)字化的方法,讓每一個(gè)網(wǎng)格都可以有一套標(biāo)準(zhǔn)、通用的標(biāo)簽,可以想象,原來不同團(tuán)隊(duì)需要在顯示器前,大家一起看地圖解決的問題,可以進(jìn)一步轉(zhuǎn)換成計(jì)算機(jī)自動(dòng)進(jìn)行計(jì)算的問題。
數(shù)據(jù)準(zhǔn)備的差不多以后,想標(biāo)準(zhǔn)化評(píng)估一個(gè)區(qū)域,也是很難的,我們看上圖,這種打分表,在選址團(tuán)隊(duì)中很常用,的確起到了一定作用。但是請(qǐng)注意,這個(gè)打分表是很主觀的,而且無法精確量化。所以,評(píng)估難,這種打分表,在選址團(tuán)隊(duì)中很常用,的確起到了一定作用。但是請(qǐng)注意,這個(gè)打分表是很主觀的,而且無法精確量化。
選址工作,是該企業(yè)成功的一個(gè)金鑰匙。但是,隨著企業(yè)的發(fā)展想三四線城市發(fā)展,如何快速評(píng)估一塊區(qū)域,越來越不能靠調(diào)研員各地探訪了??蛻艏毙枰环N標(biāo)準(zhǔn)化的方法,來進(jìn)行評(píng)估度量。前線調(diào)研員需要和總部分析師一起,構(gòu)建起一種溝通和評(píng)估的標(biāo)準(zhǔn),這樣,選址調(diào)研才能標(biāo)準(zhǔn)化、規(guī)模化。
在選址評(píng)估上,客戶也在轉(zhuǎn)變,從原來的“線下調(diào)研員給一個(gè)門店,評(píng)估一個(gè)門店”,轉(zhuǎn)換成“在城市所有網(wǎng)格里”智能搜索出潛在門店的模式。
我們進(jìn)行門店選址模型探索。產(chǎn)出的模型,在上海市進(jìn)行搜索,經(jīng)過現(xiàn)實(shí)開店數(shù)據(jù)驗(yàn)證,在推薦的網(wǎng)點(diǎn)400米內(nèi),有80%的可能性有一家在運(yùn)營的門店。解決進(jìn)入同類型、同等級(jí)新城市冷啟動(dòng)問題。
公式:F(某網(wǎng)格開店成功概率) = 0.14*某網(wǎng)格購物中心個(gè)數(shù)1.24+0.101*某網(wǎng)格購物中心營業(yè)額0.88+0.08*某網(wǎng)格火車站流量1.2+……
雖然選址是一個(gè)數(shù)據(jù)分析和智能的冷門方向,但是要做的工作也有很多。在數(shù)字化企業(yè)的構(gòu)建過程中,數(shù)據(jù)分析師一個(gè)非常重要的角色。他需要把很多工作串接在一起,得到對(duì)企業(yè)有價(jià)值的結(jié)論。但是現(xiàn)實(shí)的條件是殘酷的。我給大家的建議,是邊溝通、邊解決問題,而且要時(shí)刻注意能不能做到數(shù)據(jù)標(biāo)準(zhǔn)化、算法智能化、應(yīng)用簡單化。讓企業(yè)的上下游同事都可以認(rèn)可數(shù)據(jù)采集、加工、分析的方法,最終讓大家在數(shù)字化的世界中解決業(yè)務(wù)決策問題。
個(gè)人認(rèn)為如何高效推進(jìn)工作的方法總結(jié):
標(biāo)準(zhǔn)化的數(shù)據(jù)架構(gòu)(網(wǎng)格)
標(biāo)準(zhǔn)化的內(nèi)容架構(gòu)(標(biāo)簽)
標(biāo)準(zhǔn)化的評(píng)價(jià)架構(gòu)(算法)
02 什么是所謂的“囚徒困境”
綜上,我們了解的選址的案例,那到底什么是“囚徒困境”呢?
囚徒困境是博弈論的非零和博弈中具代表性的例子,反映個(gè)人最佳選擇并非團(tuán)體最佳選擇?;蛘哒f在一個(gè)群體中,個(gè)人做出理性選擇卻往往導(dǎo)致集體的非理性。雖然困境本身只屬模型性質(zhì),但現(xiàn)實(shí)中的價(jià)格競爭、環(huán)境保護(hù)等方面,也會(huì)頻繁出現(xiàn)類似情況。
美國著名的科學(xué)家羅伯特·阿克塞爾羅德在1970年代向棘手的“重復(fù)囚徒困境”難題發(fā)起了沖擊,并最終取得了重大突破。在他的研究之前,我們發(fā)現(xiàn)古往今來的眾多學(xué)者對(duì)于人類能否跳出“囚徒困境”的詛咒都充滿了悲觀的看法,可是一戰(zhàn)西線塹壕戰(zhàn)里“圣誕停火”這種奇跡的出現(xiàn),又證明人類在沒有權(quán)威的情況下,其實(shí)是具有自發(fā)形成合作關(guān)系的可能性的。
阿克塞爾羅德利用當(dāng)時(shí)剛剛興起的計(jì)算機(jī)技術(shù),沿著“計(jì)算模擬”這條不同于歸納和演繹的新研究路徑,舉辦了三場對(duì)后世影響深遠(yuǎn)的“重復(fù)囚徒困境博弈策略的計(jì)算機(jī)錦標(biāo)賽”,幾十個(gè)出自世界各地不同學(xué)科專家之手的博弈策略作為比賽選手,在既定規(guī)則下彼此展開了激烈的對(duì)決。這三場比賽的結(jié)果直接指向了合作產(chǎn)生的本質(zhì),“圣誕停火”的秘密就藏在這三場比賽的背后。
試驗(yàn)的過程挺讓人吃驚的:不同對(duì)手,經(jīng)過激烈對(duì)抗,每個(gè)選擇不同策略的參與者一再重復(fù)了很長時(shí)間之后,從利己的角度來判斷,最終“貪婪”策略趨向于減少,而比較“利他”策略更多地被采用。他用這個(gè)博弈來說明,通過自然選擇,一種利他行為的機(jī)制可能從最初純粹的自私機(jī)制進(jìn)化而來。最佳確定性策略被認(rèn)為是“以牙還牙”。
這里要解釋一下:以牙還牙不是字面意義上的,呈現(xiàn)死循環(huán)的報(bào)復(fù),而是,有一定概率以德報(bào)德,以德報(bào)怨,但是,如果對(duì)手持續(xù)作惡,那么可以被激發(fā)的憤怒,也有一定概率相應(yīng)的報(bào)復(fù)。這個(gè)試驗(yàn)說明了一個(gè)深刻的道理:以善意對(duì)待對(duì)手,推進(jìn)整體合作的進(jìn)化,是可以讓大家走出囚徒困境的。
I.友善
最重要的條件是策略必須“友善”,這就是說,不要在對(duì)手背叛之前先背叛。在現(xiàn)實(shí)中,可以解釋為:要盡可能善意的對(duì)待別人,不要抱怨、更不要給別人造成麻煩。
II.報(bào)復(fù)
但是,成功的策略必須不是一個(gè)盲目樂觀者。要保持報(bào)復(fù)的可能,始終合作肯定不會(huì)獲得最后的好結(jié)果(因?yàn)椤跋铝鳌辈呗詫埧岬貏兿鬟@樣的傻瓜)。在現(xiàn)實(shí)中,一味的對(duì)邪惡妥協(xié),只會(huì)造成徹底的囚徒困境和崩潰。
III.寬恕
成功策略的另一個(gè)品質(zhì)是必須要寬恕。雖然它們不報(bào)復(fù),但是如果對(duì)手不繼續(xù)背叛,它們會(huì)一再退卻到合作。這停止了報(bào)復(fù)和反報(bào)復(fù)的長期進(jìn)行,最大化了得分點(diǎn)數(shù)。在現(xiàn)實(shí)中,我們要容忍別人的偶然的錯(cuò)誤,給與一定的寬恕是挽救合作的必然條件。
IV.不嫉妒
最后一個(gè)品質(zhì)是不嫉妒,就是說不去爭取得到高于對(duì)手的分?jǐn)?shù)(“友善”的策略必然不嫉妒,也就是說“友善”的策略永遠(yuǎn)無法得到高于對(duì)手的分?jǐn)?shù))。
03 數(shù)據(jù)工作領(lǐng)域的囚徒困境
正如背景部分描述的,數(shù)據(jù)工作領(lǐng)域里,數(shù)據(jù)分析師處于核心地位,在不同組織的協(xié)作中,容易出現(xiàn)“囚徒困境”。
經(jīng)過好幾輪折騰,數(shù)據(jù)分析師拿到數(shù)據(jù),已經(jīng)過去一周了,離老板給出的Deadline只剩下半天了。這時(shí)候肯定出現(xiàn)“囚徒困境”,分析師一般會(huì)投訴:拿個(gè)數(shù)據(jù)太慢了,工程是會(huì)反訴:你的需求提的不清楚,我怎么知道你要什么數(shù)據(jù)?
數(shù)據(jù)質(zhì)量是數(shù)據(jù)分析、數(shù)據(jù)科學(xué)、甚至是AI的基礎(chǔ),為什么提高不了數(shù)據(jù)質(zhì)量?假設(shè)先排除搜集端的問題,后續(xù)數(shù)據(jù)清洗是一個(gè)非常重要的工作。普遍情況是,工程師不懂業(yè)務(wù)、分析師普遍不懂技術(shù),兩個(gè)團(tuán)隊(duì)又容易陷入到第二個(gè)陷阱中。
幾天后,分析師和工程師團(tuán)隊(duì),總算把例行任務(wù)上線了,發(fā)現(xiàn)數(shù)據(jù)庫性能上不去,工程師提出方案改成Spark執(zhí)行,但是分析師不會(huì)Spark,又要排期。
04 如何有效的解決囚徒困境
上面只是羅列了一些“囚徒困境”的實(shí)際場景,兩個(gè)團(tuán)隊(duì)之間,在需求溝通、數(shù)據(jù)質(zhì)量控制、最終數(shù)據(jù)加工方案上,很容易遇到各種各樣的問題。本質(zhì)上這些問題就是:技術(shù)不懂業(yè)務(wù)、業(yè)務(wù)不懂技術(shù),雞同鴨講,能講通嗎?那么我們?nèi)绾巫叱鰜砟兀?/p>
回到現(xiàn)實(shí)條件下,客觀的看待阿克塞爾羅德的試驗(yàn),雖然他指出了走出囚徒困境的解法,但是,這個(gè)試驗(yàn)的條件相對(duì)簡單,而且試驗(yàn)的次數(shù)可以是幾千幾萬次,而對(duì)于現(xiàn)實(shí)工作,我們?nèi)绾卧谟邢迼l件下走出囚徒困境,是需要各找各的辦法的;另外,也要依托一些先進(jìn)的產(chǎn)品,想辦法降低摩擦,找到雙方友善、寬容的合作方案,不陷入囚徒困境。
文檔,在傳播需求,達(dá)成共識(shí)的過程中,起到非常重要的因素。在數(shù)據(jù)產(chǎn)品中,文檔是一個(gè)不太起眼,但是非常重要的環(huán)節(jié)。它應(yīng)該有這樣的功能:
1.在文檔中可以直接嵌入數(shù)據(jù),包括數(shù)據(jù)的鏈接、字段,可以讓讀者快速讀取數(shù)據(jù)、字段定義等,當(dāng)然,最好還能包含數(shù)據(jù)的作者、業(yè)務(wù)含義等描述??梢员M量降低溝通的磨蹭。
2.文檔需要有版本管理,可以進(jìn)行對(duì)比。數(shù)據(jù)工作是一項(xiàng)繁瑣、嚴(yán)肅的工作,文檔隨意更改、變更、丟失,對(duì)于構(gòu)建一個(gè)完整的數(shù)據(jù)系統(tǒng)是致命的。
具體操作如下:
1.數(shù)據(jù)表統(tǒng)一
分析師和工程人員對(duì)表名的叫法統(tǒng)一,甚至可以通過工具可以自動(dòng)跳轉(zhuǎn)到頁面對(duì)數(shù)據(jù)進(jìn)行查詢
2.數(shù)據(jù)字段統(tǒng)一
數(shù)據(jù)分析師經(jīng)常使用中文的明年,比如“客戶ID”,但是工程師習(xí)慣的是英文命名“CustID”,遵循統(tǒng)一的命名標(biāo)準(zhǔn)是一個(gè)很好的習(xí)慣
3.注意文檔版本
分析師的文檔,會(huì)隨著業(yè)務(wù)發(fā)展產(chǎn)生不同的版本,編輯時(shí)間、發(fā)布時(shí)間、功能描述等,都需要關(guān)注版本,雙方溝通中要基于同一個(gè)版本的數(shù)據(jù)、文檔進(jìn)行討論。
之前在一些群里,看到數(shù)據(jù)分析師討論學(xué)習(xí)哪些技術(shù),比如Spark、SPSS、SAS,我個(gè)人覺得這些技術(shù)工具值得學(xué),但是更重要的是要從業(yè)務(wù)的角度入手。
1.數(shù)據(jù)(商業(yè))分析師的職責(zé),不是和數(shù)據(jù)工程師搶飯碗,而是幫助老板、企業(yè)研究數(shù)據(jù),基于數(shù)據(jù)做決策,因此,更要以業(yè)務(wù)的視角去理解、使用數(shù)據(jù)。
2.工程師們,如果只想從事技術(shù)工作,需要更好的做好技術(shù)性的支撐,例如確保數(shù)據(jù)系統(tǒng)可靠性、易用性,做好不同系統(tǒng)之間的整合工作。要及時(shí)、有效的從搬數(shù)據(jù)、抽取數(shù)據(jù)中解放出來。
隨著技術(shù)的發(fā)展,基礎(chǔ)的數(shù)據(jù)平臺(tái)會(huì)越來越多,數(shù)據(jù)分析師不太可能全部學(xué)會(huì),更不要說精通。那么,一個(gè)業(yè)務(wù)邏輯,數(shù)據(jù)(業(yè)務(wù))分析師如何讓技術(shù)團(tuán)隊(duì)看懂、翻譯自己的工作,就非常有講究了。但是非要讓別人看懂、翻譯嗎?我們數(shù)據(jù)分析師團(tuán)隊(duì),能不能直接操作大數(shù)據(jù)平臺(tái)呢?
1. 數(shù)據(jù)加工本身可以被抽象成語義,經(jīng)過不同的編譯過程,理論上就可以翻譯成SQL語句、Spark程序等等。數(shù)據(jù)分析師對(duì)數(shù)據(jù)的整理、建模,盡可能不用工程師幫忙,這樣可以盡可能的降低重復(fù)勞動(dòng)、減少工作的誤差、浪費(fèi)。
2. 數(shù)據(jù)工程師,可以騰出時(shí)間去處理數(shù)據(jù)平臺(tái)的其他工作,做好不同組件的整合,做好數(shù)據(jù)加工的性能優(yōu)化。
05 總結(jié)
以上就是本次分享的全部內(nèi)容!囚徒困境,是一個(gè)很讓人難堪的境地。我想指出的是,博弈的雙方/多方,有很多機(jī)會(huì)可以避免最差的結(jié)果。雖然友善、報(bào)復(fù)、寬恕等等字眼,屬于倫理學(xué)的范疇,貌似和現(xiàn)實(shí)生活離的很遠(yuǎn),但是,其實(shí)在日常溝通、協(xié)調(diào)中,哪怕一點(diǎn)細(xì)微的改進(jìn),都能體現(xiàn)合作的光輝。
我們不要小看溝通的威力,從某種角度來說,世界是多樣性的,是讓世界變得豐富多彩的基礎(chǔ)。我們可以想辦法在多元的世界之間設(shè)計(jì)出巧妙的溝通橋梁,一定可以產(chǎn)生友善和寬恕的化學(xué)反應(yīng),進(jìn)一步促成整體的合作進(jìn)化。我覺得其實(shí)在我的心目中,數(shù)據(jù)分析和數(shù)據(jù)工程師可以一起來協(xié)作,來去逃脫這種數(shù)據(jù)的困境,還包括這個(gè)深層的這個(gè)操作空間,能更好地幫助公司來進(jìn)行發(fā)展決策。
相信大家通過不斷的學(xué)習(xí)和實(shí)操,認(rèn)識(shí)到數(shù)據(jù)分析對(duì)企業(yè)或者組織的重要意義。學(xué)貴在行,需要我們?cè)谝院蟮膶W(xué)習(xí)工作中不斷地積累經(jīng)驗(yàn)掌握工具,學(xué)以致用。能站在多方角度,發(fā)現(xiàn)問題,分析問題,解決問題,總結(jié)問題。
后期小飛象會(huì)繼續(xù)為邀請(qǐng)各業(yè)的精英分享數(shù)據(jù)領(lǐng)域的內(nèi)容。祝愿大家都能在自己所在的領(lǐng)域內(nèi),用數(shù)據(jù)思維,成就更好的自己,在可預(yù)見的未來,遇到更好的自己。謝謝大家!
作者:周海鵬
本文由@小飛象-木兮 整理發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
囚徒困境是指兩個(gè)被捕的囚徒之間的一種特殊博弈,說明為什么甚至在合作對(duì)雙方都有利時(shí),保持合作也是困難的。學(xué)到了