零售企業如何構建數據中臺?
作者從數據中臺的發展談到數據后臺和策略中臺的的概念,探討了數據中臺的算法和相關邏輯,并對數據中臺的發展給出了自己的思考與建議。
我們是一直在零售的大數據分析這個領域深耕的一家初創公司,有四年左右的時間,我之前是一直在國內外的零售大數據分析公司,服務海外和國內的零售企業。
今天大家對于數據中臺的概念有各自的理解和認知,但這個最早是阿里提出來的,他是參訪美國海軍的大后臺,小前臺,發現中間缺少一個可以支持到前端的炮火的靈活性的中臺,所以提出了這樣的一個概念。
但是對于零售商來說,數據中臺到底是一個什么東西?我們應不應該去建設它?如何去建設?如何去應用?以及這樣的零售數據中臺建設中有哪些需要去注意的點?
目前在市場上,主要是大的一些電商平臺,還有像蘇寧等一些比較大型的零售企業,他們在做數據中臺上的一些實踐,供我們做一些初步的參考。
數據中臺,它是一個偏技術性的平臺,它最初的概念,類似于數據的倉庫,現在又提到這個數據中臺的概念。
01
從目前對數據中臺主流有兩種理解:一種是堅持分技術的數據中臺,還有一種是技術加應用的數據中臺。
從我了解來看,目前市場上大家聽到的,更多主要都是偏向底層的技術類的數據平臺,離應用還是比較的遠。阿里這邊做的已經成熟。
但是現在大家都在思考這個問題,很大的一個原因就是如何用數據來賦能業務。所以光有純技術層面上的一個匯集,和中臺的建設是沒有辦法真正的滿足到大家對于一個公司戰略發展更長遠的數據驅動業務。
我想說的意思是說,我們強調的是數據后臺加前臺應用,而不是數據中臺的概念,其實就是希望數據中臺不單單是一個技術類的平臺,它更多的是要走到前面去,能夠支持到業務的前臺。
在我們看來,一個數據后臺,一個決策的中臺,然后再加上一個業務前臺這樣的一個組合,是更符合現在零售企業的實際需求。所以我提出的一個概念是策略中臺,而不單單是說所謂的數據平臺,數據更多的是在后面,我們把零售企業內部的各種數據源有機的組合、治理、清洗,甚至建模,這些都在后臺完成,包括一些有效的外部數據能夠整合進來。
在這些數據后臺的基礎之上,上層我們要搭的是一個策略的中臺,這個策略的中臺,他能夠去負責我們業務的前臺。
這個策略中臺很大一個程度上是目前我們非常缺的一塊,它真正是一個核心的組建,核心的一層,它能夠去非常好的支持到零售企業各個部門、各個業務場景。更多的能夠去緊密的貼合業務前臺當中不同的應用場景,用數據和算法支撐策略中臺。
所以這個策略中臺可以理解的話叫做BT的平臺,它是吃了數據后臺的數據,然后通過算法和模型結合非常明確的前臺業務場景,所搭建的一層中臺。
我舉一個非常具體的業務場景,來解釋一下這個層怎么從數據后臺到策略中臺,再到最上層的應用場景的前臺業務的閉環。就拿促銷這件事情來說,我相信不管是任何規模的零售企業,促銷都是大家去做的一件事情。整個促銷的業務閉環當中,有幾個關鍵的業務決策場景。
第一個就是營銷的規劃,我到底怎么來做?我促銷的品類,一年26檔或者30檔促銷的規劃。
第二個是促銷的選品。促銷規劃完了之后,具體的某一個時間段檔期或者是一個具體的時間段,我要去做促銷的選品,我怎么來選擇商品?是供應商推薦的,我自己采購提報的,依據是什么?
第三個是促銷的定價,我選定了比如說200支商品,要去做促銷,我200商品,怎么確定合理的價格,合理的機制?很重要的一個點,我要去做促銷的備貨,200個商品,到底每一個店都應該備多少貨,這里又是一個單單靠經驗和傳統的補貨公式很難去完成的。
中間還有一個促銷執行過程當中的監測,最后就是促銷的評估。所以總的來看會有促銷規劃,選品、促銷定價,然后再有促銷的預測,最后還有一個促銷的評估,這樣的4到5個環節關鍵的決策點組成。
首先要做成整套閉環的話,要做到在這4到5個促銷場景下的一個數據驅動,需要得到所有歷史促銷的數據和所有訂單的數據,還有需要所有會員的銷售數據,還有一部分的庫存數據,至少是這些數據源基礎,能夠完成促銷場景的技術閉環的數據基礎。
這些數據都會放到數據后臺當中,做我們內部數據,按照既定的數據格式和數據標準放進去,除了內部數據之外,還需要融入一部分的外部數據。比如說天氣的數據,當我們在對促銷做銷量預測背后的時候,天氣肯定是一個非常重要的影響因素。還有一些是外部的一些POI的數據,也就是你的競爭信息,這些外部數據也需要容納到你的數據后臺里去。
當這些你所滿足某一個特定業務場景所需要的數據,能夠放到數據后臺中去之后,在策略中臺這一層,是去等于說調用這些數據后臺的數據,基于機器學習和人工智能算法和或者是一些在數據后臺已經打上了一些商品和會員的標簽,你可以對于促銷的核心決策情景去進行直接的推薦和建議。
從這個角度,我可能不同的部門,在做規劃的時候,規劃部或者市場部可以各取所需,選品的時候采購來進行選擇,通過選品里面的一些商品的標簽,包括促銷品的預測、預期的銷量、包括價格因素,進行智能的選品,包括一些基于標簽所產生的策略。
再往后走的話就是備貨、備完之后給到店運營端來定,最后再去做促銷,在這里業務前臺就是要去和我們具體的前端展現結合起來。
所以在前臺的部分,有了好的策略,已經基于數據選出了很多比人工和經驗判斷更準的商品,更合理的價格,更合適的備貨,怎么樣去跟顧客觸達,就有很多前臺的業務場景點、觸點去用。不管是通過H5和小程序,未來在線下各種屏幕和硬件的露出,也能夠給到更多的、更吸引人的內容展現形式。
策略中臺的其中一層可以是這種用標簽,用銷量預測,用價格彈性等一些算法去幫助我們進行選品、定價和促銷的預測之外,還有一個很核心的算法,就是我選出來這200支促銷商品之后,怎么樣去對顧客進行個性化的推薦,這里又涉及到個性化推薦算法。
我不會把200個商品、甚至500支商品全部推薦給每一個消費者,所以我們會基于這200或者500的商品去進行個性化推薦。在這樣的一種情況下,我們通過數字化的手段是完全可以跟電商一樣進行對促銷的個性化推薦,不管是券還是商品還是其他的內容,都可以進行這樣的個性化展現。進一步的把我們促銷的資源,對于每一個會員相關性提高。我們就完成了促銷場景下的從數據后臺到策略平臺,再到業務前臺的這樣的一個相對完整的閉環,這個閉環是一個環形的鏈路。
在我們零售的產品當中有很多的環形鏈路組成,每一個環形鏈路加總起來就會形成一個鏈式的鏈路。未來整個零售的數字化進程,到最后就是在我們幾個零售的核心業務場景,包括促銷閉環,包括會員運營的閉環,包括商品的閉環等一系列閉環,形成一個鏈式反應,最終才能夠形成從粗放式到集約式發展,整個精細化管理的路徑才有可能。
用促銷這個場景舉了一個例子來闡述如何從數據后臺到策略中臺,再到業務前臺從下至上的業務場景閉環。
在我們的零售場景當中,核心的業務場景有很多,促銷只是其中的一環,然后商品的環路是一個,可能未來有會員環路等。
只有從這樣的一個鏈式反應當中,并且中間是以消費者和會員作為核心的算法驅動,我們才能夠真正的實現以消費者為中心在運營,不管是我們的品類決策、選址或者價格決策,促銷決策都應該按照這樣的一個閉環來形成。
現在觀察到的情況是,數據后臺做純技術的非常多,做中間這一層的非常少,做上面那層的也非常多。
中間策略這一層也就是DT這一層,它能夠完美的去銜接數據源和業務前臺的部分,這塊的技術含量也要求非常高,它不但要求技術,而且要求對業務的理解要深,還需要有很強的算法和數據,懂業務、懂場景的算法科學家來支持,才有可能把這些策略能算得好、算的準。
甚至一開始的時候也許是不準的,是在一個過程中去迭代的,不斷的去升級,不斷的去完善數據后臺里的數據的維度,數據的準確性,才有可能把這套體系完整的搭建起來。
02
接下來從整個架構當中三個層面去展開,比較詳詳細的講一下數據后臺和策略中臺。
最核心的就是兩塊,一塊就是數據的就采集和治理,一塊就是數據的架構。
數據的采集和治理是一個非常重、臟的活,說實話,因為要從零售商內部的各種離散的系統,不管是我的CRM的CRP我的ws等內部的各種紛繁復雜系統里面去抽取,未來對于業務、對于管理、對于財務等各方應用場景所需要的數據源,是一件非常復雜的事情,很細很瑣碎。
還包括要考慮到的基于未來的業務發展戰略,數據戰略怎么去形成和外部數據源的一些合作和打通,這里面還涉及到跟外部數據的合作,所以這個又涉及到數據戰略,整個的數據采集、數據架構其實是相對來說有更多技術含量的事情。
大家知道現在的數據,所謂大數據,數據源有結構化,有非計劃數據,有各種數據處理的技術也是層出不窮,有處理這種結構化數據比較好的,要處理一些實時性數據比較強的技術。
這些梳理不同類型的數據,都會有不同的數據處理組合來處理,也需要有不同的數據架構和技術來支撐。
數據架構又有數據存儲和數據計算這兩塊。一般來說存儲對于一些性能的要求相對比較低,計算我們還是要跟整個業務場景來進行設計,所以這一塊可能更偏向于比較技術化的話題,我就不具體展開講了,這個部分需要比較非常專業的大數據工程師。
他屬于架構師和業務專家通力合作,才有可能把這樣的數據后臺搭的比較好,否則就會出現大量的數據質量問題,或者說數據計算效率不高。
策略中臺也是目前市場上極度稀缺,但是極其有價值,這個價值很大程度上可能會被大家低估。
舉個最常見的場景就是銷量預測。其實銷量預測我認為是零售的終極話題,很多的需求,歸根到底就是銷量預測。
這個商品,他到底大概能賣多少件?不同的門店能賣多少錢?不同的時間得賣多少斤,郊區的賣多少錢,我按不同的價格,我能賣多少斤,其實都是銷量問題。在這個問題上面,我們之前也就開始做了大概有差不多十年的時間,在和一些零售企業做銷量預測探索。的確是一個業界最復雜的難題,而且一般人在外面可能測也有點測不出。
這取決于幾個關鍵的要素,第一個是數據源,銷量預測決定準不準的主要因素就是你的數據源夠不夠全,這也是制約現在銷量預測在市場上,能夠達到大家所認為的非常核心的障礙,但是我相信這個答案是能夠隨著時間可以逐步被解決的。
第二個就是算力的問題。以前在包括分布式架構,云計算這些技術還沒有完全普及,在這個體系下,算力一直是銷量預測當中一個比較核心的瓶頸?,F在這一塊已經逐漸的隨著架構的完善,核算率的大幅提升和成本的大幅的降低,算力已經逐漸的不再是一個技術上的瓶頸了。
第三就是你的算法模型。這個也是在不斷的迭代和引進的,銷量預測有一些經典的模型,大家常見的一些序列,差距不大,趨勢波動等。有各種模型或者模型的組合,可以去對不同類型的商品進行銷量的預測。
整個的銷量預測,如果你能完美解決數據源算力和模型的迭代,你的銷量預測一定的準確度會逐步提升的。
我舉個例子:現在大部分所合作的伙伴,平均的銷量預測準確率大概是在百分之60。平均來看所有品類,有些品類肯定會高一點,高動銷的產品很高。其實還遠遠達不到80%以上,特別品類肯定是這個差更明顯,而且不同的時間也會有很大的差異。
我們目前所看到的,如果能夠應用起來這樣的一些內外部的數據源,因為以前我剛說60%主要還是基于現有的erp系統的模型所計算的。誤差還是相對比較大的。我們也做了大量的落地和實戰,總的平均水平大概可以減少實際銷量和預測銷量之間的差,可以減少20個百分點。
隨著一些AI視覺識別的技術發展期,可以進一步獲得更多的陳列排面等一些以往在門店里面很難采集到的數據。這些數據有了之后,再加入到這個模型里的話,會進一步的降低銷量預測的差率,進一步去和ERP打通,或者是取消ERP,進一步的讓整個捕獲情景能夠有一個更高的效率。本質上就是降低我的庫存周轉,然后降低我的庫存積壓,減少缺貨兩件事情之間作一個平衡,所以預測是個很大的話題。
在未來不管是哪一種類型的零售,預測都是一個可以探討的話題。目前還沒有深入去基于社交零售的產品銷量預測,但是我們在思考一些案例,有一些這方面的一些探索,所以它是一個終極話題,針對不同類型的零售,是最終的本質。
整個策略中臺里面除了銷量預測,還有一系列的核心可以基于高級的算法,復雜的人工智能算法去驅動關鍵的策略場景,比如說定價,這也是一個非常核心的決策要素。定價又非常復雜,又分成日常定價,促銷定價,生鮮定價,還有一些清倉的定價等等。
定價里面還涉及到促銷的機制。這些都是有大量的工作可以去通過這樣的一些算法去幫助我們把日常大家可能是通過一些比較簡單的邏輯,或者商業邏輯來進行的價格的定義,變得更加的科學性。
這里面一定是人機結合的,比如說我推薦500個商品的價格策略,你可能會接受里面的200個,另外300個還是按照自己人工的經驗,因為目前算法是沒有辦法100%準確的,這是不可能的事情,但是我們也不能忽略它長期的迭代和價值的創造。
03
另外一個核心的場景,就是商品的陳列和陳列邏輯、顧客的決策樹,這跟品類管理相關,也是一個非常重要的策略性基于算法來指導和支持前臺業務動作當中品類管理和品類調整。
這里面也是可以基于大數據,還有一些饑餓策略分類聚類的算法,指導不同的品類采購,去聯合供應商一起來進行大數據的分析,通過分析商品之間的關聯性和替代性,幫助決定到底每個品類陳列的邏輯和場內的決策樹是怎么樣的。
還有就是個性化推薦,這個是非常成熟的機器學習的應用了。亞馬遜通過個性化推薦,是它的一個核心的技術引擎,創造了大量的銷售和用戶的忠誠度,國內的互聯網公司也都在這塊投入巨大。
所以策略中臺里面非常核心的業務場景,簡單來總結一下,就是在整個策略平臺上,對于零售最相關的、對商場來說可能最有用的、最有價值的幾個核心的策略,策略中臺里的輸出的是銷量預測,智能定價,個性化推薦的算法,還有品類管理里面的算法,他們共同形成的策略平臺,就可以覆蓋到我們零售當中的主要場景。
從上品到促銷到備貨,到會員的忠誠度管理,形成一個相對比較完整的從前到后的的一個策略平臺的支撐。整個業務前臺一定也是要跟整個策略中臺緊密關聯的。
最重要的是這個事情要一個一個的點開始,任何企業他很難上來就把整套東西完全用上,馬上出效果,這個是不現實的。整個的數字化引進,是一個螺旋上升的過程,從整個技術搭建到運營,讓內部的組織能夠用起來,然后再到后續的迭代,包括流程上,還有算法上的迭代,都有一個相對比較長的過程。
千萬不要想有一些場景,可以有比較明顯的短期效果。特別是在促銷這一塊,整個環節很難完全百分之百。因為你要做很多歸因的分析,才能看到,整個的評估效果,是現在大家普遍欠缺的。
要有一個長線的思維,整個數字化中臺,不管他叫什么,他要做中臺到最后我們都是希望用一個數字化的手段來驅動我們的業務。這件事情它是一個長期的系統化的工程。
我們和一些客戶合作了兩三年,稍微長一點的兩三年甚至三年左右的,就是從這樣的順序,從前往后走的,從前面的偏會員和促銷的場景,慢慢的開始往中間的貨架空間運營,再往后面銷量預測供應鏈。
從前往后來走,從見效的方式來說是比較好的。特別是大家現在都想做品類管理,要做商品選品,如果前面的事情不做好的話,走到這一步是挺難的。一是他需要數據,需要市場數據,需要更大的數據,沒有大數據品類,都是挺困難的,當然有很多方法,大家都在用爬蟲,或者是一些外部的數據,各種不知道怎么來的數據。
整個的閉環鏈路里面,前面的這個部分見效會更快,相對來說還是需要有更多的數據源之后,才有可能有更大的增效。
數據中臺這個事情肯定要做,但是還是有一些相對比較輕的方案。總的建議小步快跑不一定要花上千萬,甚至幾千萬來做一個數據的平臺。
數據中臺是很有價值的一個東西,只是說怎么去平衡時間投入和價值產出的問題。
作者:孫賢杰,哈步數據創始人;公眾號:鮑躍忠新零售論壇
本文由 @鮑躍忠新零售論壇 原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于CC0協議
寫的太好了
“策略中臺”這個,確實比什么“數據中臺”要聽起來中聽和可用多了。后臺造錘子,中臺擺錘子,前臺用錘子。
文章有深度,看一遍理解的不多 ?