雖然從市場用戶調研到互聯網電商平臺產品設計，再到上線運營推廣，覆蓋的面很寬，但我仔細對整個互聯網電商平臺知識體系梳理了一遍，其中，最為關鍵和難度最高的就是個性化推薦系統、搜索和大數據系統，其實不難看出，個性化推薦系統和搜索底層都是基于大數據，所以最終各條產品線和技術都歸集到大數據系統上，后續我會逐一對每個難點進行分析，本篇就針對用戶個性化推薦系統設計進行分享。

通過對多個大型互聯網電商平臺的跟蹤研究，個性化智能推薦系統設計建設由三步構成：第一建立平臺用戶行為的召回模型，維度基于用戶歷史行為數據召回、用戶偏好召回和用戶地域召回來實現，用戶歷史行為數據召回基于用戶歷史瀏覽、點擊、購買、評論、分享、收藏、關注等觸點，分類推薦在線相關、在線相似、離線相關、離線相似行為；基于用戶偏好召回是基于用戶歸類畫像與平臺多屏互通融合；基于用戶地域召回是基于用戶地域的網格化來實現地域行為推薦算法；第二是召回模型匹配算法，利用高斯邏輯回歸及多維算法來得出與用戶召回行為的匹配商品及廣告信息；第三是平臺針對匹配模型推薦結果的排序算法，基于用戶交互日志通過模型訓練特征權重，采用排序算法來實現自動匹配個性化推薦。在系統實現技術架構上，為支撐個性化推薦系統平均至少每周進行算法迭代，采用HBase、Spark及MapReduce等系統架構，在個性化推薦系統優化升級中，與DNN融合的速度越來越快。

個性化智能推薦最終的目標就是讓一個普通訪問電商平臺的用戶，在進入平臺頁面時，系統能夠根據用戶日常的行為偏好和習慣，用戶心理想要購買的商品，在還沒有發生點擊行為時，系統能自動推薦到用戶訪問的頁面，提升平臺用戶下單轉化率。即使在用戶沒有訪問平臺時，企業通過與用戶日常瀏覽互聯網行為軌跡的平臺進行聯盟合作，在聯盟平臺推送用戶希望購買的商品廣告和鏈接，刺激和引導用戶點擊購買。即使在用戶沒有打開電腦時，能夠通過信息和郵件的方式，根據用戶平常的購買頻次和周期，在特定的時間推送到用戶手機和電腦。

平臺前端實現用戶千人千面，而后端需要建立復雜的用戶全網行為數據采集、存儲加工、數據建模和用戶畫像過程，單純采集互聯網電商平臺數據，僅能達到個性化推薦效果的40%左右，如果要提升個性化推薦的效果，就必須覆蓋用戶全網行為軌跡，甚至用戶線下的行為軌跡，這就形成了以互聯網電商平臺為核心的生態系統，也能說明阿里、騰訊為什么要控股或收購各行業企業的原因。

1、用戶行為數據采集

首先需要在采集的互聯網平臺進行埋點，在頁面放置“蜘蛛”探針、采集業務系統所有訪問和操作日志、從數據庫中提取業務數據，采集回來存儲在數據倉庫，采集服務器組負責將采集到的日志信息生成文件，落地到存儲設備；ETL服務器負責將日志文件和結構化數據導入Hadoop分析集群，并將分析結果導出到Oracle數據庫；數據解析服務器負責連接Hadoop環境，完成數據分析各項計算；Hadoop和Hive提供數據分布式存儲和計算的基礎框架；調度實現以上數據導入、分析和結果導出的所有任務的統一調度；數據展示服務器負責數據分析結果的多種形式展現。

目前做大數據平臺的公司，大多數采集的數據指標和輸出的可視化報表，都存在幾個關鍵問題：

1. 采集的數據都是以渠道、日期、地區統計，無法定位到具體每個用戶；
2. 計算統計出的數據都是規模數據，針對規模數據進行挖掘分析，無法支持；
3. 數據無法支撐系統做用戶獲客、留存、營銷推送使用；

所以，要使系統采集的數據指標能夠支持平臺前端的個性化行為分析，必須圍繞用戶為主線來進行畫像設計，在初期可視化報表成果基礎上，將統計出來的不同規模數據，細分定位到每個用戶，使每個數據都有一個用戶歸屬。將分散無序的統計數據，在依據用戶來銜接起來，在現有產品界面上，每個統計數據都增加一個標簽，點擊標簽，可以展示對應每個用戶的行為數據，同時可以鏈接到其他統計數據頁面。由此可以推導出，以用戶為主線來建立數據采集指標維度：用戶身份信息、用戶社會生活信息、用戶資產信息、用戶行為偏好信息、用戶購物偏好、用戶價值、用戶反饋、用戶忠誠度等多個維度，依據建立的采集數據維度，可以細分到數據指標或數據屬性項。

① 用戶身份信息維度

性別，年齡，星座，居住城市，活躍區域，證件信息，學歷，收入，健康等。

② 用戶社會生活信息維度

行業，職業，是否有孩子，孩子年齡，車輛，住房性質，通信情況，流量使用情況……

③ 用戶行為偏好信息

是否有網購行為，風險敏感度，價格敏感度，品牌敏感度，收益敏感度，產品偏好，渠道偏好……

④ 用戶購物偏好信息

品類偏好，產品偏好，購物頻次，瀏覽偏好，營銷廣告喜好，購物時間偏好，單次購物最高金額……

⑤ 用戶反饋信息維度

用戶參與的活動，參與的討論，收藏的產品，購買過的商品，推薦過的產品，評論過的產品……

用戶畫像標題體系設計

通過建立的用戶行為數據采集指標體系后，將其再細分到數據屬性值，進入這個環節，就需要依賴各種建立的數據模型或函數算法，來對平臺用戶進行特征提取分析，計算出用戶對應的畫像數據值，這才是用戶畫像過程中最為關鍵的環節。舉個例子：如果一個用戶訪問瀏覽一個電商平臺，注冊時沒有填寫性別，平臺如何通過用戶產生的訪問瀏覽行為，來計算出用戶的性別。絕大多數電商平臺都是通過用戶的瀏覽商品，為其推薦相同或相關的商品或相關商品類目商品，用戶瀏覽了連衣裙，并不能說明用戶就是女性，因此，要能夠更加準確的向用戶推薦個性化商品，就必須通過數據特征提取，函數算法來計算出用戶的性別。

2、數據存儲加工

用戶行為數據采集后，需要存儲在數據倉庫，對采集的原始數據進行ETL加工處理，首先需要處理掉存儲的無效重復數據，對于用戶行為沒有影響或重復數據，對非結構化數據和半結構化數據進行結構化處理，并對數據進行補缺、替換、數據合并、數據拆分、數據加載和異常處理。（這個環節更多是技術程序處理）

3、數據建模及用戶特征提取、用戶畫像

對于加工處理后的用戶行為數據，利用開源的機器學習分類器包，調用封裝好的各種數據函數，神經網絡、支持向量機、貝葉斯等對數據進行聚類、分類和預測，根據第一步設計的用戶畫像標簽體系，對訪問平臺的用戶計算行為特征值，用戶特征提取并不是針對所有的標簽維度，對于優先關鍵標簽，如果從用戶數據庫查詢不到特征值，就需要調用R函數對其進行計算，最終得出每個標簽維度的特征值，依據特征屬性值，就可以對用戶進行畫像處理。

按照用戶屬性和行為特征對全部用戶進行聚類和精細化的客戶群細分，將用戶行為相同或相似的用戶歸類到一個子庫，這樣就可以將電商平臺所有的用戶劃分為N個不同子庫，每個子庫用戶擁有相同或相似的行為特征，到這一步，電商平臺就可以按照不同子庫行為對其進行個性化智能推薦。

目前國內主流電商平臺，在進行個性化智能推薦系統升級過程，都在逐步向DNN滲透和擴展，也是未來個性化智能推薦必經之路。在現有用戶畫像、用戶屬性打標簽、客戶和營銷規則配置推送、同類型用戶特性歸集分庫模型基礎上，未來將逐步擴展機器深度學習功能，通過系統自動搜集分析前端用戶實時變化數據，依據建設的機器深度學習函數模型，自動計算匹配用戶需求的函數參數和對應規則，推薦系統根據計算出的規則模型，實時自動推送高度匹配的營銷活動和內容信息。

歸根結底，無論是做個性化智能推薦還是大數據進行研究探索，最終都是要達到讓系統更加智能的準確識別和推送用戶心理想要的產品或內容，也就是互聯網平臺與用戶前端交互的效果，使系統具有人類大腦的效果，更加智能、甚至學會思考。

作者簡介：劉永平 ，10年以上互聯網電商、互聯網金融項目實操經驗，任職產品總監，產品咨詢專家，曾親自主導參與項目超過15個，10個以上從0到1實操經驗。

免責聲明：本文是作者通過多年項目實操，積累分享的干貨，全部屬于原創，如需轉載分享，必須注明作者和出處，并關注微信公眾號“互聯網金融干貨”，微信號：WYGH188，如沒有注明作者和出處，會追究法律責任。

本文由 @劉永平 原創發布于人人都是產品經理?，未經許可，禁止轉載。