AI產品經理,要如何搭建AI數據中臺?
AI中臺是一個用來構建大規模智能服務的基礎設施,對企業需要的算法模型提供了分步構建和全生命周期管理的服務,讓企業可以將自己的業務不斷下沉為一個個算法模型,以達到復用、組合創新、規?;瘶嫿ㄖ悄芊盏哪康?。
什么是AI數據中臺?
在以往,企業數據管理都以傳統的IT架構為基礎。當技術部門為業務部門解決問題時,需要從業務需求的探查、技術壁壘的打通等從上到下各個方面來建設新系統。每個系統的建成都自成一體,也就是煙筒構架,每個部門各自滿足業務部門的需求。
這種構架不僅耗費各部門大量的精力也使得各個系統難以打通管理,無法形成更強大的數據能力,同時,對數據進行維護的工作量也非常大。但是在如今人工智能變革過程中,數據的獲取和使用無疑成為了智能程度高低的瓶頸,所以能不能建立AI數據中臺,意味著你的智能系統成敗的關鍵。
現在的數據中臺是全新的架構變革。一切業務數據化,一切數據業務化,是AI時代的標配。5G技術的發展,可能會進一步放大視圖聲數據的重要性。
不管從數據量的增長、數據處理技術的進步,還在站在企業對數據中臺的認知來說,?AI數據中臺搭建都是每個企業必須要考慮的。AI中臺是一個用來構建大規模智能服務的基礎設施,對企業需要的算法模型提供了分步構建和全生命周期管理的服務,讓企業可以將自己的業務不斷下沉為一個個算法模型,以達到復用、組合創新、規?;瘶嫿ㄖ悄芊盏哪康?。
什么是AI數據中臺?首先它不是一個平臺,也不是一個系統,AI數據中臺包含先進技術,但不僅僅是技術,更重要的是依托先進技術,利用其所擁有的核心資源,構建生態向心力,所以說AI數據中臺是一種能力。
AI 數據中臺整體架構
數據中臺對一個企業,起著至關重要的作用,各個業務系統經年累月以煙囪架構形式存在而導致的數據孤島、數據隔離、數據不一致等等。因為這些問題實在是過于繁雜,因此數據倉庫、數據湖、主數據治理等一系列的工作職能應運而生。
這樣的數據治理工作在進行了很多年后,數據中臺這個概念逐漸有人提出了,阿里的《企業IT轉型直到:阿里巴巴中臺戰略思想與架構實踐》這本書更是對這個概念做了一次普及。
現在我們發現,深度學習、機器學習等等一系列技術開始在這個平臺下起到作用的時候。AI中臺開始落地實施,AI中臺是數據中臺的進一步延伸,從數據中臺一步一步演進過去。
AI中臺是一個用來構建大規模智能服務的基礎設施,對企業需要的算法模型提供了分步構建和全生命周期管理的服務,讓企業可以將自己的業務不斷下沉為一個個算法模型,以達到復用、組合創新、規模化構建智能服務的目的及業務賦能的作用。
簡單來說,一個企業各個應用源源不斷的產生數據,各個業務模塊的數據匯總,經過統一的清洗、歸類、糾錯、標注、定義、顆?;皹嫿ㄋ饕?,形成數據中臺。再根據各類算法及機器學習,從而形成企業的AI中臺??蓪ν廨敵鰶Q策能力、算法模型、功能模型及業務能力,這就是一個簡單的AI中臺模型。
AI 數據中臺解決的問題,可以總結為五點
- 效率問題:人工智能本質上,是要解決效率問題。在人工智能時代,體力活或者技術型的勞動不再需要人去做,因為平臺數據割裂,互為一體,用戶數據分散存儲,有存儲用戶性別的數據。但是另外的應用無法調用,需要用戶再次輸入,重復操作。效率降低。
- 協作問題:各應用之間的協作在大企業中很常見,協作的前提是能夠互通有無,但是如果不知道對方有哪些可以幫到自己,溝通過程中就會出現需求不明確現象,當建立AI數據中臺后就可以打破窗戶紙,協作更加順暢。
- 關聯度問題:一個完整的用戶畫像需要多方位的數據信息,例如可以根據根據用戶點餐的習慣,可以判斷ta的日常飲食習慣,結合用戶的瀏覽的租房內容可以判斷ta的消費檔次,再結合投遞職位的薪資,我們可以計算出ta的基本收入,只有數據豐富才有可能形成智能。
- 能力問題:數據中臺并非把數據堆到一起,那不叫AI數據中臺,做數據挖掘后你會發現,這些數據可以為每個單獨的業務模塊賦能,也就是說通過各個業務模塊提供的數據,整理挖掘后再為各個業務提供之前沒有的能力。
- 時效問題:數據有價值,實時數據更有價值,在沒有AI數據中臺前,無法做到數據通信的時效性,當有了AI數據中臺后時效性的數據會成為企業決策和產品能力提升的關鍵因素。
AI數據中臺團隊
搭建AI數據中臺需要有一個獨立的團隊,能夠對所有業務的數據做統一梳理、歸納。其中必不可缺的角色包括:
- 數據產品經理:數據產品經理這個職位,其實很跨界:需要懂程序,做數據收集及清洗;需要懂產品,了解內外部用戶需求和理解市場;需要懂數據,用數據的方式證明、證偽及發現問題。數據產品經理既要完成數據體系設計,讓原本無序或龐雜的數據變得“規矩”,又要根據業務場景的變化,不斷調整項目內容,推進項目進度。所以說數據產品經理是搭建AI數據中臺的整體把控者。
- 業務專家團隊:了解業務、梳理業務場景,確定數據資產與業務場景的一一對應關系,確定業務場景的優先級,為數據中臺的建設提供依據,使得產品符合邏輯。
- 數據工程團隊:建設和維護數據中臺,包括 ETL、數據采集,以及數據中臺性能和穩定性保證,利用中臺的工具采集、存儲、加工、處理數據。
- 數據分析團隊:分析數據價值、探索場景,生產更多的數據服務。
- 數據治理團隊:梳理數據標準、構件數據安全和隱私規范,利用開源去中心化的數據治理工具來圍繞業務場景解決數據質量和安全問題。就類似每個程序員要配備兩個測試員一樣,數據治理同樣重要。
- 智能算法團隊:為數據分析、業務探索提供智能和算法工具。實現中臺的AI化。
AI 數據中臺中的產品經理定位
- 數據都是有用的:所有數據都是有用的,凡是用戶留下的數據包括停留時長、觸達頁面,頁面熱區等,都是有用的,盡可能的保留用戶所有痕跡。在不同的場景下數據的需求維度不一樣,不同的數據組合可以幫助你構建不同的算法模型。
- 培養大數思維:數據產品經理必須具備大數思維,因為你要處理的數據量級都是超大的,如果你處理的是文本數據量是1億條,那么有5000條的錯誤率,要不要忽略,0.005%,這是可以忽略的,但是5000的量級在傳統的產品中一般是不可忽略的。數據是相對的,培養大數思維會少做好多無用功。
- 不要相信知覺,相信結果:在處理數據中不要單憑自己看到的一部分數據量而判斷所有的數據集,不要感覺某些數據是不是有用,是不是需要標注。要不斷的去測試調優,要相信最終的結果。
- 數據隱私問題:如果系統自動推送一個你感興趣的廣告產品,有的人會理解很貼心,正好符合我的需求,很多人會覺得嚇一跳:它怎么知道我喜歡這個?要想獲得更好的體驗必須犧牲個人隱私,這到底是不是一個必要條件。個人感覺這個問題必將被技術解決,任何技術產品的問題最終會被其他技術解決?,F階段的產品經理只有做到依靠現有的脫敏等技術手段及道德底線來維護現有用戶的數據隱私問題。
總結
AI發展必需依靠算法、數據和算力三方面的組合才能有更好的效果,現階段算力需要硬件的突破,算法的進步需要更多的算法工程師的努力才能有突破。能否高效的利用數據是各大公司的差距所在,AI數據中臺無疑是解決這個問題的最優解。率先搭建持續優化,也許可以幫助大企業在智能化方向上有個大的進步。
作者:老張,宜信集團保險事業部智能保險產品負責人,運營軍師聯盟創始人之一,《運營實戰手冊》作者之一。
本文由 @老張 原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自 Pixabay,基于 CC0 協議。
哥們兒可以啊,生生的造了個概念出來,然而并沒看出來有啥言之鑿鑿的新鮮的東西
不太理解。數據在中臺中起到什么作用?訓練算法嘛?還是算法為數據整理提供支持?
厲害總結的很到位
到位