一文了解 AI 商品模型訓(xùn)練平臺(tái)
AI平臺(tái)的初衷永遠(yuǎn)是提高開發(fā)效率,加快算法迭代周期。通過產(chǎn)品化AI技術(shù),讓運(yùn)營人員能夠更貼近技術(shù),更好地指導(dǎo)賦能業(yè)務(wù)場景,給客戶帶來更好的技術(shù)體驗(yàn)和產(chǎn)品體驗(yàn)。
本文是2020年的正式第一文,介紹了人工智能領(lǐng)域深度學(xué)習(xí)平臺(tái)的相關(guān)信息,內(nèi)容包括:AI平臺(tái)的基本介紹、系統(tǒng)架構(gòu)、實(shí)現(xiàn)難點(diǎn)和相關(guān)能力。
接下來,圍繞著作者自身搭建商品模型訓(xùn)練平臺(tái)案例,分享相關(guān)設(shè)計(jì)經(jīng)驗(yàn),內(nèi)容包括:業(yè)務(wù)場景、訓(xùn)練平臺(tái)系統(tǒng)架構(gòu)的規(guī)劃、數(shù)據(jù)和模型中心、投產(chǎn)比問題和相關(guān)總結(jié)。
一、關(guān)于AI平臺(tái)
1.1 AI平臺(tái)介紹
AI模型訓(xùn)練平臺(tái),基于核心模塊和應(yīng)用場景不同,又可以稱作深度學(xué)習(xí)平臺(tái)、機(jī)器學(xué)習(xí)平臺(tái)、人工智能平臺(tái)(以下統(tǒng)稱做AI平臺(tái))。
AI平臺(tái)提供業(yè)務(wù)到產(chǎn)品、數(shù)據(jù)到模型、端到端,線上化的人工智能應(yīng)用解決方案。
用戶在AI平臺(tái)能夠使用不同的深度學(xué)習(xí)框架進(jìn)行大規(guī)模的訓(xùn)練,對(duì)數(shù)據(jù)集和模型進(jìn)行管理和迭代,同時(shí)通過API和本地部署等方式接入到具體業(yè)務(wù)場景中使用。
簡單理解,AI平臺(tái)=AI SAAS+(PAAS)+(IAAS)。
以下是騰訊DI-X和阿里PAI平臺(tái)的介紹:
DI-X(Data Intelligence X)是基于騰訊云強(qiáng)大計(jì)算能力的一站式深度學(xué)習(xí)平臺(tái)。它通過可視化的拖拽布局,組合各種數(shù)據(jù)源、組件、算法、模型和評(píng)估模塊,讓算法工程師和數(shù)據(jù)科學(xué)家在其之上,方便地進(jìn)行模型訓(xùn)練、評(píng)估及預(yù)測。
阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI(Platform of Artificial Intelligence),為傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)提供了從數(shù)據(jù)處理、模型訓(xùn)練、服務(wù)部署到預(yù)測的一站式服務(wù)。
使用AI平臺(tái),能夠簡化開發(fā)人員對(duì)數(shù)據(jù)預(yù)處理和管理、模型訓(xùn)練和部署等繁瑣的代碼操作,加快算法開發(fā)效率,提高產(chǎn)品的迭代周期;并且通過AI平臺(tái)能整合計(jì)算資源、數(shù)據(jù)資源、模型資源,使用者能對(duì)不同資源進(jìn)行復(fù)用和調(diào)度。
開放AI平臺(tái)后,也能有效進(jìn)行商業(yè)化,對(duì)企業(yè)所處領(lǐng)域的AI業(yè)務(wù)生態(tài)環(huán)境有一定的推動(dòng)和反饋。
國內(nèi)外相關(guān)的AI平臺(tái)有:
國內(nèi):
- 華為ModelArts
- 阿里云 PAI
- 百度 Paddle Paddle
- 騰訊 DI-X深度學(xué)習(xí)平臺(tái)
- 金山云 人工智能平臺(tái)
- qingcloud 人工智能平臺(tái)
- 京東 JDAINeuFoundry
- 小米Cloud-ml平臺(tái)
國外:
- Microsoft Azure Machine Learning
- AWS Machine Learning
- Google Cloud Platform
1.2 AI平臺(tái)系統(tǒng)架構(gòu)
基于一個(gè)企業(yè)整體系統(tǒng)的架構(gòu)來看,AI平臺(tái)可視為業(yè)務(wù)的技術(shù)支撐中臺(tái)之一 (平行于數(shù)據(jù)中臺(tái)),起到承上啟下(承載業(yè)務(wù),對(duì)接技術(shù)底層)的作用。
若一個(gè)企業(yè)當(dāng)前已有數(shù)據(jù)中臺(tái),則可將數(shù)據(jù)中臺(tái)作為AI中臺(tái)的數(shù)據(jù)輸入和數(shù)據(jù)輸出系統(tǒng)對(duì)象,AI中臺(tái)作為業(yè)務(wù)前臺(tái)的模型和算法供給平臺(tái)。若業(yè)務(wù)前臺(tái)有AI需求(如圖像識(shí)別、語義識(shí)別、商品推薦等),算法運(yùn)營團(tuán)隊(duì)則通過在AI平臺(tái)對(duì)模型的訓(xùn)練迭代以支持。
根據(jù)企業(yè)不同的規(guī)模、資源和業(yè)務(wù)場景,其AI平臺(tái)會(huì)有不一樣的定位。
例如AI和數(shù)據(jù)可同為一個(gè)中臺(tái)、AI平臺(tái)可視為業(yè)務(wù)中臺(tái)一部分、AI平臺(tái)整合進(jìn)技術(shù)中臺(tái)或后臺(tái)等。規(guī)模較小、資源有限的企業(yè)通常會(huì)選擇使用第三方AI平臺(tái)對(duì)業(yè)務(wù)進(jìn)行服務(wù),而非自建AI平臺(tái)。
企業(yè)架構(gòu)示例:AI平臺(tái)作為AI中臺(tái)
關(guān)于AI平臺(tái)自身的架構(gòu)設(shè)計(jì),各第三方平臺(tái)都大同小異,主要是技術(shù)架構(gòu)上的不同,暫時(shí)沒有必要去深入研究。
這里以京東NeuFoundry神鑄項(xiàng)目系統(tǒng)架構(gòu)為例,初探一二:
NeuFoundry平臺(tái)架構(gòu)圖
NeuFoundry基礎(chǔ)設(shè)施層采用Docker容器進(jìn)行算力資源的池化,通過Kubernetes進(jìn)行整體的資源管理、資源分配、任務(wù)運(yùn)行、狀態(tài)監(jiān)控等,平臺(tái)集成了MySQL、Redis、MQ等多種中間件服務(wù),通過數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型發(fā)布,生成自定義的AI能力,為各行各業(yè)的業(yè)務(wù)服務(wù)提供有力的支撐。
1.3 AI平臺(tái)實(shí)現(xiàn)難點(diǎn)
1)大數(shù)據(jù)處理問題
在當(dāng)前階段,AI底層技術(shù)原理決定了“有多少數(shù)據(jù),模型能力就有多好”的情況。同時(shí),企業(yè)在日常業(yè)務(wù)運(yùn)行中會(huì)不斷產(chǎn)生新數(shù)據(jù)。
當(dāng)數(shù)據(jù)需求和客觀數(shù)據(jù)量都很大,大數(shù)據(jù)的管理和處理能力對(duì)于一個(gè)AI平臺(tái)來說是最基礎(chǔ)的能力,開發(fā)人員需要結(jié)合AI模型訓(xùn)練任務(wù)的制定合理的數(shù)據(jù)調(diào)度方案,同時(shí)對(duì)數(shù)據(jù)進(jìn)行生命周期的管理(如定期的刪除冗余數(shù)據(jù)、不規(guī)則數(shù)據(jù))。
2)分布式計(jì)算
大數(shù)據(jù)的處理、模型的訓(xùn)練都十分消耗資源。如果業(yè)務(wù)場景復(fù)雜,模型訓(xùn)練時(shí)間長或者樣本規(guī)模大,超過單臺(tái)服務(wù)器能力時(shí),需要支持分布式訓(xùn)練。
微博深度學(xué)習(xí)訓(xùn)練集群的解決方式是:
以TensorFlow分布式運(yùn)行方式為例進(jìn)行說明,如圖5所示。
一個(gè)TensorFlow分布式程序?qū)?yīng)一個(gè)抽象的集群,集群(cluster)由工作節(jié)點(diǎn)(worker)和參數(shù)服務(wù)器(parameter server)組成。工作節(jié)點(diǎn)(worker)承擔(dān)矩陣乘、向量加等具體計(jì)算任務(wù),計(jì)算出相應(yīng)參數(shù)(weight和bias),并把參數(shù)匯總到參數(shù)服務(wù)器;參數(shù)服務(wù)器(parameter server)把從眾多工作節(jié)點(diǎn)收集參數(shù)匯總并計(jì)算,并傳遞給相應(yīng)工作節(jié)點(diǎn),由工作節(jié)點(diǎn)進(jìn)行下一輪計(jì)算,如此循環(huán)往復(fù)。
3)AI平臺(tái)實(shí)現(xiàn)的最大瓶頸
在于企業(yè)對(duì)AI平臺(tái)投產(chǎn)比的權(quán)衡(頂層、中層、執(zhí)行層對(duì)AI平臺(tái)的價(jià)值認(rèn)知),這一點(diǎn)會(huì)在下文重點(diǎn)說明 。
1.4 AI平臺(tái)相關(guān)能力
AI平臺(tái)不僅需要提供AI開發(fā)流程所需基礎(chǔ)技能,還需針對(duì)不同的用戶(產(chǎn)品經(jīng)理、運(yùn)營人員、算法工程師……)、不同的客戶(大企業(yè)、中小企業(yè)、傳統(tǒng)企業(yè)、科技企業(yè)……)提供對(duì)應(yīng)所需服務(wù)。
我將AI平臺(tái)能力分為以下五類:
- 數(shù)據(jù)能力:數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理(ETL)、數(shù)據(jù)集管理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)增強(qiáng)……
- 模型能力:模型管理、模型訓(xùn)練、模型驗(yàn)證、模型部署、模型處理、模型詳情……
- 算法能力:支持各種算法、深度學(xué)習(xí)、數(shù)據(jù)運(yùn)算處理框架、預(yù)置模型、算法調(diào)用、對(duì)算法組合操作……
- 部署能力:多重部署方式、在線部署、私有化部署、邊緣端部署、灰度/增量/全量部署……
- 其他能力:AI服務(wù)市場、工單客服、權(quán)限管理、工作流可視化……
華為ModelArts平臺(tái)技能
二、AI商品模型訓(xùn)練平臺(tái)設(shè)計(jì)經(jīng)驗(yàn)分享
2.1 業(yè)務(wù)場景
在日常經(jīng)營的過程中,每個(gè)新的商品都需要進(jìn)行數(shù)據(jù)采集、標(biāo)注,隨后將數(shù)據(jù)扔進(jìn)對(duì)應(yīng)模型文件進(jìn)行訓(xùn)練,其中涉及非常多重復(fù)且繁瑣的工作問題。
將數(shù)據(jù)采集處理到模型訓(xùn)練部署的流程平臺(tái)化,能夠極大提升開發(fā)效率,讓運(yùn)營人員和算法人員更好地分別針對(duì)場景和模型進(jìn)行管理。
而且,數(shù)據(jù)、模型(可線上使用)對(duì)于企業(yè)來說是最核心的技術(shù)資源,不過初期一直處在黑匣子狀態(tài),只有算法人員可接觸和查看。所以在業(yè)務(wù)發(fā)展到達(dá)一定的階段時(shí),就需要開始對(duì)其進(jìn)行有效管理。
本文的AI平臺(tái),主要服務(wù)零售行業(yè)商品模型訓(xùn)練的業(yè)務(wù)場景,故稱作AI商品模型訓(xùn)練平臺(tái)。
2.2 系統(tǒng)架構(gòu)
綜合資源、場景、服務(wù)效率、商業(yè)化等多個(gè)維度去考量,作者設(shè)計(jì)的商品模型訓(xùn)練平臺(tái)主要以數(shù)據(jù)中心和模型中心兩大核心子系統(tǒng)組成,一方面可以以最小的開發(fā)資源實(shí)現(xiàn)涵蓋了當(dāng)前業(yè)務(wù)所需要的核心流程和個(gè)性化流程,另一方面也有利于平臺(tái)后續(xù)的能力拓展和進(jìn)行商業(yè)化。
AI商品模型訓(xùn)練平臺(tái)
數(shù)據(jù)中心主要服務(wù)3點(diǎn)數(shù)據(jù)管理業(yè)務(wù)需求:數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)評(píng)估。其中涉及能力有數(shù)據(jù)集獲取、數(shù)據(jù)集管理、數(shù)據(jù)增強(qiáng)、增強(qiáng)策略配置、數(shù)據(jù)標(biāo)注、標(biāo)注任務(wù)系統(tǒng)、半自動(dòng)標(biāo)注等。
模型中心主要服務(wù)3點(diǎn)模型管理業(yè)務(wù)需求:模型訓(xùn)練和驗(yàn)證、模型管理、模型部署。其中涉及能力有模型訓(xùn)練、參數(shù)配置、訓(xùn)練任務(wù)管理、訓(xùn)練狀態(tài)可視化、模型文件管理、模型版本管理、模型狀態(tài)管理、模型操作、模型處理、模型處理策略管理、模型部署、部署業(yè)務(wù)管理等。
接下來,針對(duì)核心的業(yè)務(wù)需求逐一說明解決方案。
2.3 數(shù)據(jù)中心
2.3.1 數(shù)據(jù)獲取
AI模型訓(xùn)練的第一步是對(duì)數(shù)據(jù)的獲?。ù颂幍臄?shù)據(jù)都為圖片數(shù)據(jù))。
數(shù)據(jù)的采集可以通過線下構(gòu)建對(duì)應(yīng)業(yè)務(wù)場景需要的環(huán)境進(jìn)行拍攝采集,也可以通過平臺(tái)內(nèi)已有數(shù)據(jù)(線上數(shù)據(jù)、舊數(shù)據(jù))、第三方數(shù)據(jù)(通過開源、付費(fèi)購買、爬蟲爬取多多種形式)獲取。
- 線上數(shù)據(jù)集的處理:多采用badcase,重新標(biāo)注、增強(qiáng)。
- 爬取數(shù)據(jù)集:爬取公開渠道如百度圖片的對(duì)應(yīng)label數(shù)據(jù)集,并區(qū)分可用不可用。
因數(shù)據(jù)集都為圖片數(shù)據(jù),并且模型是基于深度學(xué)習(xí)技術(shù)構(gòu)建,故涉及到數(shù)據(jù)ETL、特征工程等一些處理暫時(shí)不需要,后續(xù)可根據(jù)業(yè)務(wù)場景和應(yīng)用技術(shù)的拓展,在技術(shù)架構(gòu)和平臺(tái)架構(gòu)補(bǔ)充上對(duì)應(yīng)的能力。
數(shù)據(jù)集獲取完成后,可以將數(shù)據(jù)按照不同的類型存放,通過數(shù)據(jù)集管理頁面進(jìn)管理。
數(shù)據(jù)類型可以按照不同的維度區(qū)分:
1)以標(biāo)品和非標(biāo)品區(qū)分
- 標(biāo)品數(shù)據(jù):標(biāo)品靜態(tài)狀態(tài)數(shù)據(jù)、標(biāo)品動(dòng)態(tài)狀態(tài)數(shù)據(jù);
- 非標(biāo)品數(shù)據(jù):標(biāo)品多角度數(shù)據(jù)、標(biāo)品靜態(tài)狀數(shù)據(jù)、標(biāo)品動(dòng)態(tài)狀態(tài)數(shù)據(jù)、其他異常情況數(shù)據(jù)。
2)以數(shù)據(jù)來源渠道區(qū)分
- 線下:構(gòu)建不同的場景(靜態(tài)動(dòng)態(tài))進(jìn)行拍攝采集;
- 線上:平臺(tái)內(nèi)已有數(shù)據(jù)(線上數(shù)據(jù)、舊數(shù)據(jù))、第三方數(shù)據(jù)(開源數(shù)據(jù)集、付費(fèi)數(shù)據(jù)集、爬取數(shù)據(jù)集)。
3)以數(shù)據(jù)格式區(qū)分
圖片、視頻、其他格式(2d、3d)。
4)以數(shù)據(jù)使用性區(qū)分
基本數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)集(含標(biāo)注)、驗(yàn)證數(shù)據(jù)集、異常數(shù)據(jù)集、自定義數(shù)據(jù)集。
數(shù)據(jù)集應(yīng)當(dāng)有生命周期的管理和備注信息,以免在運(yùn)營一段時(shí)間后數(shù)據(jù)量雜亂冗余。
2.3.2 數(shù)據(jù)處理
部分場景的模型訓(xùn)練前,需要對(duì)數(shù)據(jù)進(jìn)行不同程度、不同方案的增強(qiáng)。運(yùn)營人員或算法人員可以在數(shù)據(jù)增強(qiáng)的頁面上,選擇對(duì)應(yīng)的數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)策略,對(duì)數(shù)據(jù)進(jìn)行增強(qiáng),增強(qiáng)后的數(shù)據(jù)集將會(huì)同步以原數(shù)據(jù)的子文件形式,在數(shù)據(jù)集管理中以“增強(qiáng)數(shù)據(jù)集”類型展示。
同時(shí),為適應(yīng)多種業(yè)務(wù)場景和加快數(shù)據(jù)增強(qiáng)實(shí)驗(yàn)的有效性,可利用已實(shí)現(xiàn)的數(shù)據(jù)增強(qiáng)技術(shù),配置出多重?cái)?shù)據(jù)增強(qiáng)方案。如:
- 旋轉(zhuǎn):90°。
- 左右鏡像。
- 增亮2倍。
- 對(duì)比度1.25倍。
- 數(shù)據(jù)模糊3倍。
在數(shù)據(jù)集資源管理整合完成后,則可以在平臺(tái)上對(duì)數(shù)據(jù)進(jìn)行標(biāo)注。運(yùn)營人員可以對(duì)平臺(tái)上已有數(shù)據(jù)集進(jìn)行標(biāo)注,也可以導(dǎo)入新的數(shù)據(jù)集文件進(jìn)行標(biāo)注。
通常標(biāo)注工作有:
- 對(duì)基本數(shù)據(jù)集(沒有標(biāo)注過的)進(jìn)行標(biāo)注或者半標(biāo)注(半自動(dòng)標(biāo)注:利用少量數(shù)據(jù)集生成的模型進(jìn)行自動(dòng)標(biāo)注,減少人工標(biāo)注的工作量);
- 對(duì)異常數(shù)據(jù)集進(jìn)行重新標(biāo)準(zhǔn);
- 對(duì)自定義數(shù)據(jù)集進(jìn)行標(biāo)注。
標(biāo)注方式支持圖像分類標(biāo)注、方形框標(biāo)注、圓形框標(biāo)注、多邊形標(biāo)注、語義分割標(biāo)注、3d標(biāo)注。標(biāo)注內(nèi)容有標(biāo)品和非標(biāo)品,也有其他需要標(biāo)注的內(nèi)容信息如手、人臉。
2.3.3 數(shù)據(jù)評(píng)估
數(shù)據(jù)評(píng)估工作貫穿數(shù)據(jù)獲取到數(shù)據(jù)處理整個(gè)過程,其操作質(zhì)量和流程嚴(yán)密程度直接決定了數(shù)據(jù)質(zhì)量的好壞,間接決定了模型表現(xiàn)效果的好壞。
在獲取數(shù)據(jù)以及對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)時(shí),運(yùn)營人員根據(jù)通用規(guī)則和經(jīng)驗(yàn)進(jìn)行數(shù)據(jù)評(píng)估是否可用,不確定的情況下需詢問算法。但一般界定不確定的數(shù)據(jù)規(guī)則根據(jù)商品、當(dāng)前模型、當(dāng)前需求、算法認(rèn)知和經(jīng)驗(yàn)等多個(gè)因素確定,不確定性比較大,現(xiàn)實(shí)中還是多以“個(gè)人經(jīng)驗(yàn)”為準(zhǔn)則。這一部分隨著相關(guān)員工經(jīng)驗(yàn)和認(rèn)知的增長,一定存在比較大的優(yōu)化空間。
日常需要對(duì)已有的數(shù)據(jù)集進(jìn)行定期檢查、定量檢查,對(duì)數(shù)據(jù)質(zhì)量和標(biāo)注質(zhì)量有一定的回歸驗(yàn)證。同樣,標(biāo)注任務(wù)流程化(包括標(biāo)注任務(wù)指派、標(biāo)注任務(wù)完成的多重審核、標(biāo)注人員的任務(wù)完成度和錯(cuò)誤數(shù)據(jù)統(tǒng)計(jì)以及對(duì)應(yīng)的獎(jiǎng)懲機(jī)制)也是數(shù)據(jù)質(zhì)量保證的重要環(huán)節(jié)。
2.4 模型中心
2.4.1 模型訓(xùn)練和驗(yàn)證
確保數(shù)據(jù)提供到位后,運(yùn)營人員或者算法人員可以在模型訓(xùn)練的頁面上,選擇模型,選擇對(duì)應(yīng)的數(shù)據(jù)集和對(duì)應(yīng)的訓(xùn)練參數(shù)(如AI算法以及網(wǎng)絡(luò)深度、訓(xùn)練step)即可開始進(jìn)行增量或全量的模型訓(xùn)練。
如果涉及GPU服務(wù)器運(yùn)算量等考量,還可選擇對(duì)應(yīng)訓(xùn)練GPU服務(wù)器。訓(xùn)練過程中訓(xùn)練狀態(tài)的可視化的展示可幫助運(yùn)營人員對(duì)當(dāng)前訓(xùn)練任務(wù)的進(jìn)度有所了解,以便對(duì)損失度停止下降或者其他異常等不符合預(yù)期的模型訓(xùn)練任務(wù)進(jìn)行暫停、取消等操作,解放算法人員的生產(chǎn)力。
TensorBoard界面
模型訓(xùn)練完成后,可以對(duì)訓(xùn)練集的數(shù)據(jù)進(jìn)行,得出模型MAP、精確率、召回率等指標(biāo),評(píng)估模型效果和質(zhì)量;也可以選取未標(biāo)注的驗(yàn)證數(shù)據(jù)集用模型進(jìn)行識(shí)別,對(duì)模型的質(zhì)量進(jìn)行驗(yàn)證。
2.4.2 模型管理
初始的模型資源可通過外部文件導(dǎo)入,或者直接新增訓(xùn)練任務(wù)生成。
通常來說,模型大部分時(shí)間處于“使用”的狀態(tài)(線上的使用和更新的使用),故模型的管理主要針對(duì)模型的版本、模型的各種狀態(tài)(服務(wù)狀態(tài)、訓(xùn)練狀態(tài))、模型的操作記錄、模型的詳細(xì)參數(shù)等四個(gè)方面進(jìn)行。
在模型有優(yōu)化更新、替代、異常等情況下,通過“模型管理“:可以對(duì)模型進(jìn)行操作,如暫停服務(wù),復(fù)制模型、上線模型、刪除模型等操作。
有一些模型可能需要在比較特殊的業(yè)務(wù)場景下運(yùn)行(例如邊緣端、硬件資源有限、網(wǎng)絡(luò)延遲較高)進(jìn)行,所以針對(duì)該種情況,也需要設(shè)計(jì)對(duì)模型進(jìn)行壓縮、調(diào)優(yōu)等傻瓜式一鍵式處理方案,目的也是減少開發(fā)在繁瑣工程上的工作量。
2.4.3 模型部署
在完成模型的訓(xùn)練生成模型,并且對(duì)模型進(jìn)行一定驗(yàn)證后,可在”模型部署”對(duì)模型進(jìn)行部署上線,部署流程通常為灰度部署過渡到全量部署。
在邊緣端應(yīng)用場景下,也可以通過邊緣端定期請(qǐng)求拉取最新模型文件或者通過邊緣節(jié)點(diǎn)實(shí)現(xiàn)邊緣端部署。
2.5 AI平臺(tái)投產(chǎn)比權(quán)衡
上文提到,AI平臺(tái)實(shí)現(xiàn)的最大瓶頸,其實(shí)在于企業(yè)對(duì)平臺(tái)投產(chǎn)比的權(quán)衡。
作者團(tuán)隊(duì)內(nèi)部經(jīng)過多次溝通考量,集中回答了以下三個(gè)問題,最終才決定對(duì)平臺(tái)進(jìn)行1.0的初步開發(fā)(主要也是先驗(yàn)證效用為主)。
AI平臺(tái)是否真的能支持業(yè)務(wù),整體效率(開發(fā)效率、業(yè)務(wù)效率)能有多大提升?是否有潛在的實(shí)現(xiàn)后的未知成本(如算法人員需要花費(fèi)大量時(shí)間教育運(yùn)營人員使用某些模型訓(xùn)練功能)?能否使用數(shù)字對(duì)價(jià)值進(jìn)行量化?就算能量化,是否又額外需要開發(fā)和溝通成本?
現(xiàn)有的第三方AI平臺(tái)已支持大部分業(yè)務(wù),是否能先使用第三方AI平臺(tái)進(jìn)行業(yè)務(wù)鏈條的孵化?個(gè)性化的數(shù)據(jù)處理和訓(xùn)練業(yè)務(wù)是否可依舊可通過開發(fā)手動(dòng)處理?
AI平臺(tái)的商業(yè)化價(jià)值短期能否提現(xiàn)(因?yàn)槠渌髽I(yè)因數(shù)據(jù)安全問題不會(huì)安心使用,同時(shí)也極度依賴企業(yè)的知名度)?若短期無法體現(xiàn),在什么階段可以體現(xiàn)?
關(guān)于價(jià)值權(quán)衡考量的問題沒有標(biāo)準(zhǔn)化答案,每個(gè)企業(yè)都以自身的資源、業(yè)務(wù)等多個(gè)因素綜合去考量,相關(guān)決策者和執(zhí)行者對(duì)AI平臺(tái)也有不一樣的認(rèn)知,故主要是看不同企業(yè)各自最終討論出的最優(yōu)投產(chǎn)比是否能大于投入成本后決定是否開發(fā)AI平臺(tái)。
總結(jié)
不管是針對(duì)任何業(yè)務(wù)場景,AI平臺(tái)的初衷永遠(yuǎn)是提高開發(fā)效率,加快算法迭代周期。通過產(chǎn)品化AI技術(shù),讓運(yùn)營人員能夠更貼近技術(shù),更好地指導(dǎo)賦能業(yè)務(wù)場景,給客戶帶來更好的技術(shù)體驗(yàn)和產(chǎn)品體驗(yàn)。
不僅如此,企業(yè)從內(nèi)部服務(wù)起完善AI平臺(tái),逐漸開放平臺(tái)并對(duì)平臺(tái)進(jìn)行商業(yè)化,服務(wù)原來沒有足夠資源和資金撬動(dòng)AI技術(shù)的外部客戶,為互聯(lián)網(wǎng)AI生態(tài)的發(fā)展也起到了推動(dòng)的作用。
AI平臺(tái)的發(fā)展和使用也是AI技術(shù)應(yīng)用層面發(fā)展的重要節(jié)點(diǎn),代表了AI技術(shù)開始產(chǎn)品化,更加落地,更加貼近業(yè)務(wù)層,也代表了企業(yè)有了更高效率的運(yùn)用AI技術(shù)的方式。
作者:德拉克馬 ;公眾號(hào):五百桶戶(ID:Drachmaos),交流是最好的進(jìn)步途徑之一。
本文由 @德拉克馬 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
我們公司有個(gè)項(xiàng)目是數(shù)據(jù)開放平臺(tái),主要是給各地方展示他們可以共享的信息資源,有需要的人可以進(jìn)行下載查看,
系統(tǒng)要求要有數(shù)據(jù)基礎(chǔ)模塊(從各個(gè)渠道獲取數(shù)據(jù)包括抽取方法規(guī)則等)、數(shù)據(jù)中心模塊(收集匯總加工后的數(shù)據(jù))、前端數(shù)據(jù)庫開放平臺(tái)(展示可以發(fā)布共享的信息資源)。但是不知道從頭開始做系統(tǒng),還麻煩指教下。