一文了解 AI 商品模型訓(xùn)練平臺(tái)

1 評(píng)論 17949 瀏覽 79 收藏 23 分鐘

AI平臺(tái)的初衷永遠(yuǎn)是提高開發(fā)效率,加快算法迭代周期。通過產(chǎn)品化AI技術(shù),讓運(yùn)營人員能夠更貼近技術(shù),更好地指導(dǎo)賦能業(yè)務(wù)場景,給客戶帶來更好的技術(shù)體驗(yàn)和產(chǎn)品體驗(yàn)。

本文是2020年的正式第一文,介紹了人工智能領(lǐng)域深度學(xué)習(xí)平臺(tái)的相關(guān)信息,內(nèi)容包括:AI平臺(tái)的基本介紹、系統(tǒng)架構(gòu)、實(shí)現(xiàn)難點(diǎn)和相關(guān)能力。

接下來,圍繞著作者自身搭建商品模型訓(xùn)練平臺(tái)案例,分享相關(guān)設(shè)計(jì)經(jīng)驗(yàn),內(nèi)容包括:業(yè)務(wù)場景、訓(xùn)練平臺(tái)系統(tǒng)架構(gòu)的規(guī)劃、數(shù)據(jù)和模型中心、投產(chǎn)比問題和相關(guān)總結(jié)。

一、關(guān)于AI平臺(tái)

1.1 AI平臺(tái)介紹

AI模型訓(xùn)練平臺(tái),基于核心模塊和應(yīng)用場景不同,又可以稱作深度學(xué)習(xí)平臺(tái)、機(jī)器學(xué)習(xí)平臺(tái)、人工智能平臺(tái)(以下統(tǒng)稱做AI平臺(tái))。

AI平臺(tái)提供業(yè)務(wù)到產(chǎn)品、數(shù)據(jù)到模型、端到端,線上化的人工智能應(yīng)用解決方案。

用戶在AI平臺(tái)能夠使用不同的深度學(xué)習(xí)框架進(jìn)行大規(guī)模的訓(xùn)練,對(duì)數(shù)據(jù)集和模型進(jìn)行管理和迭代,同時(shí)通過API和本地部署等方式接入到具體業(yè)務(wù)場景中使用。

簡單理解,AI平臺(tái)=AI SAAS+(PAAS)+(IAAS)。

以下是騰訊DI-X和阿里PAI平臺(tái)的介紹:

DI-X(Data Intelligence X)是基于騰訊云強(qiáng)大計(jì)算能力的一站式深度學(xué)習(xí)平臺(tái)。它通過可視化的拖拽布局,組合各種數(shù)據(jù)源、組件、算法、模型和評(píng)估模塊,讓算法工程師和數(shù)據(jù)科學(xué)家在其之上,方便地進(jìn)行模型訓(xùn)練、評(píng)估及預(yù)測。

阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI(Platform of Artificial Intelligence),為傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)提供了從數(shù)據(jù)處理、模型訓(xùn)練、服務(wù)部署到預(yù)測的一站式服務(wù)。

使用AI平臺(tái),能夠簡化開發(fā)人員對(duì)數(shù)據(jù)預(yù)處理和管理、模型訓(xùn)練和部署等繁瑣的代碼操作,加快算法開發(fā)效率,提高產(chǎn)品的迭代周期;并且通過AI平臺(tái)能整合計(jì)算資源、數(shù)據(jù)資源、模型資源,使用者能對(duì)不同資源進(jìn)行復(fù)用和調(diào)度。

開放AI平臺(tái)后,也能有效進(jìn)行商業(yè)化,對(duì)企業(yè)所處領(lǐng)域的AI業(yè)務(wù)生態(tài)環(huán)境有一定的推動(dòng)和反饋。

國內(nèi)外相關(guān)的AI平臺(tái)有:

國內(nèi):

  • 華為ModelArts
  • 阿里云 PAI
  • 百度 Paddle Paddle
  • 騰訊 DI-X深度學(xué)習(xí)平臺(tái)
  • 金山云 人工智能平臺(tái)
  • qingcloud 人工智能平臺(tái)
  • 京東 JDAINeuFoundry
  • 小米Cloud-ml平臺(tái)

國外:

  • Microsoft Azure Machine Learning
  • AWS Machine Learning
  • Google Cloud Platform

1.2 AI平臺(tái)系統(tǒng)架構(gòu)

基于一個(gè)企業(yè)整體系統(tǒng)的架構(gòu)來看,AI平臺(tái)可視為業(yè)務(wù)的技術(shù)支撐中臺(tái)之一 (平行于數(shù)據(jù)中臺(tái)),起到承上啟下(承載業(yè)務(wù),對(duì)接技術(shù)底層)的作用。

若一個(gè)企業(yè)當(dāng)前已有數(shù)據(jù)中臺(tái),則可將數(shù)據(jù)中臺(tái)作為AI中臺(tái)的數(shù)據(jù)輸入和數(shù)據(jù)輸出系統(tǒng)對(duì)象,AI中臺(tái)作為業(yè)務(wù)前臺(tái)的模型和算法供給平臺(tái)。若業(yè)務(wù)前臺(tái)有AI需求(如圖像識(shí)別、語義識(shí)別、商品推薦等),算法運(yùn)營團(tuán)隊(duì)則通過在AI平臺(tái)對(duì)模型的訓(xùn)練迭代以支持。

根據(jù)企業(yè)不同的規(guī)模、資源和業(yè)務(wù)場景,其AI平臺(tái)會(huì)有不一樣的定位。

例如AI和數(shù)據(jù)可同為一個(gè)中臺(tái)、AI平臺(tái)可視為業(yè)務(wù)中臺(tái)一部分、AI平臺(tái)整合進(jìn)技術(shù)中臺(tái)或后臺(tái)等。規(guī)模較小、資源有限的企業(yè)通常會(huì)選擇使用第三方AI平臺(tái)對(duì)業(yè)務(wù)進(jìn)行服務(wù),而非自建AI平臺(tái)。

一文介紹AI商品模型訓(xùn)練平臺(tái)(深度學(xué)習(xí)平臺(tái))

企業(yè)架構(gòu)示例:AI平臺(tái)作為AI中臺(tái)

關(guān)于AI平臺(tái)自身的架構(gòu)設(shè)計(jì),各第三方平臺(tái)都大同小異,主要是技術(shù)架構(gòu)上的不同,暫時(shí)沒有必要去深入研究。

這里以京東NeuFoundry神鑄項(xiàng)目系統(tǒng)架構(gòu)為例,初探一二:

一文介紹AI商品模型訓(xùn)練平臺(tái)(深度學(xué)習(xí)平臺(tái))

NeuFoundry平臺(tái)架構(gòu)圖

NeuFoundry基礎(chǔ)設(shè)施層采用Docker容器進(jìn)行算力資源的池化,通過Kubernetes進(jìn)行整體的資源管理、資源分配、任務(wù)運(yùn)行、狀態(tài)監(jiān)控等,平臺(tái)集成了MySQL、Redis、MQ等多種中間件服務(wù),通過數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型發(fā)布,生成自定義的AI能力,為各行各業(yè)的業(yè)務(wù)服務(wù)提供有力的支撐。

1.3 AI平臺(tái)實(shí)現(xiàn)難點(diǎn)

1)大數(shù)據(jù)處理問題

在當(dāng)前階段,AI底層技術(shù)原理決定了“有多少數(shù)據(jù),模型能力就有多好”的情況。同時(shí),企業(yè)在日常業(yè)務(wù)運(yùn)行中會(huì)不斷產(chǎn)生新數(shù)據(jù)。

當(dāng)數(shù)據(jù)需求和客觀數(shù)據(jù)量都很大,大數(shù)據(jù)的管理和處理能力對(duì)于一個(gè)AI平臺(tái)來說是最基礎(chǔ)的能力,開發(fā)人員需要結(jié)合AI模型訓(xùn)練任務(wù)的制定合理的數(shù)據(jù)調(diào)度方案,同時(shí)對(duì)數(shù)據(jù)進(jìn)行生命周期的管理(如定期的刪除冗余數(shù)據(jù)、不規(guī)則數(shù)據(jù))。

2)分布式計(jì)算

大數(shù)據(jù)的處理、模型的訓(xùn)練都十分消耗資源。如果業(yè)務(wù)場景復(fù)雜,模型訓(xùn)練時(shí)間長或者樣本規(guī)模大,超過單臺(tái)服務(wù)器能力時(shí),需要支持分布式訓(xùn)練。

微博深度學(xué)習(xí)訓(xùn)練集群的解決方式是:

以TensorFlow分布式運(yùn)行方式為例進(jìn)行說明,如圖5所示。

一個(gè)TensorFlow分布式程序?qū)?yīng)一個(gè)抽象的集群,集群(cluster)由工作節(jié)點(diǎn)(worker)和參數(shù)服務(wù)器(parameter server)組成。工作節(jié)點(diǎn)(worker)承擔(dān)矩陣乘、向量加等具體計(jì)算任務(wù),計(jì)算出相應(yīng)參數(shù)(weight和bias),并把參數(shù)匯總到參數(shù)服務(wù)器;參數(shù)服務(wù)器(parameter server)把從眾多工作節(jié)點(diǎn)收集參數(shù)匯總并計(jì)算,并傳遞給相應(yīng)工作節(jié)點(diǎn),由工作節(jié)點(diǎn)進(jìn)行下一輪計(jì)算,如此循環(huán)往復(fù)。

3)AI平臺(tái)實(shí)現(xiàn)的最大瓶頸

在于企業(yè)對(duì)AI平臺(tái)投產(chǎn)比的權(quán)衡(頂層、中層、執(zhí)行層對(duì)AI平臺(tái)的價(jià)值認(rèn)知),這一點(diǎn)會(huì)在下文重點(diǎn)說明 。

1.4 AI平臺(tái)相關(guān)能力

AI平臺(tái)不僅需要提供AI開發(fā)流程所需基礎(chǔ)技能,還需針對(duì)不同的用戶(產(chǎn)品經(jīng)理、運(yùn)營人員、算法工程師……)、不同的客戶(大企業(yè)、中小企業(yè)、傳統(tǒng)企業(yè)、科技企業(yè)……)提供對(duì)應(yīng)所需服務(wù)。

我將AI平臺(tái)能力分為以下五類:

  • 數(shù)據(jù)能力:數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理(ETL)、數(shù)據(jù)集管理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)增強(qiáng)……
  • 模型能力:模型管理、模型訓(xùn)練、模型驗(yàn)證、模型部署、模型處理、模型詳情……
  • 算法能力:支持各種算法、深度學(xué)習(xí)、數(shù)據(jù)運(yùn)算處理框架、預(yù)置模型、算法調(diào)用、對(duì)算法組合操作……
  • 部署能力:多重部署方式、在線部署、私有化部署、邊緣端部署、灰度/增量/全量部署……
  • 其他能力:AI服務(wù)市場、工單客服、權(quán)限管理、工作流可視化……

一文介紹AI商品模型訓(xùn)練平臺(tái)(深度學(xué)習(xí)平臺(tái))

華為ModelArts平臺(tái)技能

二、AI商品模型訓(xùn)練平臺(tái)設(shè)計(jì)經(jīng)驗(yàn)分享

2.1 業(yè)務(wù)場景

在日常經(jīng)營的過程中,每個(gè)新的商品都需要進(jìn)行數(shù)據(jù)采集、標(biāo)注,隨后將數(shù)據(jù)扔進(jìn)對(duì)應(yīng)模型文件進(jìn)行訓(xùn)練,其中涉及非常多重復(fù)且繁瑣的工作問題。

將數(shù)據(jù)采集處理到模型訓(xùn)練部署的流程平臺(tái)化,能夠極大提升開發(fā)效率,讓運(yùn)營人員和算法人員更好地分別針對(duì)場景和模型進(jìn)行管理。

而且,數(shù)據(jù)、模型(可線上使用)對(duì)于企業(yè)來說是最核心的技術(shù)資源,不過初期一直處在黑匣子狀態(tài),只有算法人員可接觸和查看。所以在業(yè)務(wù)發(fā)展到達(dá)一定的階段時(shí),就需要開始對(duì)其進(jìn)行有效管理。

本文的AI平臺(tái),主要服務(wù)零售行業(yè)商品模型訓(xùn)練的業(yè)務(wù)場景,故稱作AI商品模型訓(xùn)練平臺(tái)。

2.2 系統(tǒng)架構(gòu)

綜合資源、場景、服務(wù)效率、商業(yè)化等多個(gè)維度去考量,作者設(shè)計(jì)的商品模型訓(xùn)練平臺(tái)主要以數(shù)據(jù)中心和模型中心兩大核心子系統(tǒng)組成,一方面可以以最小的開發(fā)資源實(shí)現(xiàn)涵蓋了當(dāng)前業(yè)務(wù)所需要的核心流程和個(gè)性化流程,另一方面也有利于平臺(tái)后續(xù)的能力拓展和進(jìn)行商業(yè)化。

一文介紹AI商品模型訓(xùn)練平臺(tái)(深度學(xué)習(xí)平臺(tái))

AI商品模型訓(xùn)練平臺(tái)

數(shù)據(jù)中心主要服務(wù)3點(diǎn)數(shù)據(jù)管理業(yè)務(wù)需求:數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)評(píng)估。其中涉及能力有數(shù)據(jù)集獲取、數(shù)據(jù)集管理、數(shù)據(jù)增強(qiáng)、增強(qiáng)策略配置、數(shù)據(jù)標(biāo)注、標(biāo)注任務(wù)系統(tǒng)、半自動(dòng)標(biāo)注等。

模型中心主要服務(wù)3點(diǎn)模型管理業(yè)務(wù)需求:模型訓(xùn)練和驗(yàn)證、模型管理、模型部署。其中涉及能力有模型訓(xùn)練、參數(shù)配置、訓(xùn)練任務(wù)管理、訓(xùn)練狀態(tài)可視化、模型文件管理、模型版本管理、模型狀態(tài)管理、模型操作、模型處理、模型處理策略管理、模型部署、部署業(yè)務(wù)管理等。

接下來,針對(duì)核心的業(yè)務(wù)需求逐一說明解決方案。

2.3 數(shù)據(jù)中心

2.3.1 數(shù)據(jù)獲取

AI模型訓(xùn)練的第一步是對(duì)數(shù)據(jù)的獲?。ù颂幍臄?shù)據(jù)都為圖片數(shù)據(jù))。

數(shù)據(jù)的采集可以通過線下構(gòu)建對(duì)應(yīng)業(yè)務(wù)場景需要的環(huán)境進(jìn)行拍攝采集,也可以通過平臺(tái)內(nèi)已有數(shù)據(jù)(線上數(shù)據(jù)、舊數(shù)據(jù))、第三方數(shù)據(jù)(通過開源、付費(fèi)購買、爬蟲爬取多多種形式)獲取。

  • 線上數(shù)據(jù)集的處理:多采用badcase,重新標(biāo)注、增強(qiáng)。
  • 爬取數(shù)據(jù)集:爬取公開渠道如百度圖片的對(duì)應(yīng)label數(shù)據(jù)集,并區(qū)分可用不可用。

因數(shù)據(jù)集都為圖片數(shù)據(jù),并且模型是基于深度學(xué)習(xí)技術(shù)構(gòu)建,故涉及到數(shù)據(jù)ETL、特征工程等一些處理暫時(shí)不需要,后續(xù)可根據(jù)業(yè)務(wù)場景和應(yīng)用技術(shù)的拓展,在技術(shù)架構(gòu)和平臺(tái)架構(gòu)補(bǔ)充上對(duì)應(yīng)的能力。

數(shù)據(jù)集獲取完成后,可以將數(shù)據(jù)按照不同的類型存放,通過數(shù)據(jù)集管理頁面進(jìn)管理。

數(shù)據(jù)類型可以按照不同的維度區(qū)分:

1)以標(biāo)品和非標(biāo)品區(qū)分

  • 標(biāo)品數(shù)據(jù):標(biāo)品靜態(tài)狀態(tài)數(shù)據(jù)、標(biāo)品動(dòng)態(tài)狀態(tài)數(shù)據(jù);
  • 非標(biāo)品數(shù)據(jù):標(biāo)品多角度數(shù)據(jù)、標(biāo)品靜態(tài)狀數(shù)據(jù)、標(biāo)品動(dòng)態(tài)狀態(tài)數(shù)據(jù)、其他異常情況數(shù)據(jù)。

2)以數(shù)據(jù)來源渠道區(qū)分

  • 線下:構(gòu)建不同的場景(靜態(tài)動(dòng)態(tài))進(jìn)行拍攝采集;
  • 線上:平臺(tái)內(nèi)已有數(shù)據(jù)(線上數(shù)據(jù)、舊數(shù)據(jù))、第三方數(shù)據(jù)(開源數(shù)據(jù)集、付費(fèi)數(shù)據(jù)集、爬取數(shù)據(jù)集)。

3)以數(shù)據(jù)格式區(qū)分

圖片、視頻、其他格式(2d、3d)。

4)以數(shù)據(jù)使用性區(qū)分

基本數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)集(含標(biāo)注)、驗(yàn)證數(shù)據(jù)集、異常數(shù)據(jù)集、自定義數(shù)據(jù)集。

數(shù)據(jù)集應(yīng)當(dāng)有生命周期的管理和備注信息,以免在運(yùn)營一段時(shí)間后數(shù)據(jù)量雜亂冗余。

2.3.2 數(shù)據(jù)處理

部分場景的模型訓(xùn)練前,需要對(duì)數(shù)據(jù)進(jìn)行不同程度、不同方案的增強(qiáng)。運(yùn)營人員或算法人員可以在數(shù)據(jù)增強(qiáng)的頁面上,選擇對(duì)應(yīng)的數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)策略,對(duì)數(shù)據(jù)進(jìn)行增強(qiáng),增強(qiáng)后的數(shù)據(jù)集將會(huì)同步以原數(shù)據(jù)的子文件形式,在數(shù)據(jù)集管理中以“增強(qiáng)數(shù)據(jù)集”類型展示。

同時(shí),為適應(yīng)多種業(yè)務(wù)場景和加快數(shù)據(jù)增強(qiáng)實(shí)驗(yàn)的有效性,可利用已實(shí)現(xiàn)的數(shù)據(jù)增強(qiáng)技術(shù),配置出多重?cái)?shù)據(jù)增強(qiáng)方案。如:

  • 旋轉(zhuǎn):90°。
  • 左右鏡像。
  • 增亮2倍。
  • 對(duì)比度1.25倍。
  • 數(shù)據(jù)模糊3倍。

在數(shù)據(jù)集資源管理整合完成后,則可以在平臺(tái)上對(duì)數(shù)據(jù)進(jìn)行標(biāo)注。運(yùn)營人員可以對(duì)平臺(tái)上已有數(shù)據(jù)集進(jìn)行標(biāo)注,也可以導(dǎo)入新的數(shù)據(jù)集文件進(jìn)行標(biāo)注。

通常標(biāo)注工作有:

  1. 對(duì)基本數(shù)據(jù)集(沒有標(biāo)注過的)進(jìn)行標(biāo)注或者半標(biāo)注(半自動(dòng)標(biāo)注:利用少量數(shù)據(jù)集生成的模型進(jìn)行自動(dòng)標(biāo)注,減少人工標(biāo)注的工作量);
  2. 對(duì)異常數(shù)據(jù)集進(jìn)行重新標(biāo)準(zhǔn);
  3. 對(duì)自定義數(shù)據(jù)集進(jìn)行標(biāo)注。

標(biāo)注方式支持圖像分類標(biāo)注、方形框標(biāo)注、圓形框標(biāo)注、多邊形標(biāo)注、語義分割標(biāo)注、3d標(biāo)注。標(biāo)注內(nèi)容有標(biāo)品和非標(biāo)品,也有其他需要標(biāo)注的內(nèi)容信息如手、人臉。

2.3.3 數(shù)據(jù)評(píng)估

數(shù)據(jù)評(píng)估工作貫穿數(shù)據(jù)獲取到數(shù)據(jù)處理整個(gè)過程,其操作質(zhì)量和流程嚴(yán)密程度直接決定了數(shù)據(jù)質(zhì)量的好壞,間接決定了模型表現(xiàn)效果的好壞。

在獲取數(shù)據(jù)以及對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)時(shí),運(yùn)營人員根據(jù)通用規(guī)則和經(jīng)驗(yàn)進(jìn)行數(shù)據(jù)評(píng)估是否可用,不確定的情況下需詢問算法。但一般界定不確定的數(shù)據(jù)規(guī)則根據(jù)商品、當(dāng)前模型、當(dāng)前需求、算法認(rèn)知和經(jīng)驗(yàn)等多個(gè)因素確定,不確定性比較大,現(xiàn)實(shí)中還是多以“個(gè)人經(jīng)驗(yàn)”為準(zhǔn)則。這一部分隨著相關(guān)員工經(jīng)驗(yàn)和認(rèn)知的增長,一定存在比較大的優(yōu)化空間。

日常需要對(duì)已有的數(shù)據(jù)集進(jìn)行定期檢查、定量檢查,對(duì)數(shù)據(jù)質(zhì)量和標(biāo)注質(zhì)量有一定的回歸驗(yàn)證。同樣,標(biāo)注任務(wù)流程化(包括標(biāo)注任務(wù)指派、標(biāo)注任務(wù)完成的多重審核、標(biāo)注人員的任務(wù)完成度和錯(cuò)誤數(shù)據(jù)統(tǒng)計(jì)以及對(duì)應(yīng)的獎(jiǎng)懲機(jī)制)也是數(shù)據(jù)質(zhì)量保證的重要環(huán)節(jié)。

2.4 模型中心

2.4.1 模型訓(xùn)練和驗(yàn)證

確保數(shù)據(jù)提供到位后,運(yùn)營人員或者算法人員可以在模型訓(xùn)練的頁面上,選擇模型,選擇對(duì)應(yīng)的數(shù)據(jù)集和對(duì)應(yīng)的訓(xùn)練參數(shù)(如AI算法以及網(wǎng)絡(luò)深度、訓(xùn)練step)即可開始進(jìn)行增量或全量的模型訓(xùn)練。

如果涉及GPU服務(wù)器運(yùn)算量等考量,還可選擇對(duì)應(yīng)訓(xùn)練GPU服務(wù)器。訓(xùn)練過程中訓(xùn)練狀態(tài)的可視化的展示可幫助運(yùn)營人員對(duì)當(dāng)前訓(xùn)練任務(wù)的進(jìn)度有所了解,以便對(duì)損失度停止下降或者其他異常等不符合預(yù)期的模型訓(xùn)練任務(wù)進(jìn)行暫停、取消等操作,解放算法人員的生產(chǎn)力。

一文介紹AI商品模型訓(xùn)練平臺(tái)(深度學(xué)習(xí)平臺(tái))

TensorBoard界面

模型訓(xùn)練完成后,可以對(duì)訓(xùn)練集的數(shù)據(jù)進(jìn)行,得出模型MAP、精確率、召回率等指標(biāo),評(píng)估模型效果和質(zhì)量;也可以選取未標(biāo)注的驗(yàn)證數(shù)據(jù)集用模型進(jìn)行識(shí)別,對(duì)模型的質(zhì)量進(jìn)行驗(yàn)證。

2.4.2 模型管理

初始的模型資源可通過外部文件導(dǎo)入,或者直接新增訓(xùn)練任務(wù)生成。

通常來說,模型大部分時(shí)間處于“使用”的狀態(tài)(線上的使用和更新的使用),故模型的管理主要針對(duì)模型的版本、模型的各種狀態(tài)(服務(wù)狀態(tài)、訓(xùn)練狀態(tài))、模型的操作記錄、模型的詳細(xì)參數(shù)等四個(gè)方面進(jìn)行。

在模型有優(yōu)化更新、替代、異常等情況下,通過“模型管理“:可以對(duì)模型進(jìn)行操作,如暫停服務(wù),復(fù)制模型、上線模型、刪除模型等操作。

有一些模型可能需要在比較特殊的業(yè)務(wù)場景下運(yùn)行(例如邊緣端、硬件資源有限、網(wǎng)絡(luò)延遲較高)進(jìn)行,所以針對(duì)該種情況,也需要設(shè)計(jì)對(duì)模型進(jìn)行壓縮、調(diào)優(yōu)等傻瓜式一鍵式處理方案,目的也是減少開發(fā)在繁瑣工程上的工作量。

2.4.3 模型部署

在完成模型的訓(xùn)練生成模型,并且對(duì)模型進(jìn)行一定驗(yàn)證后,可在”模型部署”對(duì)模型進(jìn)行部署上線,部署流程通常為灰度部署過渡到全量部署。

在邊緣端應(yīng)用場景下,也可以通過邊緣端定期請(qǐng)求拉取最新模型文件或者通過邊緣節(jié)點(diǎn)實(shí)現(xiàn)邊緣端部署。

2.5 AI平臺(tái)投產(chǎn)比權(quán)衡

上文提到,AI平臺(tái)實(shí)現(xiàn)的最大瓶頸,其實(shí)在于企業(yè)對(duì)平臺(tái)投產(chǎn)比的權(quán)衡。

作者團(tuán)隊(duì)內(nèi)部經(jīng)過多次溝通考量,集中回答了以下三個(gè)問題,最終才決定對(duì)平臺(tái)進(jìn)行1.0的初步開發(fā)(主要也是先驗(yàn)證效用為主)。

AI平臺(tái)是否真的能支持業(yè)務(wù),整體效率(開發(fā)效率、業(yè)務(wù)效率)能有多大提升?是否有潛在的實(shí)現(xiàn)后的未知成本(如算法人員需要花費(fèi)大量時(shí)間教育運(yùn)營人員使用某些模型訓(xùn)練功能)?能否使用數(shù)字對(duì)價(jià)值進(jìn)行量化?就算能量化,是否又額外需要開發(fā)和溝通成本?

現(xiàn)有的第三方AI平臺(tái)已支持大部分業(yè)務(wù),是否能先使用第三方AI平臺(tái)進(jìn)行業(yè)務(wù)鏈條的孵化?個(gè)性化的數(shù)據(jù)處理和訓(xùn)練業(yè)務(wù)是否可依舊可通過開發(fā)手動(dòng)處理?

AI平臺(tái)的商業(yè)化價(jià)值短期能否提現(xiàn)(因?yàn)槠渌髽I(yè)因數(shù)據(jù)安全問題不會(huì)安心使用,同時(shí)也極度依賴企業(yè)的知名度)?若短期無法體現(xiàn),在什么階段可以體現(xiàn)?

關(guān)于價(jià)值權(quán)衡考量的問題沒有標(biāo)準(zhǔn)化答案,每個(gè)企業(yè)都以自身的資源、業(yè)務(wù)等多個(gè)因素綜合去考量,相關(guān)決策者和執(zhí)行者對(duì)AI平臺(tái)也有不一樣的認(rèn)知,故主要是看不同企業(yè)各自最終討論出的最優(yōu)投產(chǎn)比是否能大于投入成本后決定是否開發(fā)AI平臺(tái)。

總結(jié)

不管是針對(duì)任何業(yè)務(wù)場景,AI平臺(tái)的初衷永遠(yuǎn)是提高開發(fā)效率,加快算法迭代周期。通過產(chǎn)品化AI技術(shù),讓運(yùn)營人員能夠更貼近技術(shù),更好地指導(dǎo)賦能業(yè)務(wù)場景,給客戶帶來更好的技術(shù)體驗(yàn)和產(chǎn)品體驗(yàn)。

不僅如此,企業(yè)從內(nèi)部服務(wù)起完善AI平臺(tái),逐漸開放平臺(tái)并對(duì)平臺(tái)進(jìn)行商業(yè)化,服務(wù)原來沒有足夠資源和資金撬動(dòng)AI技術(shù)的外部客戶,為互聯(lián)網(wǎng)AI生態(tài)的發(fā)展也起到了推動(dòng)的作用。

AI平臺(tái)的發(fā)展和使用也是AI技術(shù)應(yīng)用層面發(fā)展的重要節(jié)點(diǎn),代表了AI技術(shù)開始產(chǎn)品化,更加落地,更加貼近業(yè)務(wù)層,也代表了企業(yè)有了更高效率的運(yùn)用AI技術(shù)的方式。

 

作者:德拉克馬 ;公眾號(hào):五百桶戶(ID:Drachmaos),交流是最好的進(jìn)步途徑之一。

本文由 @德拉克馬 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于CC0協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 我們公司有個(gè)項(xiàng)目是數(shù)據(jù)開放平臺(tái),主要是給各地方展示他們可以共享的信息資源,有需要的人可以進(jìn)行下載查看,
    系統(tǒng)要求要有數(shù)據(jù)基礎(chǔ)模塊(從各個(gè)渠道獲取數(shù)據(jù)包括抽取方法規(guī)則等)、數(shù)據(jù)中心模塊(收集匯總加工后的數(shù)據(jù))、前端數(shù)據(jù)庫開放平臺(tái)(展示可以發(fā)布共享的信息資源)。但是不知道從頭開始做系統(tǒng),還麻煩指教下。

    來自安徽 回復(fù)