AI大模型架構(gòu)與產(chǎn)業(yè)鏈淺析(一)
本文的核心思想,基于人工智能架構(gòu),識別AI大模型架構(gòu),從AI大模型架構(gòu)的組成部分,思考AI大模型產(chǎn)業(yè)鏈,并做淺析。
本篇章將開啟AI大模型系列分析。
一、人工智能架構(gòu)
人工智能架構(gòu)目前有眾多分類方法,雖然架構(gòu)分層有些許切分上的差異,但總體來看,包括應(yīng)用層、技術(shù)層,基礎(chǔ)層。
其中應(yīng)用層,按按照服務(wù)的對象和功能進行分類,包括解決方案和應(yīng)用平臺。
解決方案層可從產(chǎn)品端分析分為軟件/硬件,從用戶對象屬性,分為b端和c端,從用戶行業(yè),細分為行業(yè)場景。
技術(shù)層可以從感知層、認知層、平臺層分類,其中感知層主要是通用技術(shù),例如語音識別等,認知層包括推理、邏輯、學(xué)習(xí)判斷等。
對于技術(shù)層分類也可以從通用技術(shù)層、算法層、框架層進行分類。
平臺層包括技術(shù)開放平臺和基礎(chǔ)開源框架等。
基礎(chǔ)層包括數(shù)據(jù)和算力。
數(shù)據(jù)層負責(zé)數(shù)據(jù)的收集、存儲與處理,確保數(shù)據(jù)質(zhì)量。
技術(shù)能力層提供強大的計算資源和算法支持,包括高性能計算、云計算及硬件加速設(shè)備,為AI系統(tǒng)的穩(wěn)定運行和高效性能奠定堅實基礎(chǔ)。
應(yīng)用層:解決方案+應(yīng)用平臺
- 解決方案層:智能客服、智能助理、無人車、機器人和自動寫作等場景應(yīng)用。這些解決方案直接面向市場和用戶需求,提供定制化的服務(wù)。解決方案層的分析維度,可以從行業(yè)、軟件/硬件產(chǎn)品、業(yè)務(wù)方向(營銷、生產(chǎn)、人力)等角度分類。
- 應(yīng)用平臺層:這類平臺負責(zé)整合和管理AI解決方案,能被更廣泛的用戶群體所使用。
技術(shù)層:感知層+認知層+平臺層
- 感知層:語音識別(ASR)、語音合成(TTS)、計算機視覺(CV)、自然語言處理(NLP)、即時定位與地圖構(gòu)建(SLAM)等。
- 認知層:機器學(xué)習(xí)、深度學(xué)習(xí)和增強學(xué)習(xí)等算法,這些算法是AI模型的“大腦”,用于指導(dǎo)模型進行學(xué)習(xí)和推理。
- 平臺層:提供了一系列用于構(gòu)建AI系統(tǒng)的工具和平臺。常見框架:TensorFlow、Caffe、Theano、Torch、DMTK、DTPAR 和 ROS等,這些框架簡化了開發(fā)流程,讓開發(fā)者可以更容易地實現(xiàn)復(fù)雜的AI應(yīng)用。
基礎(chǔ)層:數(shù)據(jù)+計算算力
- 數(shù)據(jù)層:數(shù)據(jù)層是AI系統(tǒng)的基礎(chǔ),負責(zé)數(shù)據(jù)的收集、存儲、預(yù)處理和標(biāo)注。它包括數(shù)據(jù)管理、安全、治理和訪問,確保數(shù)據(jù)質(zhì)量,支持模型訓(xùn)練和系統(tǒng)運行。
- 計算能力層:計算能力層提供了運行AI所需的強大算力:覆蓋了云計算、GPU/FPGA等硬件加速以及專門的神經(jīng)網(wǎng)絡(luò)芯片。這些資源使得大規(guī)模的數(shù)據(jù)處理和復(fù)雜的模型訓(xùn)練成為可能。云計算:提供可擴展的計算資源。GPU/FPGA:提供硬件加速,用于并行處理大量數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)芯片:專門為AI計算設(shè)計的芯片,如TPU。
二、AI大模型架構(gòu)
AI大模型架構(gòu)在人工智能架構(gòu)的基礎(chǔ)上,對數(shù)據(jù)層和計算能力層提出了更高的要求,以適應(yīng)大模型的復(fù)雜性和規(guī)模。同時,它在應(yīng)用層和技術(shù)層也進行了擴展,以適應(yīng)更廣泛的行業(yè)應(yīng)用和更高級的AI功能。
例如,在應(yīng)用層,AI大模型更側(cè)重于行業(yè)特定的解決方案,需要更多行業(yè)數(shù)據(jù)進行定制化訓(xùn)練,同時平臺層趨向于發(fā)展更高級的AI agent能力;在技術(shù)層,AI大模型更加集中于深度學(xué)習(xí)算法和大型模型專用框架,以支持復(fù)雜的模型訓(xùn)練和推理;在基礎(chǔ)層,AI大模型需要處理更大量的數(shù)據(jù),并且要求更強大的計算能力來支持大模型的訓(xùn)練和部署。
應(yīng)用層:當(dāng)前AI大模型的行業(yè)應(yīng)用呈現(xiàn)兩種趨勢,包括通用大模型和垂類行業(yè)大模型
- 解決方案層:更貼近垂類行業(yè)大模型,需要更多行業(yè)專業(yè)知識數(shù)據(jù)進行二次訓(xùn)練,基于通用大模型打造垂類行業(yè)模型
- 應(yīng)用平臺層:例如通用類的ChatGPT,它是一種基于Transformer架構(gòu)的大型語言模型,能夠進行文本生成、對話交互等任務(wù),并且可以通過微調(diào)來適應(yīng)特定的應(yīng)用場景。通用類大模型的趨勢是向AIagent能力發(fā)展,即具備更強大的交互、理解和決策能力。
技術(shù)層:集感知、深度學(xué)習(xí)算法與專用框架于一體
- 感知層:基于計算機視覺(CV)的圖像識別、視頻分析,以及基于自然語言處理(NLP)的文本生成、語言理解、對話系統(tǒng)等。這些感知技術(shù)為AI大模型提供了豐富的輸入信息。
- 算法認知層:作為AI大模型的核心算法,是AI大模型是大腦,深度學(xué)習(xí)算法是ALLMA架構(gòu)的核心技術(shù),深度學(xué)習(xí)使得AI大模型能夠自動從數(shù)據(jù)中學(xué)習(xí)并提取特征,從而提高模型的準(zhǔn)確性和魯棒性。
- 平臺層:AI大模型的框架層可能包括專門為大模型設(shè)計的框架,如TensorFlow、PyTorch等。這些框架能夠處理大規(guī)模的模型訓(xùn)練和部署,并提供豐富的工具和庫來支持開發(fā)者進行模型開發(fā)和優(yōu)化。同時,AI框架層還提供了構(gòu)建AI系統(tǒng)的其他工具和平臺,如模型管理、版本控制、部署服務(wù)等。
基礎(chǔ)層:整合多源數(shù)據(jù),提供高性能算力,確保模型訓(xùn)練與運行的高效與準(zhǔn)確
- 數(shù)據(jù)層:典型的數(shù)據(jù)層數(shù)據(jù)類型,包括垂類知識庫、動態(tài)數(shù)據(jù)集、第三方數(shù)據(jù)集。對于AI大模型而言,數(shù)據(jù)層的重要性更加凸顯,因為大模型需要大量的數(shù)據(jù)來訓(xùn)練。數(shù)據(jù)的質(zhì)量和數(shù)量直接影響模型的性能和效果。數(shù)據(jù)層主要包括多源訓(xùn)練數(shù)據(jù)脫敏/清洗/平臺化,以及評測數(shù)據(jù)和標(biāo)準(zhǔn)共建。
- 計算能力層:AI大模型的計算能力層需要更強大的算力支持,因為大模型通常參數(shù)眾多,計算密集。這可能包括高性能的GPU/FPGA、云計算資源以及專門的神經(jīng)網(wǎng)絡(luò)芯片。而AI計算能力層則提供了運行AI所需的基本算力。
三、基于AI大模型架構(gòu)的行業(yè)現(xiàn)狀淺析
從前文的AI大模型架構(gòu),我們可以明確AI大模型產(chǎn)業(yè)鏈的組成部分,并淺要分析產(chǎn)業(yè)鏈的差異。部分市場參與者可能已經(jīng)結(jié)合公司戰(zhàn)略,進行類全產(chǎn)業(yè)鏈布局,部分市場參與者聚焦在部分產(chǎn)品及解決方案,高度占有市場份額。本文是總覽淺析,后續(xù)將從應(yīng)用層、技術(shù)層、基礎(chǔ)層選取相關(guān)部分產(chǎn)品進行詳細的分析。
應(yīng)用層-解決方案:
- 進入門檻:進入門檻較低,大量行業(yè)數(shù)據(jù)形成模型,競爭相對激烈
- 短期價值&長期價值:短期價值高,長期價值受市場變化影響大,市場更新速度快,低投入,變現(xiàn)快
- 演化路徑:垂直行業(yè)應(yīng)用或跨行業(yè)應(yīng)用
應(yīng)用層-應(yīng)用平臺:
- 進入門檻:進入門檻較較高,需要有較高的行業(yè)影響力和號召力,需要構(gòu)建開發(fā)者生態(tài)和用戶群
- 短期價值&長期價值:短期價值較低,長期價值較高
- 演化路徑:向app store的方向發(fā)展
技術(shù)層-算法&框架:
- 進入門檻:需要一定規(guī)模的工程團隊,算法、框架及工具研發(fā)難度大
- 短期價值&長期價值:短期價值較高,長期價值較低,投入適中,適合中長期布局
- 演化路徑:向算法工具平臺和開發(fā)者生態(tài)發(fā)展
基礎(chǔ)層-數(shù)據(jù):
- 進入門檻:入口被擁有流量的公司占據(jù)
- 短期價值&長期價值:短期和長期價值天花板較高,高投入、高回報、適合長期布局
- 演化路徑:數(shù)據(jù)資產(chǎn)化
基礎(chǔ)層-計算能力:
- 進入門檻:大模型算力成本較高
- 短期價值&長期價值:短期和長期價值天花板較高,高投入、高回報、適合長期布局
- 演化路徑:通用計算平臺和計算服務(wù)生態(tài)發(fā)展趨勢
本文由@Elaine.H 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!