中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

在數(shù)字化時代的洪流中，人工智能（AI）如同破繭的鳳凰，展翅高飛。這篇文章深入剖析了AI系統(tǒng)崛起的三大支柱：海量數(shù)據(jù)的積累、計算能力的飛躍以及機(jī)器學(xué)習(xí)算法的突破性進(jìn)展。

隨著移動互聯(lián)網(wǎng)的發(fā)展，移動應(yīng)用積累了海量的用戶行為數(shù)據(jù)，這些數(shù)據(jù)不僅推動了AI算法的進(jìn)步，也促進(jìn)了AI系統(tǒng)的發(fā)展。

一、規(guī)模數(shù)據(jù)驅(qū)動

隨著數(shù)字化的發(fā)展，各種信息系統(tǒng)沉淀了大量的數(shù)據(jù)。AI算法利用數(shù)據(jù)驅(qū)動（Data Driven）的方式解決問題，從數(shù)據(jù)中不斷學(xué)習(xí)和提取規(guī)律與模型，以完成分類和回歸等任務(wù)。

互聯(lián)網(wǎng)公司擁有大量的用戶，規(guī)模龐大的數(shù)據(jù)中心，信息系統(tǒng)不斷完善，因此可以較早沉淀出大規(guī)模的數(shù)據(jù)，并應(yīng)用人工智能技術(shù)，投入研發(fā)創(chuàng)新人工智能技術(shù)。

互聯(lián)網(wǎng)服務(wù)和數(shù)據(jù)平臺給深度學(xué)習(xí)帶來了大數(shù)據(jù)。隨著移動互聯(lián)網(wǎng)的日益普及，移動應(yīng)用的發(fā)展可謂日新月異，應(yīng)用商店中（谷歌 Play、App Store，還有眾多的移動應(yīng)用分發(fā)渠道上），已經(jīng)積累了海量的用戶行為數(shù)據(jù)。

這些數(shù)據(jù)隨著時間的流逝和新業(yè)務(wù)功能的推出，數(shù)據(jù)量越來越大，數(shù)據(jù)模式越來越豐富。所以互聯(lián)網(wǎng)公司較早的開發(fā)和部署了的大數(shù)據(jù)管理與處理平臺。

基于這些海量數(shù)據(jù)，互聯(lián)網(wǎng)公司通過數(shù)據(jù)驅(qū)動的方式，訓(xùn)練人工智能模型，進(jìn)而優(yōu)化和提升業(yè)務(wù)用戶體驗（如點(diǎn)擊率預(yù)測讓用戶獲取感興趣的信息），讓更多的用戶使用服務(wù)，進(jìn)而形成循環(huán)。

不同的數(shù)據(jù)類型和任務(wù)，驅(qū)動模型結(jié)構(gòu)的復(fù)雜性，驅(qū)動AI框架和針對AI的編譯體系，需要更靈活的表現(xiàn)能力對AI問題進(jìn)行表達(dá)與映射。

例如，以下幾種服務(wù)中沉淀和形成了相應(yīng)領(lǐng)域代表性的數(shù)據(jù)集：

• 搜索引擎（Search Engine）：在圖像檢索（Image Search）鄰域出現(xiàn)了如 ImageNet，Coco 等計算機(jī)視覺數(shù)據(jù)集。在文本檢索（Text Search）出現(xiàn)了 Wikipedia 等自然語言處理數(shù)據(jù)集。
• 移動應(yīng)用（Application）：移動應(yīng)用數(shù)據(jù)分析是用戶獲取和留存的強(qiáng)勁引擎。如圖所示，國內(nèi)出現(xiàn)了優(yōu)質(zhì)的數(shù)據(jù)源的公司如知乎和小紅書，傳統(tǒng)的貼吧如天涯論壇、百度網(wǎng)吧等充斥廣告等地方已經(jīng)不再是優(yōu)質(zhì)數(shù)據(jù)源。各家移動互聯(lián)網(wǎng)如淘寶、拼多多收集了大量的用戶購買和瀏覽記錄，形成龐大的推薦系統(tǒng)數(shù)據(jù)集，廣告數(shù)據(jù)集。

同樣是圖像分類問題，從最開始數(shù)據(jù)規(guī)模較小的 MNIST 手寫數(shù)字識別數(shù)據(jù)集其只有 6 萬樣本，10 個分類，到更大規(guī)模的 ImageNet，其有 1600 萬樣本，1000 個分類，再到互聯(lián)網(wǎng) Web 服務(wù)中沉淀了數(shù)億量級的圖像數(shù)據(jù)。

海量的數(shù)據(jù)讓人工智能問題變得愈發(fā)挑戰(zhàn)的同時，實質(zhì)性的促進(jìn)了人工智能模型效果的提升，因為當(dāng)前以深度學(xué)習(xí)為核心的代表性 AI 算法，其本身是數(shù)據(jù)驅(qū)動的方式從數(shù)據(jù)中學(xué)習(xí)規(guī)律與知識，數(shù)據(jù)的質(zhì)與量決定了模型本身的天花板。

海量數(shù)據(jù)集為 AI 系統(tǒng)的發(fā)展產(chǎn)生了以下的影響：

• 推動 AI 算法不斷在確定任務(wù)上產(chǎn)生更高準(zhǔn)確度與更低的誤差。這樣產(chǎn)生了針對 AI 系統(tǒng)發(fā)展的用戶基礎(chǔ)，應(yīng)用落地場景驅(qū)動力和研發(fā)資源投入。
• 讓 AI 有更廣泛的應(yīng)用，進(jìn)而產(chǎn)生商業(yè)價值，讓工業(yè)界和學(xué)術(shù)界看到其應(yīng)用潛力并投入更多資源進(jìn)行科學(xué)研究，持續(xù)探索。
• 傳統(tǒng)的機(jī)器學(xué)習(xí)庫不能滿足相應(yīng)的需求，海量的數(shù)據(jù)集讓單機(jī)越來越難以完成 AI 模型的訓(xùn)練，進(jìn)而產(chǎn)生了 AI 系統(tǒng)中分布式訓(xùn)練和 AI 集群的需求。
• 多樣的數(shù)據(jù)格式和任務(wù)，驅(qū)動模型結(jié)構(gòu)的復(fù)雜性，驅(qū)動 AI 開發(fā)框架和針對 AI 的編譯體系，需要有更靈活的表達(dá)能力對 AI 問題進(jìn)行表達(dá)與映射。
• 同時伴隨著性能等需求得到滿足，數(shù)據(jù)安全與模型安全問題挑戰(zhàn)也變的日益突出。

綜上所述，AI 系統(tǒng)本身的設(shè)計相較于傳統(tǒng)機(jī)器學(xué)習(xí)系統(tǒng)有更多樣的表達(dá)需求，更大規(guī)模和多樣數(shù)據(jù)集和更廣泛的用戶基礎(chǔ)。

二、AI算法的進(jìn)步

研究人員和工程師不斷設(shè)計新的AI算法和AI模型，提升預(yù)測的準(zhǔn)確性，不斷取得突破性進(jìn)展。但是新的算法和模型結(jié)構(gòu)需要AI框架提供便于對AI范式的編程表達(dá)和靈活性，對執(zhí)行性能優(yōu)化可能會改變原假設(shè)，進(jìn)而產(chǎn)生對AI系統(tǒng)的新需求。AI框架和針對AI的編譯對前端、中間表達(dá)和系統(tǒng)算法協(xié)同設(shè)計的演進(jìn)和發(fā)展。

精度超越傳統(tǒng)機(jī)器學(xué)習(xí)

以 MNIST 手寫數(shù)字識別任務(wù)為例，其作為一個手寫數(shù)字圖像數(shù)據(jù)集，在早期通常用于訓(xùn)練和研究圖像分類任務(wù)，由于其樣本與數(shù)據(jù)規(guī)模較小，當(dāng)前也常常用于教學(xué)。從圖中可以觀察了解到不同的機(jī)器學(xué)習(xí)算法取得的效果以及趨勢：1998 年，簡單的 CNN 可以接近 SVM 最好效果。2012 年，CNN 可以將錯誤率降低到 0.23% (2012)，這樣的結(jié)果已經(jīng)可以和人所達(dá)到的錯誤率 0.2% 非常接近。

神經(jīng)網(wǎng)絡(luò)模型在 MNIST 數(shù)據(jù)集上相比傳統(tǒng)機(jī)器學(xué)習(xí)模型的表現(xiàn)，讓研究者們看到了神經(jīng)網(wǎng)絡(luò)模型提升預(yù)測效果的潛力，進(jìn)而不斷嘗試新的神經(jīng)網(wǎng)絡(luò)模型和在更復(fù)雜的數(shù)據(jù)集上進(jìn)行驗證。神經(jīng)網(wǎng)絡(luò)算法在準(zhǔn)確度和錯誤率上的效果提升，讓不同應(yīng)用場景上的問題，取得突破進(jìn)展或讓領(lǐng)域研發(fā)人員看到相應(yīng)潛力，是驅(qū)動不同行業(yè)不斷投入研發(fā) AI 算法的動力。

公開數(shù)據(jù)集上突破

隨著每年 ImageNet 數(shù)據(jù)集上的新模型取得突破，新的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)和訓(xùn)練方式的潛力。更深、更大的模型結(jié)構(gòu)有潛力提升當(dāng)前預(yù)測的效果。1998 年的 Lenet 到 2012 年的 AlexNet，不僅效果提升，模型變大，同時引入了 GPU 訓(xùn)練，新的計算層（如 ReLU 等）。到 2015 年的 Inception，模型的計算圖進(jìn)一步復(fù)雜，且有新的計算層被提出。2015 年 ResNet 模型層數(shù)進(jìn)一步加深，甚至達(dá)到上百層。到 2019 年 MobileNet3 的 NAS，模型設(shè)計逐漸朝著自動化的方式進(jìn)行設(shè)計，錯誤率進(jìn)一步降低到 6.7% 以下。

新的模型不斷在以下方面演化進(jìn)而提升效果：

1）更好的激活函數(shù)和層，如 ReLU、Batch Norm 等；

2）更深更大的網(wǎng)絡(luò)結(jié)構(gòu)和更多的模型權(quán)重；

3）更好的訓(xùn)練技巧: 正則化（Regularization）、初始化（Initialization）、學(xué)習(xí)方法（Learning Methods），自動化機(jī)器學(xué)習(xí)與模型結(jié)構(gòu)搜索等。

上述取得更好效果的技巧和設(shè)計，驅(qū)動算法工程師與研究員不斷投入，同時也要求 AI 系統(tǒng)提供新的算子（Operator）支持與優(yōu)化，進(jìn)而驅(qū)動 AI 開發(fā)框架和 AI 編譯器對前端、中間表達(dá)和系統(tǒng)算法協(xié)同設(shè)計的演進(jìn)和發(fā)展。

三、算力與體系結(jié)構(gòu)的進(jìn)步

計算機(jī)性能的增強(qiáng)主要來自于摩爾定律，但到了二十世紀(jì)末，由于摩爾定律的停滯，性能的提升逐漸放緩。

于是，人們開始為應(yīng)用定制專用處理器，通過消除處理器中冗余的功能部分來進(jìn)一步提高對特定應(yīng)用的計算性能。

例如，圖形處理器GPU就對圖像類算法進(jìn)行專用加速。后來出現(xiàn)的GPGPU、TPU等，都是針對特定計算任務(wù)進(jìn)行優(yōu)化的處理器，它們通過深度學(xué)習(xí)模型中的算子進(jìn)行抽象，轉(zhuǎn)換為矩陣乘法或非線性變換，根據(jù)專用芯片進(jìn)一步定制流水線化的脈動陣列，進(jìn)一步減少訪存提升計算密度，提高了AI模型的執(zhí)行性能。

如圖所示后來出現(xiàn) GPGPU，即通用 GPU，對適合于抽象為單指令流多數(shù)據(jù)流（SIMD）或者單指令多線程（SIMT）的并行算法與工作應(yīng)用負(fù)載都能起到驚人的加速效果。

這些進(jìn)步不僅推動了AI系統(tǒng)的發(fā)展，也為AI技術(shù)的廣泛應(yīng)用奠定了堅實的基礎(chǔ)。隨著技術(shù)的不斷進(jìn)步，AI系統(tǒng)將繼續(xù)演化，以適應(yīng)更加復(fù)雜和多樣化的應(yīng)用場景。

AI芯片近年來因性能提升而備受關(guān)注。谷歌的TPU通過將深度學(xué)習(xí)模型算子轉(zhuǎn)化為矩陣運(yùn)算和脈動陣列，提高了計算密度和模型執(zhí)行效率。

華為的昇騰NPU和達(dá)芬奇架構(gòu)針對矩陣運(yùn)算進(jìn)行了優(yōu)化，提供了強(qiáng)大的AI計算能力。

硬件廠商也在將稀疏性和量化等算法加速手段集成到專用加速器中，如英偉達(dá)的Transformer Engine，進(jìn)一步提升了專用計算領(lǐng)域的性能。盡管處理器性能大幅提升，但AI芯片執(zhí)行的代碼仍是預(yù)設(shè)的，智能程度不及生物大腦。

未來，AI系統(tǒng)的性能提升不僅依賴于芯片的迭代和分布式計算的擴(kuò)展，還需算法和硬件的協(xié)同設(shè)計，以應(yīng)對算力瓶頸并提升計算效率。