本文詳細探討了GPU的重要性、設計初衷及其在AI訓練和推理中的應用，同時介紹了CUDA平臺及其對GPU計算能力的擴展。通過深入了解GPU和CUDA，讀者可以更加明晰當前AI技術發展的趨勢和需求，以及如何利用這些技術推動行業的前進。

身處AI時代的我們，想必都聽過”GPU“、英偉達。但是真正了解GPU的人，可能并不多。本文，通過與chatGLM一系列對話，對GPU相關問題,刨根問底，得到了答案。讓我們一起來看看吧…

記得本人剛入行，做私有化交付型的一些AI產品和項目的時候，一些AI算法模型，我們會同時給出CPU版本性能參數和GPU性能參數，有些AI算法服務需要客戶自行準備GPU機器，用于算法前期POC測試和運行。印象最深刻的就是：幾乎所有涉及到圖像處理、CV領域的算法，比如車輛檢測、物體檢測、人臉識別等都需要GPU機器。當時，我就是那么去“記”的，也沒怎么耽誤推進產品和項目進度，所以也沒深究到底什么是GPU？、什么是CUDA？

恰逢本人今年4月份，在面試某公司大模型產品經理崗位時（偏技術型），被問到了 “什么是CUDA？”——所以趁有時間，分享一下~

當前AIGC的時代浪潮已經掀過一翻，目前遺留的最大問題就是：【算力短缺問題】。所以，未來大力發展“算力”，是大勢所趨。我們AI的從業者們，也可再往深入探究一些，為行業的共同發展和認知普及，做一些貢獻?！@也是本篇本章產出的另一原因。

一、GPU是啥？干嘛用的？非它不可嗎？

眾所周知，在【電腦】里，有個充當”腦子“的東西，叫做：CPU（中央處理單元），它能夠進行各種計算任務，包括圖像處理和數據分析。

好，那直接用CPU進行各種運算不就得了，為啥做深度學習、搞AI模型的這幫團隊，非得用GPU？

—————一個字：快！七個字：并行計算，所以快！

好，那下面再深究一下：

1. 為何GPU就能并行計算了？
2. GPU怎么個并行計算法？
3. GPU的發明，是為了解決什么問題的？

1. GPU的設計初衷——為了加速圖形計算和圖形渲染

背景：在20世紀90年代，計算機游戲和多媒體內容的興起，對于能夠快速生成復雜3D圖形的硬件需求日益增長，而那時的CPU只能順序執行指令。

2. 為什么圖像圖形計算，就非得需要“并行運算“提效呢？

并行計算提效的原因：一個工人一個點一個點噴涂 v.s. 一堆工人同時噴涂。

圖形計算與渲染需要計算每個像素點的亮度、顏色等數值，如果一個點一個點順序執行，那太慢，而并行運算就快很多啦?！狦PU 有多個核。

下面這張圖更直接：

3. 為何AI訓練、AI推理等深度學習任務，也需要高性能運算？為何選GPU？

在AI推理中，有很多重復性的計算，比如大量的加減乘除運算。

在AI深度學習任務中，建模的目標就是：求解目標函數?！繕撕瘮登蠼?，需要求解出每個特征對應的參數?！热绗F在的AI大模型，動不動10億級別、百億級別參數量級。

圖：目標函數示例

所以，需要提高訓練和在線推理性能的東西?！怯袀€現成的東西：GPU?？梢阅脕砑从?。

GPU的應用場景，也由最初的”加速圖形渲染“，演變到了現在的”通用計算“場景。

二、什么是CUDA？

好了，了解了前面GPU是什么、GPU的設計初衷、GPU能干嘛？（加速圖形計算–通用高性能計算：AI訓練&AI推理）；

下面再了解一下，什么是CUDA吧？

——CUDA，是在英偉達Ian Buck（CUDA項目負責人）率領下，于2006年正式推出的全球首款GPU上的通用計算解決方案?？梢岳斫鉃?，它是一個軟件平臺，里面包含各種庫函數，包括：圖形庫、數學庫、深度學習庫、runtime庫等；個人理解，CUDA它就是實現AI深度學習任務的一個軟件平臺或框架，類似的還有Pytorch、Tensorflow。

三、除了英偉達的V100、A100、H100等GPU，還有哪些廠家有哪些GPU？

1. 國外除了英偉達做AI芯片的廠商，還有：

數據來源：chatGLM-2024年7月.

2. 國內做AI算力的廠商，以華為昇騰為主力代表，其它廠家還有：

遂原科技（騰訊投資）、地平線、寒武紀、百度（昆侖芯片）、比特大陸、中科曙光、海光、壁仞科技、摩爾線程（GPU芯片“春曉”）、礪算科技（G100）、象帝先（天鈞一號）、智繪微（IDM9系列）、芯動力（RPP-R8）等等；

更多國產算力芯片廠商，可詳見這篇文章：GPU國產替代逆流而上 盤點九個值得關注的國產GPU產品（https://new.qq.com/rain/a/20230108A00HNE00），或者自行翻一翻歷年的《算力行業研究報告》~

四、本文參考資料

1、一文讀懂 GPU 的發展歷程：https://juejin.cn/post/7125824952342675464

2、英偉達為什么這么紅：說說GPU計算背后的故事：https://new.qq.com/rain/a/20230108A00HNE00

3、GPU國產替代逆流而上 盤點九個值得關注的國產GPU產品：https://new.qq.com/rain/a/20230108A00HNE00