大模型的核心秘密:開學季與招聘季的思考啟示
大模型技術在近年來取得了顯著的進展,特別是在開學季和招聘季,它成為了一個熱門話題。本文探討了大模型的核心秘密,分析了其背后的關鍵因素,包括數據源、算法和算力,并討論了數據科學專業和數據分析師職業發展的道路。
一、大模型的密碼
又到了一年的開學季,也是招聘季,今年最火的應該就是大模型應用了,作為一名互聯網從業者,肯定要去獨立思考一個問題:大模型的本質是什么,為何突然就火了?
以最熱的chatgpt來說,仔細研究發現,竟然用的還是前饋神經網絡和自回歸模型這些算法,很巧的是,這套東西就是我讀書時的研究方向,也就是說,十幾年前都有了,這么多年,還是那一套。那到底是什么驅動大模型的本質變化
大家都知道,一個模型效果好壞的核心三個元素是:數據源、算法、算力。算法這塊沒什么新花樣,那就只能是其他兩個因素了,數據源這塊最大的挑戰是數據質量問題,算力這塊最大的挑戰就是計算顯卡。
數據源質量:在數據正式可用之前,要做的一件事就是數據標注,就是打標簽,得定義他,要不然計算機程序無法理解。但是呢,數據標注這個事人工工作量非常大,要想把幾千億、幾百T數據很好的使用,肯定不能靠手工,必須要有模型能夠對無標注數據進行理解。具體來說就是讓模型在大規模無標注數據上針對通用型任務進行訓練,使模型具備理解語言的基礎能力。這一套在ML里面有個專業名詞—無監督學習
無監督預(自監督)訓練:在沒有標注的數據上做預訓練。假設我們有一段文本,里面每一個詞都是有序的,模型使用 Transformer 解碼器來預測第一個詞出現的概率。預測的方式就是通過前面的詞的序列來預測接下來詞出現的概率,某種意義上講就是各種枚舉然后看概率,前面的詞越長,預測出后面詞出現的概率精度就越高,這點應該是非常容易理解的。同時我們也可以想象出,這個計算是非??植赖摹?/p>
此外,數據量的大小對于運算計算機算力的要求往往呈現指數級別的關系,這也是強大算法的核心需求。原因是數據清洗和數據標注的核心意義就是將人們理解的非結構化數據轉變成計算機可以理解的結構化數據。而人工智能對數據的本質理解其實就是矩陣的運算,矩陣的維度往往代表著數據特征的維度,這也是訓練神經網絡參數的基礎,一般情況下,數據維度越多,模型參數量越多,模型越復雜,模型的準確度越高,對算力的指數需求越高。本質是數據維度與算力指數呈現正相關。
綜上我們可以得出:大模型與小模型或者說傳統模型對比,本質就是兩個差異,一是算力變強了,也就是顯卡性能好,二是數據量變多了,過往可能就是幾千個參數,現在動不動就是多少個B,而這一切又離不開算力。所以說本質還是因為算力的進步帶來了大模型的可想像力及落地。至于算法本身,無非就是調優再調優,總能找到空間
二、開學季,高校的數據科學專業
以前數據分析風口的時候,很多人轉型數據分析,現在又到大模型了,肯定會心動,不少人都想去轉型。其中一種方式就是去讀個對口的在職研究生,目前大模型這塊還是數據科學與大數據技術專業這個分支下。
數據科學專業的課程包括數學、統計學、數據挖掘、機器學習、程序設計、數據庫管理、數據可視化、數據處理和數據分析等內容。學習如何使用編程語言(如Python、R等)和數據分析工具(如SQL、Tableau等)來處理和分析數據,并掌握基本的統計學和數學知識。研究方向主要包括以下幾個方面:
1、人工智能方向:研究如何用人工的方法去模擬和實現人類智能,其研究基礎是知識表示和推理、人工神經網絡等。
2、數據技術方向:以Hadoop生態圈工具為代表的一系列對數據的收集、存儲、分析和計算,強調對此類工具的熟練掌握和使用。
3、數據分析、計算與可視化方向:使用R或Python語言進行數據分析,基于Tableau、D3.js和Echarts等工具對數據進行可視化和可視分析
根據中國大學排行榜官網(CNUR)專業排名及評級結果。北京大學、復旦大學和華東師范大學排名全國數據科學與大數據技術專業前三,評級結果為S
三、招聘季,后續就業發展的三條路
基于數據科學的三個研究分支,在就業的時候會有三個方向,這也基本代表了目前數據分析人員發展的三條道路
1、人工智能方向:后續會從事算法的研究,包括算法設計、AB測試、模型調試,非常值錢,要求就是數學基本功扎實。本身大模型就是這個方向
2、大數據技術方向:后續會從事數據處理工作,包括采集、加工、存儲、傳輸、平臺建設,要求就是編程功底好。大模型本身也非常依賴
3、數據分析業務策略方向:后續會從事業務分析師、數據產品經理工作,包括提數、分析、報告,商業,要求就是綜合能力強,人手不夠的時候就當產品來上。大模型本身也需要數據策略產品經理,一個大模型可能會有不同的版本,基于不同數據也可能訓練出不同的結果。策略產品經理的角色在于評估大模型的訓練效果和制定優化策略。
可以看出,數據分析這條路一直很值錢,核心就是你要自己成長,能夠自我進化
四、什么性格特質適合數據分析師
今年奧運會男乒1/4決賽樊振東VS張本智和的對決中,解說的一句話很有感觸,拼到最后的已經不是技術,而是你的性格,你內心想成為的那種人。我們都知道性格,實際上就是你面對一個事情時候下意識的那個反應,比如說把你扔在陌生人當中,突然有人向你說話。你會不會回應他。這個就跟你性格當中的內向跟外向有關。那么究竟什么樣的性格適合做數據分析師?
那測量性格的方法有很多種,比如說MBTI、disc,那其中呢,我覺得MBTI比較全面,并且我身邊很多人都做過,所以我知道我身邊的數據分析師都是什么樣的性格,所以我就拿MBTI做例子,跟大家做一個分享。MBTI呢,主要是通過四個維度來考察性格,分別是
1、外向E,內向I
2、實感S,直覺N
3、理智T,情感F
4、判斷J,感知P
每個維度下有兩種類型,總共四個維度。據我身邊的觀察,我身邊的數據分析師有大量的人都是STJ,也就是I和E無所謂,也就是內向和外向并沒有明顯的區分,這兩個都可以,因為內向外向是相對的。然后偏務實、理智能夠很快決策,這個也很好理解。這里也分享下MBTI鏈接,大家可以自己花1分鐘時間去測試看下是否適合做數據分析師,特別是進化出的大模型架構師,很值錢!
本文由 @數據分析與人工智能 原創發布于人人都是產品經理。未經作者許可,禁止轉載
題圖來自Unsplash,基于CC0協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務
- 目前還沒評論,等你發揮!