論關于GPT發展的異樣感及其思考

0 評論 4041 瀏覽 2 收藏 8 分鐘

這篇文章主要討論生成式AI領域的發展,盡管該領域技術日新月異,但其中仍存在一些問題。作者就這些問題進行思考,并對微觀、宏觀兩個層面提出對應的建議。希望能對你有所幫助。

在當前火熱的生成式AI行業中,大模型的技術日新月異,對于那些一無所知的人來說,就如同面對著未知的世界,無所適從。

可以說,在這些領域上沒有足夠的技術知識,就像是當今社會的文盲一樣,可能會錯失很多機會。

然而,隨著越來越多的企業、創業團隊和研究機構進入這個領域,個人感到頗為奇怪,覺得這個領域的發展過快,仿佛有什么不對勁的地方。

這是一個非常有價值的話題,因此想在這里簡要分享一下想法。

一、GPT發展的異樣感

1. 要做中國的類ChatGPT

從各大廠商推出的大模型產品來看,它們借助自身的研發實力和財力,推出了文心一言、通義千問等產品,并早先進行內測和應用。

但是,其本質上的思路都是仿照OpenAI的思路,通過數據和預訓練模型打造中國版的ChatGPT。初看起來,這似乎是適合我們發展的道路。

但這里面其實有著我們目前無法解決的兩個關鍵問題:

  1. 算力問題。如我國目前仍未有類似于英偉達的NVlink技術(將多個芯片連在一起的帶寬技術,從而可以提供更為強大的計算能力),而這項技術是訓練大模型的關鍵技術之一。
  2. 數據問題。在ChatGPT的訓練數據中,中文數據占比僅為0.09905%,優質數據相較于其他語言,占比太少。

以上兩個問題,個人認為是涉及到大模型行業發展的最重要的問題,沒有之一。

其中,問題1目前國內并沒有可以攻克的實力,更多的需要依賴國外的技術支持。

問題2關于中文數據的問題,目前中文在全世界應用的范圍有限,在解決中文數據質量及數量問題上,仍需要時間。

2. 耗能及成本問題

根據《ChatGPT挑起的這場AI競賽,有一個骯臟的秘密》描述:訓練GPT-3消耗了1287兆瓦時,并導致超過550噸二氧化碳的排放——相當于一個人在紐約和舊金山之間往返550次。

大模型的訓練成本不是一個中小型甚至是大型公司能夠輕易承受的成本。此外,還需關注環境、災害管理和訓練方法等課題。這些因素會導致企業面臨高昂的成本問題。

盡管我個人認為很多初創公司的思考仍然不夠,但這并不影響認為這是一個需要關注的問題。

很多公司仍在喊口號:“未來,我們要打造屬于XX行業的大模型”。僅注重應用場景的深度和廣度,并未提及到自身企業的優勢、成本及技術經驗的儲備。

3. 大模型行業陷入了“內卷”的惡性循環

類似于以往互聯網、電商的發展,很多企業(包括openAI)已經在瘋狂搶奪大模型人才。相關JD描述不少都是需要有大模型訓練、GPT使用工具經驗及prompt工程等要求。而這些在2022年前,都還不為大眾所熟悉。

薪酬方面只要牽扯到GPT大型模型相關的,基本都保持在20w-80w的高水平(以深圳為例)。

另外大模型也出現了不少行業大模型,如BloombergGPT(金融)、MathGPT(數學)等,未來肯定還有更多行業屬性的大模型出現。

但這個是很奇怪的一個現象,類似于以往的語音agents,又將通用智能割裂成一個又一個模塊。后面也許又會變成比較哪一個行業大模型更智能的問題上。

二、引發的思考

1. 宏觀層面

1)國家層面

  1. 制定大模型、生成式AI的相關政策支持及監管,持續不斷地推進大模型行業發展。
  2. 探討在國內應用生成式AI的可行性,與各大高校、研究機構及企業合作,可能還需要海外機構,逐步在各行業進行應用。
  3. 更新或者設立高等院校的關于生成式AI的相關專業,另外還要注重芯片研發、統計科學及人工智能專業的發展。

2)企業層面

  1. 積極擁抱國外的先進技術,探索出存在差異化的產品定位/思路,從其他賽道超過美國,而不是從數據、算力方面突破。
  2. 做好后備資金及研發投入的支持,在保證自己能存活的前提下,鼓勵創新及發展。

2. 微觀層面

從業者或者期望從業者

  1. 自主學習。嘗試使用各類生成AI工具,在生活、工作及學習中使用,有時間可以整理分析各類AI工具的競品分析材料.
  2. 嘗試應聘相關AI產品崗位時,帶著你的思考和總結材料(如對目標公司的產品分析及產品原型,特別是AI相關的場景應用)去應聘,不用很詳細,但最好有自己的獨到見解。
  3. (慎用)考慮是否有必要進修。AI行業本身就是存在一定門檻,很多時候對技術的學習需要系統化,結合自己的情況,了解海外或者國內比較有名的院校(一般都是人工智能、數據科學、計算機等專業)。

針對第三點尤其要提的是,由于當前國內的學歷貶值現象比較嚴重,深造是機會成本較高的選擇,無論是跨學科還是非跨學科,都有時間、經濟和精力相關的成本。畢業后的就業也是一個挑戰,所以需要結合自身情況,仔細考慮是否進修。

參考內容

hanniman,“最近ChatGPT這么火,總感覺有點不對勁”。

本文由 @SiegZhong 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!