“大模型、NFC、人生”與第一性原理

2 評(píng)論 3374 瀏覽 4 收藏 7 分鐘

任何一個(gè)系統(tǒng)都有自己第一性的原理,是一個(gè)根基性命題或假設(shè),不能被缺省,也不能被違反。這篇文章作者將用通俗易懂的例子來為我們介紹“第一性原理”的概念和使用方法,歡迎大家閱讀~

有一天,我和一個(gè)朋友聊起了GPT的模型大小。

我提到GPT3的模型大概有40GB,但他卻認(rèn)為應(yīng)該是幾百GB。

我說他弄錯(cuò)了,因?yàn)槲仪宄赜浀米约涸?jīng)問過ChatGPT:

“大模型、NFC、人生”與第一性原理

但是,后來我查了一下,發(fā)現(xiàn)他是對(duì)的,GPT-3的模型大小確實(shí)是幾百GB。

這一次,我被ChatGPT忽悠了。

其實(shí),如果我們使用“第一性原理”,就可以估算出這個(gè)數(shù)值的大致范圍。

深度學(xué)習(xí)訓(xùn)練出的大模型中,最主要的是億萬個(gè)神經(jīng)元,而每個(gè)神經(jīng)元最重要的是其參數(shù),即節(jié)點(diǎn)的權(quán)重和偏置值。

GPT-3的模型共有1750億個(gè)參數(shù),而這些參數(shù)通常使用4個(gè)字節(jié)的浮點(diǎn)數(shù)來保存的。

因此,我們可以通過簡單的乘法來估算出GPT-3的模型大小。

具體來說,1750 * 4 = 7000億字節(jié),即700GB。

實(shí)際上,GPT-3的模型是800GB,與上述估算接近。

類似地,GPT-1、GPT-2的模型大小也符合“乘4”的規(guī)律。

GPT-1有1.17億個(gè)參數(shù),模型大小約為0.47GB(1.17億*4=0.468G)。

GPT-2有15億個(gè)參數(shù),模型大小約為6GB(15億*4=6G)。

你看看,了解了一個(gè)事物的本質(zhì),遵循“第一性原理”,就能做出較為準(zhǔn)確的推理和判斷。

所謂“第一性原理”,是一種從基本原理出發(fā)、剝離已有經(jīng)驗(yàn)和假設(shè)的思考方式,由亞里士多德提出。

其實(shí),就是追求底層邏輯、遵循本質(zhì)的原理。

馬斯克對(duì)“第一性原理”特別推崇,并不斷進(jìn)行實(shí)踐。

比如,利用“第一性原理”造火箭。

當(dāng)馬斯克開始研究火箭制造成本時(shí),他發(fā)現(xiàn)傳統(tǒng)方法成本極高。

通過運(yùn)用第一性原理,他深入研究火箭的基本組成部分和制造過程,找到了降低成本的方法,從而創(chuàng)立了SpaceX。

這使得火箭制造成本大幅降低,實(shí)現(xiàn)了可回收和重復(fù)使用的火箭,為航天領(lǐng)域帶來了革命性的改變。

利用“第一性原理”,特斯拉制定了“純視覺”的自動(dòng)駕駛技術(shù)路線。

馬斯克和特斯拉團(tuán)隊(duì)認(rèn)為,人類駕駛員主要靠視覺來駕駛汽車。

他們從這個(gè)基本原理出發(fā),堅(jiān)信純視覺系統(tǒng)可以實(shí)現(xiàn)完全自動(dòng)駕駛,而不依賴激光雷達(dá)等其他傳感器。

因此,特斯拉專注于優(yōu)化攝像頭和計(jì)算機(jī)視覺算法,大大提高了自動(dòng)駕駛性能,使特斯拉的自動(dòng)駕駛技術(shù)在業(yè)界處于領(lǐng)先地位。

遵循“第一性原理”制造特斯拉“人形”機(jī)器人Optimus。

特斯拉機(jī)器人是特斯拉公司計(jì)劃開發(fā)的一款人形機(jī)器人,旨在實(shí)現(xiàn)自動(dòng)化生產(chǎn)、家庭服務(wù)等功能。

從第一性原理出發(fā),馬斯克認(rèn)為這個(gè)世界上大部分基礎(chǔ)設(shè)施和工具都是為人類設(shè)計(jì)的。

因此,開發(fā)一個(gè)能夠與人類一樣靈活地使用這些工具和設(shè)施的機(jī)器人是有意義的。

特斯拉機(jī)器人的設(shè)計(jì)目標(biāo)是解決一系列通用勞動(dòng)問題,從而提高生產(chǎn)效率和改善人們的生活質(zhì)量。

其實(shí),在生活當(dāng)中,我們也可以應(yīng)用“第一性原理”。

例如,用“第一性原理”復(fù)制門禁卡。

有一天,我想把門禁卡存入手機(jī)的NFC軟件中(稱為手機(jī)A),方便開啟單元樓的門。

但手頭只有另外一個(gè)已經(jīng)復(fù)制了卡的手機(jī)(稱為手機(jī)B),而沒有實(shí)體卡。

在研究了一下之后,我發(fā)現(xiàn)手機(jī)的NFC軟件并沒有分享卡片的功能。

在幾乎要放棄的時(shí)候,我想起了“第一性原理”——手機(jī)B的NFC卡既然能打開門禁,那么它工作時(shí)其實(shí)就相當(dāng)于是一張實(shí)體門禁卡。

于是,我把手機(jī)B中的門禁卡“打開”,將手機(jī)A靠近手機(jī)B,并選擇添加門禁卡。

結(jié)果,成功地將門禁卡復(fù)制到了手機(jī)A當(dāng)中。

接著,我們?cè)偎伎家粋€(gè)更加宏大的哲學(xué)問題:人生的目的和意義究竟是什么?

對(duì)于這個(gè)問題,我們可以嘗試運(yùn)用“第一性原理”來加以探討。

在這個(gè)崇尚物質(zhì)和金錢的社會(huì)里,很多人可能認(rèn)為人活著就是為了掙錢、為了擁有豪車豪宅、為了追求名利地位。

然而,如果我們深入思考,追求這些東西的最終目的究竟是什么呢?

當(dāng)我們不斷追問背后的原因,我們會(huì)發(fā)現(xiàn),所有這些追求的最終目的都是為了實(shí)現(xiàn)的幸福和快樂。

因此,無論美丑、貧富、無論處于逆境還是順境,我們都應(yīng)該學(xué)會(huì)在當(dāng)下的每一天,追求和實(shí)現(xiàn)幸??鞓返哪芰?,而不是陷入對(duì)現(xiàn)在的抱怨,對(duì)未來的假設(shè)和等待當(dāng)中。

第一性原理,你值得擁有。

專欄作家

朱百寧,微信公眾號(hào):八點(diǎn)三十五,人人都是產(chǎn)品經(jīng)理專欄作家。前百度品牌總監(jiān)、螞蟻產(chǎn)品總監(jiān),著有《自傳播》一書,現(xiàn)在專注于人工智能以及產(chǎn)品設(shè)計(jì)等領(lǐng)域。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自 Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 第一性原理:從底層邏輯,本質(zhì)規(guī)律的角度來思考,確實(shí)可以解決一切問題,不管是精神世界還是物理世界都是有規(guī)律存在的,獲取了底層本質(zhì),在結(jié)合當(dāng)前的環(huán)境條件,解決問題的方法論就出現(xiàn)了,所以我們要有學(xué)習(xí)和認(rèn)知“底層邏輯”的能力。

    來自江蘇 回復(fù)
  2. 無論是在科技創(chuàng)新上,生活上還是人生哲理的認(rèn)識(shí)上,我們都可以嘗試運(yùn)用“第一性原理”來思考,這個(gè)角度真的好特別又好有邏輯。

    來自遼寧 回復(fù)