中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

在ChatGPT領(lǐng)域，哪個(gè)方向是它的未來趨勢，能更快地“接近真相”呢？本文作者從商業(yè)的角度，對7個(gè)方向進(jìn)行了總結(jié)分析，希望能給你帶來一些啟發(fā)。

小科普：尤里卡，希臘詞匯，是發(fā)現(xiàn)真相時(shí)的感嘆詞，在游戲文明6中，當(dāng)你觸發(fā)尤里卡，你的科技會縮短40%的研究時(shí)間（中國文明縮短50%）

再小科普：AI繪畫的尤里卡時(shí)刻有兩個(gè)，Stable Diffusion讓成本下降到可用，ControlNet讓繪畫可控性大大提升，踏入更廣闊的應(yīng)用領(lǐng)域。

在前面的系列文章中，我們講了LLM的技術(shù)原理、商業(yè)應(yīng)用、社會影響等方面。但這些都是聚焦當(dāng)下或較近的未來，那么更遙遠(yuǎn)的趨勢呢？

就像Diffusion的ControlNet模型一樣，如果你更早發(fā)現(xiàn)他的趨勢，你就不會花費(fèi)精力在語義理解、穩(wěn)定控制等方面，而是直奔可控性（我與很多朋友聊天，發(fā)現(xiàn)他們的團(tuán)隊(duì)或多或少都有可控性方面的嘗試，但因?yàn)橼厔蒎e(cuò)判，而沒有全力All IN）。

或者哪怕你不是做技術(shù)的，你提前預(yù)判到，你也能在產(chǎn)品角度、商業(yè)角度做前置的思考和布局。

不過接下來我的分析不會那么偏技術(shù)（因?yàn)椴欢菑母虡I(yè)的角度來看這些方向。畢竟商業(yè)利益催生應(yīng)用，應(yīng)用催生技術(shù)涌現(xiàn)，有時(shí)候跳出技術(shù)思維（剛好我沒有），或許更能看到一些盲生的華點(diǎn)。

希望對大家有所啟發(fā)，也歡迎拍磚討論。

以下是全部內(nèi)容：

1. 降低門檻 ????
2. 萬物終端 ??????
3. 思維鏈CoT ????
4. 反作弊 ??
5. 文本外應(yīng)用 ??
6. 私有化 ????
7. GPT4來了？??????

下面每個(gè)方向的介紹都比較簡潔，不會窮舉所有案例，也不會長篇大論講解原理。

方向一：降低門檻 ????

我說過技術(shù)涌現(xiàn)是需要“人數(shù)基礎(chǔ)”的，參與的玩家越多，這個(gè)領(lǐng)域的發(fā)展才會越快。同時(shí)我們本身也需要關(guān)注門檻的降低速度，以預(yù)判更多玩家涌入對商業(yè)生態(tài)的影響。基于這兩個(gè)因素，重要性2星。

第一個(gè)例子以FlexGen為例，目前GitHub 5K Stars，實(shí)現(xiàn)了大模型推理中的顯卡平替（推理就是回答問題）。

簡單介紹：

1）用更大的吞吐量掩蓋低延遲（你可以慢，但做多一點(diǎn)）；

2）工程上優(yōu)化了效率，不僅可以用16GB T4 的顯卡去替代又貴又稀缺的80G A100。并且實(shí)現(xiàn)了這種方式相較以往框架的100倍效率提升。——說白了，推理的時(shí)候你不一定要用A100了！喜大普奔！

如果需要比較通俗的科普，看這個(gè)：https://zhuanlan.zhihu.com/p/608279479如果需要看GitHub原鏈接，看這個(gè)：https://github.com/FMInference/FlexGen

第二個(gè)例子是ColossalAI（看名字就知道，專門對付大模型），Github上17.5K Stars，他在解決訓(xùn)練成本、推理成本的問題。他的實(shí)現(xiàn)方案太復(fù)雜了，大概是更高效的并發(fā)策略、更好的工程結(jié)構(gòu)等我還沒深入研究的東西哈哈。大家感興趣follow下面鏈接做深入學(xué)習(xí)?？破招詧?bào)道（可能有PR成分）如下：https://zhuanlan.zhihu.com/p/606397774GitHub鏈接如下：https://github.com/hpcaitech/ColossalAI#GPT-3

第三個(gè)例子是各類開源組織，例如EleutherAI（Stable Diffusion，GPT-3的開源組織），LAION（數(shù)據(jù)開源組織）等，他們對模型或者對數(shù)據(jù)的開源，推動(dòng)了更多參與者加入這個(gè)方向的研究。

整體來看，有非常多關(guān)于降低門檻方面的努力，包括模型開源、模型優(yōu)化、工程優(yōu)化、算力降低、顯卡平替等，說不定有一些我沒發(fā)現(xiàn)但正在進(jìn)行中的（例如定制芯片、稀疏化模型等等）。

方向二：萬物終端 ??????

我們現(xiàn)在使用ChatGPT可以讓幫我們生成視頻腳本，甚至按API字段要求生成一個(gè)可執(zhí)行的入?yún)⒚?。但是這種生成永遠(yuǎn)停留在文字程度，我們要做最終的生產(chǎn)，只能自己打開其他的應(yīng)用（如PS、如其他APP的API接口）才能將生成結(jié)果轉(zhuǎn)變?yōu)樽罱K產(chǎn)物。

如果ChatGPT能夠使用工具呢？當(dāng)我讓他幫我收集海外SaaS公司2022年財(cái)報(bào)，他將結(jié)果整理為列表，同時(shí)標(biāo)識引用的財(cái)報(bào)PDF，并將PDF下載到我的桌面（且新建文件夾并自動(dòng)重命名）。你覺得如何？想要嗎？

甚至更復(fù)雜一點(diǎn)（短期不太現(xiàn)實(shí)哈哈），你跟他說幫我畫一張“醉后不知天在水，滿船星夢壓清河”的水墨畫（用AI繪畫），并在右上角用草書寫上這兩句古詩（用PS）。你想要嗎？

這將是顛覆式的開始，就像當(dāng)初IOS誕生一樣，圍繞一個(gè)終端，全世界的應(yīng)用都會按照他的標(biāo)準(zhǔn)接入，并涌現(xiàn)出無窮的智慧。GPT不再是一種工具，而是新時(shí)代人人都離不開的終端——替代手機(jī)/電腦，更強(qiáng)大的虛擬終端。

在這種刺激下，巨頭對LLM的爭奪會進(jìn)入一個(gè)更劇烈的，更白熱化的階段：新時(shí)代的諾亞方舟，不上船者必死。

這一切的開始，來自Meta AI發(fā)布的Toolformer，他讓LLM連接工具成為可能。

簡單介紹：

1. 讓AI明確有些問題，可以調(diào)用工具（例如知識，計(jì)算，查詢?nèi)粘蹋?/p>

2. 讓AI合理地轉(zhuǎn)化自然語言命令為API命令（即調(diào)用工具的入?yún)ⅲ?/p>

3. 讓AI在組織回答時(shí)，正?；卮?，但部分需獲取的答案，去調(diào)用API獲得結(jié)果后再嵌入回答中。

下面是一個(gè)論文中的例子（括號內(nèi)即API命令+調(diào)用后的結(jié)果）：

Q：拜登在哪里出生

A：拜登在（調(diào)用搜索引擎查詢“拜登在哪里出生”，獲得答案斯克蘭頓）斯克蘭頓出生。當(dāng)然論文中的例子還較為簡單，離我的狂想還有一段距離。但這種思路揭示了一種未來：我們可以訓(xùn)練LLM模型對工具使用的理解，包括何時(shí)應(yīng)該使用工具，自然語言如何轉(zhuǎn)化為使用工具的API命令。

等他進(jìn)一步完善之后，所有的應(yīng)用都必須按照LLM定義的標(biāo)準(zhǔn)提供接口，并跪著求LLM收錄他們作為可調(diào)用工具（例如都是查詢?nèi)諝v行程，我是查Google日歷，還是查滴答清單呢？）

科幻未來就在眼前，三星好評！

簡單科普看這個(gè)：https://www.zhihu.com/question/583924233/answer/2900129018論文看這個(gè)：https://arxiv.org/pdf/2302.04761.pdf

方向三：思維鏈CoT ????

第一個(gè)例子有點(diǎn)搞笑，但我發(fā)誓是真的：

第一步，讓AI回答最終答案之前先拆解問題：“Think step by step”第二步，然后再讓AI基于這個(gè)推理結(jié)果給出最終答案：“so the answer is ?”拆成兩步后，準(zhǔn)確率從17.1%飆升到78.7%

無圖無證據(jù)，論文《LargeLanguage Models are Zero-ShotReasoners》原圖

第二個(gè)例子來自小冰的X-CoTA。

直接上圖，大家仔細(xì)看看：

在圖中，小冰面對問題“北京到蘇州相當(dāng)于跑了多少個(gè)馬拉松”，他拆解成了“北京和蘇州的距離”，“一個(gè)馬拉松有多長”兩個(gè)問題進(jìn)行推理。并最終基于兩個(gè)小問題的答案給出最后答案。

一方面，復(fù)雜問題拆解為多個(gè)子問題提升了最終回答的正確率，另一方面，更加關(guān)鍵的是——這讓AI的推理過程可視化。而可視化，就意味著人類可以進(jìn)行過程糾錯(cuò)，接下來請看第三個(gè)例子。

第三個(gè)例子：LangChain 的memory功能。

下圖中右側(cè)，模型弄錯(cuò)了Similar to的意思，被用戶教育校正。這個(gè)校正會存入Memory中，當(dāng)AI下次在遇到累死問題，他就會來尋找曾經(jīng)的memory并避免犯錯(cuò)。

這個(gè)功能本身是和CoT思維鏈毫無關(guān)系的。

但是如果你把LangChain的這個(gè)功能，與第二個(gè)例子結(jié)合起來。

你就會發(fā)現(xiàn)，所謂的用戶反饋（即大名鼎鼎的RLHF）不僅僅能夠出現(xiàn)在訓(xùn)練/微調(diào)環(huán)節(jié)，更能直接在用戶使用過程中發(fā)揮作用，快速積攢大量的優(yōu)質(zhì)人類反饋，從而進(jìn)一步提升模型效果。

這個(gè)方向一方面本身就可以提升模型效果，另一方面為強(qiáng)化版的用戶反饋機(jī)制提供了可能，因此給2星。

方向四：反作弊 ??

大家可能看到過最近的這個(gè)新聞：《科幻世界禁止使用ChatGPT投稿》，或者更早之前的大學(xué)禁止ChatGPT的一些新聞。還有針對GPT監(jiān)測的工具，例如GPT-Zero，OpenAI自己開發(fā)的AI-Text-Classifier等。

我的看法是：政治噱頭。

第一，AI生成的本質(zhì)是什么？就是洗稿，例如我寫作中會閱讀大量的報(bào)道、文章、論文，然后總結(jié)歸納后轉(zhuǎn)寫出來——是的，技術(shù)側(cè)的知識我毫無產(chǎn)出，一行代碼也沒敲過，我只是在學(xué)習(xí)總結(jié)而已。

但這種洗稿問題，在內(nèi)容時(shí)代從來沒被解決過，不要說我這種高級洗稿，就算是低級洗稿也是毫無辦法。

第二，目前的檢測方式是基于模型有監(jiān)督學(xué)習(xí)的文本分類模型，在現(xiàn)在LLM模型起步初期，行文還有點(diǎn)生硬時(shí)，準(zhǔn)確率都不高，何況更進(jìn)步更擬人的未來？

第三，還有一些從源頭控制的方法，例如添加密碼水印（例如h字符的出現(xiàn)率比平均值高11%~13%），例如應(yīng)用側(cè)主動(dòng)標(biāo)識“來自LLM”的證明。但這些手段仍然可以通過多段拼湊，黑市LLM，離線二次處理等方法繞開。

這個(gè)領(lǐng)域是政治、商業(yè)上推行下去必須解決的問題，但他的解決方式很可能是表面解決——LLM公司出存在性手段（AI-Text-Classifier），應(yīng)用側(cè)公司做保證性聲明，政府?dāng)M定生成類內(nèi)容法規(guī)，但一切對現(xiàn)實(shí)毫無影響。

方向五：文本外應(yīng)用 ??

經(jīng)過很長一段時(shí)間的狂歡后，大部分人（或許只有我哈哈），可能都忘記了LLM的一個(gè)顛覆性變革——AGI通用人工智能的雛形。

這個(gè)雛形怎么往下推進(jìn)呢？他勢必要將當(dāng)前集中在文本領(lǐng)域的能力向更大范圍輻射。

典型的例子如ProGen，用大規(guī)模語言模型來定向預(yù)測蛋白質(zhì)結(jié)構(gòu)

簡單介紹：

1.復(fù)習(xí)一下預(yù)訓(xùn)練語言模型，把N多語料喂給他，讓它自己學(xué)習(xí)世界知識、語法知識、代碼知識。2. 好，模仿這個(gè)過程，現(xiàn)在我把蛋白質(zhì)的結(jié)構(gòu)喂給ProGen，讓它自己學(xué)習(xí)，讓它明白原來要具備殺菌性，結(jié)構(gòu)是這樣的，具備耐寒性，結(jié)構(gòu)得是這樣的；

3. 現(xiàn)在我可以要求他定向預(yù)測蛋白質(zhì)結(jié)構(gòu)了——例如我要?dú)⒕院玫牡鞍踪|(zhì)。

這個(gè)模型現(xiàn)在的參數(shù)規(guī)模是12 億，使用包含2.8 億個(gè)蛋白質(zhì)序列的公開數(shù)據(jù)集——如果他像GPT一樣不停地往上堆數(shù)據(jù)呢？是不是也會像GPT模型一樣實(shí)現(xiàn)能力的涌現(xiàn)？

科普性文章看這篇：https://zhuanlan.zhihu.com/p/603784945

那么其他領(lǐng)域呢？圖像、視頻、3D？很抱歉，我覺得很難看到突破。

我的判斷和技術(shù)一點(diǎn)關(guān)系都沒有（我不懂），純粹從商業(yè)角度、利益角度看這個(gè)事情。

第一，Diffusion在多模態(tài)領(lǐng)域狂飆突進(jìn)，他的爆發(fā)遠(yuǎn)不到停止的時(shí)候，在這個(gè)階段，由于他的前景明確、介入成本低，集中了大量的研究人員在推進(jìn)技術(shù)發(fā)展。

第二，GPT為代表的LLM，他現(xiàn)在也不太關(guān)心文本外應(yīng)用，他有更著急的事情要去做（例如我前面說的那幾個(gè)方向）。——并且，由于他的介入門檻高，在這個(gè)領(lǐng)域能夠?qū)嵅俚难芯咳藛T還遠(yuǎn)遠(yuǎn)比Diffusion少。

這就像特斯拉的交流電遇到愛迪生的直流電一樣，當(dāng)你有一個(gè)還不錯(cuò)，甚至很不錯(cuò)的競爭對手時(shí)，你不能只是優(yōu)秀一點(diǎn)，你必須優(yōu)秀非常多！

在產(chǎn)品領(lǐng)域有一個(gè)公式描述這種現(xiàn)象：產(chǎn)品價(jià)值=（新體驗(yàn)-舊體驗(yàn)）-遷移成本。

綜上，對于廣闊的圖像、視頻等領(lǐng)域，我不是特別看好LLM短期內(nèi)在這個(gè)方向的發(fā)展。

方向六：私有化 ????

我之前有一個(gè)判斷，LLM的誕生不會摧毀小模型公司，這里的小模型公司指以前靠賣模型服務(wù)吃飯的企業(yè)，因?yàn)樗麄兊哪Ｐ捅绕?750億參數(shù)實(shí)在太小了，就叫小模型公司哈哈。

這方面的考慮來自幾個(gè)方面：實(shí)時(shí)性（車載/直播等），安全性（金融），成本敏感（客服），答案穩(wěn)定（金融），道德風(fēng)險(xiǎn)（心理咨詢）。

但是，新聞來了！OpenAI將考慮允許企業(yè)私有化部署模型，最低26W美元/年

如果這個(gè)消息不是FakeNews（建國兄搖頭.JPG），那么至少安全性問題解決了，成本、實(shí)時(shí)等問題可能也會緩解，小模型公司將迎來前所未有的沖擊。

但是私有化也有好處：

首先，私有化大概率是部署小參數(shù)規(guī)模的LLM居多（比1750億參數(shù)少一個(gè)量級），那么這將導(dǎo)致后續(xù)LLM的優(yōu)化方向不僅僅只是參數(shù)規(guī)模的追逐（例如傳說中的萬億參數(shù)GPT4），也會回頭關(guān)注小參數(shù)級別LLM的表現(xiàn)。

其次，更多的應(yīng)用催生更多的技術(shù)升級，并且小參數(shù)級別的LLM也降低了進(jìn)入門檻，會讓這個(gè)領(lǐng)域更加百發(fā)齊放（其實(shí)又和門檻降低方向有點(diǎn)關(guān)系了）。

因此，基于對現(xiàn)有商業(yè)環(huán)境的擾動(dòng)+技術(shù)的有益促進(jìn)，這個(gè)方向的重要程度是2星——哪怕他一點(diǎn)技術(shù)含量也沒有（或許還是有一些的）。

方向七：GPT4來了？????

各種傳言說GPT4已經(jīng)在路上了，23年就要出來了，但都沒啥證據(jù)。而Twitter這位小哥不僅爆料了私有化信息，還提供了GPT4可能到來的一種猜測。

首先，我們看這張圖，text-davinci-003就是目前OpenAI開放的最先進(jìn)的模型，可以看到圖中只支持4Ktokens。（告訴大家一個(gè)冷知識，ChatGPT是不開放商用API的，只有GPT-3開放）

而Twitter小哥爆料的圖中，大家看這張圖中，DV就是davinci——目前OpenAI真正開放商用的GPT3系列名詞。

在圖中，DV最高支持32K的上下文長度，是當(dāng)前的支持的4K的8倍。

這個(gè)莫名其妙的DK（32K max context）是不是傳說中的GPT-4呢？或者哪怕不是，至少也是個(gè)GPT-3.6、3.7吧？畢竟翻了8倍的上下文理解能力，實(shí)在有點(diǎn)離譜——他從19年到22年也就翻了2倍。

不過，畢竟只是猜測，所以只給2星，安慰一下自己的小心臟。