在這幾個月內，ChatGPT借著大語言模型掀起了人工智能行業的新一輪浪潮，那么在未來，大語言模型及相關技術的發展又可能呈現哪些趨勢？本文嘗試進行了預判和解讀，一起來看看，或許會對AI創業者們有所幫助。

今天看到紅杉美國發表了一篇新文章：《The New Language Model Stack》，這篇文章內容是紅杉美國在訪談了投資Portfolio里的33家小到種子輪，大到已經上市的公司后總結出來的。全文總共有8點分析，每一點都結合了當下的最新情況，并給出了對未來的判斷。

這篇文章可以說是之前生成式AI開篇之作：《紅杉觀點｜生成式AI：一個創造性的新世界》的最新版，干貨非常多。很多內容對AI創業者應該會有不少幫助，筆者在此借助GPT-4快速翻譯了這篇文章，希望能夠給大家也帶來最新的思考和啟發。

導語

ChatGPT憑借大型語言模型（LLMs）引發了創新的巨浪，越來越多的公司將自然語言交互的能力引入到他們的產品中。語言模型API的采用正在逐漸形成新的技術棧。

為了更好地理解人們正在構建的應用以及他們使用的技術棧，我們采訪了投資portfolio中的33家公司，范圍從種子階段的初創公司到大型上市企業。我們分別在兩個月前和上周與他們交談，來抓住變化的步伐。許多創始人正在努力解決他們自身的AI策略，盡管這個領域正在快速發展，我們仍希望分享我們的發現。

一、幾乎所有公司都在產品中用到語言模型

我們看到了一些神奇的自動完成（auto-complete）功能，應用范圍從編程（Sourcegraph, Warp, Github）到數據科學（Hex）。我們看到更好的聊天機器人，應用于從客戶支持、員工支持到消費者娛樂的各個領域。其他一些公司正在用AI優先的視角重塑整個工作流程：視覺藝術（Midjourney）、營銷（Hubspot, Attentive, Drift, Jasper, Copy, Writer）、銷售（Gong）、接觸中心（Cresta）、法律（Ironclad, Harvey）、會計（Pilot）、生產力（Notion）、數據工程（dbt）、搜索（Glean, Neeva）、購物（Instacart）、消費支付（Klarna）以及旅行計劃（Airbnb）。這些只是幾個例子，而且只是個開始。

二、這些應用主要基于API、檢索和編排，但開源使用也在增長

65%的公司已經將應用投入生產，比兩個月前的50%有所提高，其余的公司仍在實驗階段。

94%的公司正在使用基礎模型API，在我們的樣本中，OpenAI的GPT是首選，占比達到了91%，但是，Anthropic在上個季度的關注度增長到了15%。（有些公司使用多個模型）。

88%的公司認為檢索技術，如向量數據庫，將繼續是他們技術棧的關鍵部分。檢索模型通過檢索相關上下文來提高結果的質量，減少“幻覺”（不準確之處），并解決數據實時性的問題。一些公司使用專門構建的向量數據庫（如Pinecone，Weaviate，Chroma，Qdrant，Milvus等），而其他公司則使用pgvector或AWS的產品。

38%的公司對像LangChain這樣的LLM編排和應用開發框架感興趣，一些公司用它進行原型設計，而其他公司則將其投入生產。在過去的幾個月里，采用率有所提高。

不到10%的公司正在尋找用于監控LLM輸出、成本或性能并進行A/B測試提示的工具。我們認為，隨著越來越多的大公司和受監管的行業開始采用語言模型，這些一數字可能會增加。

少數公司正在研究補充性的生成技術，如將生成文本和語音結合。我們也認為這是一個令人興奮的增長領域。

15%的公司從頭開始或使用開源資源構建了自定義的語言模型，通常還會使用LLM API。從幾個月前開始，自定義模型的訓練意義增加了。這需要自己的計算堆棧、模型中心、托管、訓練框架、實驗跟蹤等，來自Hugging Face，Replicate，Foundry，Tecton，Weights & Biases，PyTorch，Scale等受人喜愛的公司對此提供了支持。

我們與每一位實踐者交談的結果顯示，AI的發展速度太快，以至于很難對最終的技術棧有高度的信心，但大家一致認為，LLM API將繼續作為一個關鍵支柱，其次是檢索機制和像LangChain這樣的開發框架。開源和自定義模型的訓練和調整似乎也在增長。語言模型技術棧的其他領域也很重要，但成熟度較低。

三、公司希望根據自己的上下文來定制語言模型

通用語言模型非常強大，但對于許多用例來說，它們并不能區分和滿足需求。公司希望在他們的數據上啟用自然語言交互——他們的開發文檔、產品庫存、人力資源或IT規則等。在某些情況下，公司也希望根據用戶的數據定制他們的模型：你的個人筆記、設計布局、數據指標和代碼庫等。

目前，有三種主要的方式來定制語言模型：

從頭開始訓練自定義模型，難度最高。

這是解決此問題的最傳統且最困難的方式，它通常需要高度熟練的機器學習科學家、大量相關的數據、訓練基礎設施和計算能力。

這也是歷史上大部分自然語言處理創新發生在大型科技公司的主要原因之一，BloombergGPT是一個在大型科技公司之外進行自定義模型嘗試的例子，他們使用了Hugging Face和其他開源工具的資源。隨著開源工具的改進和更多公司使用LLM進行創新，我們預計會看到更多的自定義和預訓練模型的使用。

微調基礎模型，難度中等。

這是通過使用進一步的專有或領域特定數據對預訓練模型的權重進行額外訓練來進行微調，開源創新也使這種方法越來越可行，但它仍然通常需要一個成熟的團隊。一些實踐者私下承認，微調比聽起來要難得多，可能會產生意想不到的后果，如模型漂移和無預警的“破壞”模型的其他技能。雖然這種方法有很大的可能性會變得更為常見，但目前對大多數公司來說仍然遙不可及。但再次強調，這種情況正在快速改變。

使用預訓練模型并檢索相關上下文，難度最低。

人們經常認為他們想要一個專門為他們微調的模型，但實際上他們只是希望模型在正確的時間推理他們的信息。有許多方法可以在正確的時間向模型提供正確的信息：向SQL數據庫提出結構化查詢，搜索整個產品目錄，調用一些外部API或使用嵌入檢索。

嵌入檢索的優點是它使得使用自然語言輕松搜索非結構化數據成為可能。從技術上講，這是通過獲取數據，將其轉換為嵌入（embedding），將這些嵌入存儲在向量數據庫中，當查詢發生時，搜索這些嵌入以找到最相關的上下文，并將其提供給模型來實現的。這種方法可以幫助你解決模型有限的上下文窗口問題，成本更低，解決了數據實時性的問題（例如，ChatGPT不知道2021年9月以后的世界），而且它可以由沒有正規機器學習培訓的獨立開發者完成。關于這塊技術內容可以看深思圈之前的文章：零基礎｜搭建基于私域數據的ChatGPT

向量數據庫很有用，因為在高規模下，它們使存儲、搜索和更新嵌入變得更加簡單。到目前為止，我們觀察到大公司往往會遵守他們的企業云協議，并使用他們的云提供商的工具，而初創公司傾向于使用專為向量數據庫設計的工具。然而，這個領域的變化非?？?。上下文窗口正在擴大（最新消息，OpenAI剛剛擴展到16K，而Anthropic已經推出了一個100K token的上下文窗口）。基礎模型和云數據庫可能會直接將檢索嵌入到他們的服務中，我們將密切關注這個市場的演變。

四、如今API調用和訓練模型是相互獨立的，但未來兩者將慢慢融合在一起

有時候，我們可能會覺得我們面臨著兩種技術棧的選擇：一種是利用LLM API的技術棧（更傾向于閉源，針對開發人員設計）；另一種是訓練自定義語言模型的技術棧（更傾向于開源，歷史上針對更復雜的機器學習團隊設計）。

有些人想知道，如果LLMs通過API輕松獲取，那么公司是否會減少自己的自定義訓練。

然而，我們目前看到的情況正好相反。

隨著人工智能的關注度提高和開源開發的加速，越來越多的公司對訓練和微調自己的模型產生了興趣。我們認為，隨著時間的推移，LLM API技術棧和自定義模型技術棧會越來越融合。例如，一家公司可能會從開源項目中訓練自己的語言模型，但又通過向量數據庫來進行檢索以解決數據實時性的問題。為自定義模型堆棧構建工具的智能初創公司也正在努力擴展他們的產品，以適應LLM API革命的需求。

五、技術棧正在變得越來越易于開發者使用

語言模型API讓普通開發者也能手握強大的現成模型，而不僅僅是機器學習團隊?，F在，與語言模型打交道的人群已經明顯擴大到所有開發者，我們相信將會看到更多面向開發者的工具。例如，LangChain通過抽象化常見問題，幫助開發者構建LLM應用：將模型組合成更高級的系統，將多個模型調用鏈接在一起，將模型連接到工具和數據源，構建能夠操作這些工具的代理，以及通過簡化語言模型切換的過程，幫助避免對供應商的依賴。有些人使用LangChain進行原型設計，而其他人則繼續在生產中使用它。

六、語言模型需要變得更可靠（輸出質量、數據隱私和安全性）

在全面引入LLM到他們的應用之前，許多公司希望有更好的工具來處理數據隱私、隔離、安全、版權和監控模型輸出。來自金融科技到醫療保健的受監管行業的公司特別關注這一點，并報告說他們在尋找軟件解決方案來解決這個問題（對創始人來說這是一個成熟的領域）上遇到了困難。

理想的情況是：如果不能防止模型生成錯誤/幻覺、歧視性內容、危險內容或其他問題，軟件可以及時給出警告信息。一些公司也關注與模型分享的數據如何被用于訓練：例如，很少有人知道ChatGPT消費者數據默認用于訓練，而ChatGPT商業版和API數據則不是。隨著政策的明確和更多的安全措施到位，語言模型將得到更好的信任，這時候我們就會看到采用率的另一個階段性改變。

七、語言模型應用將變得越來越多模態

有公司已經在尋找有趣的方式將多個生成模型結合起來產生巨大的效果：結合文本和語音生成的聊天機器人解鎖了新的對話體驗層次。文本和語音模型可以結合起來，幫助你快速修復視頻錄制錯誤，而不用重新錄制整個視頻。模型本身也正變得越來越多模態。我們可以想象未來豐富的消費者和企業AI應用，將文本、語音/音頻和圖像/視頻生成結合起來，創造更吸引人的用戶體驗，并完成更復雜的任務。

八、目前還僅僅只是初期階段

AI剛剛開始滲透到技術的每一個角落，只有65%的受訪者今天已經開始嘗試，而且其中很多都是相對簡單的應用。隨著更多的公司推出LLM應用，新的難題將會出現——為創業者創造更多的機會。基礎設施層（我理解就是中間層的意思）將在未來幾年內快速發展，如果我們看到的一半Demo演示都能真正落地投入生產，那么前方等待我們的將是一次令人激動的旅程?？吹轿覀冏钤缙诘腁rc孵化投資的公司到Zoom的創業者們都在專注于同一件事情：用AI讓用戶愉快，這是令人激動的。

If you’re founding a company that will become a key pillar of the language model stack or an AI-first application, Sequoia would love to meet you.

紅杉美國正在尋找并投資那些將成為語言模型技術棧的關鍵支柱或AI優先應用的公司。

參考材料：

[1]https://www.sequoiacap.com/article/llm-stack-perspective/

結尾

在看完這篇文章后，又重新回顧了一下去年9月份在這波AI浪潮還未開始前的這篇紅杉美國的預判和分析——《紅杉觀點｜生成式AI：一個創造性的新世界》。不得不感嘆老牌VC的分析和預判能力，成功預測了最近幾個月的AI浪潮或者說正是這篇文章開啟了這樣一個新的浪潮。希望這篇文章也能給更多AI創業者一些新的啟發與思考，另外關于更多Plugin和AI生態的分析，可以閱讀我之前的文章——AGI要來了？AI Paradigm的新階段和新趨勢。