這是 Mistral 創始人 Arthur Mensch 在美國紅杉 AI 活動上關于開源大模型與未來發展的分享。Arthur 表示，未來 5 年，AI 將向更加自主的智能體 Agent 和助手發展，能完成越來越多復雜任務，制作這樣的智能體將變得越來越容易。

AI 技術將通過自然語言交互得以廣泛控制和使用，到一定程度時，”開發者”與”用戶”的界限將變得模糊，普通用戶也能創建定制的 AI 助手工具。

另外，AI 部署將趨向于更多狀態化的形式，與數據和上下文緊密關聯，而非當前的無狀態 API 調用模式，狀態數據可能存儲在數據云平臺中。未來幾年，LLM 領域可能還將出現一些協調和整合，尤其是在開源模型方面，以利于全行業發展。

從當前到未來，LLM 將呈現從小型模型到超大型模型的全尺寸覆蓋，以平衡不同場景下的延遲和能力需求。評估 LLM 表現、持續改進模型，以及自動化提示工程將是亟待解決的痛點，需要 AI 技術自身來幫助解決……

以下為 Arthur 與紅杉合伙人Matt Miller 的對談內容：

也許我們可以從你選擇創辦 Mistral 的背景故事開始，我們都知道你的職業生涯，你在 DeepMind 的成功職業，你在 Chinchilla 論文上的工作，但告訴我們，也許與我們分享一下，那就是讓你有了啟動并開始脫穎而出，開始創辦公司的想法。

我們在 App Hill 創辦了這家公司，但我想這個想法在我們成立公司前幾個月就已經存在了。Jim 和我在大學時認識，我們在一起上了碩士課程。我們在學校認識，所以我們彼此之間早就認識。我們已經在這個領域研究了 10 年了。

我們喜歡 AI 是因為學術實驗室、工業實驗室之間的開放交流，每個人都可以在其他人的基礎上建立。我想即使在 LLM 時代的開始，當時 OpenAI 和 DeepMind 實際上也在相互貢獻。這在2022年停止了。

基本上，最后一篇論文做出重要改變的是 Chinchilla。那是 Google 發布的最后一個重要模型。對我們來說，有點遺憾的是， AI 早在旅程的開始階段就停止了開放貢獻，因為我們離完成它還有很長的路要走。當我們在年底看到 ChatGPT 時。

我想我們反思了一下，認為有機會以不同的方式做事情，從法國開始做事情，因為事實證明，在法國，有很多才華橫溢的人在大型科技公司有點厭倦了。我們發現了一個機會，可以通過一個精干的團隊、有經驗的人才，以很快的速度構建非常強大的開源模型，并試圖糾正該領域正在采取的方向。我們想要更大力度地推動開源模型。我們在這方面做得很好，因為我們的軌跡得到了各個公司的關注。

開源運動在很大程度上是開始公司的推動力之一。

這是開始公司的推動力之一，我們的意圖和我們給自己的使命是真的要將 AI 帶給每一個開發者。我們的競爭對手做事情的方式，到現在為止仍然是非常封閉的。我們想要推動一個更開放的平臺，并通過這種策略傳播和加速采用。這就是我們開始公司的核心原因。

最近，你們發布了 Mistral Large。你們與微軟、Snowflake Databricks等公司達成了驚人的合作。那么你們如何平衡你們將要開源的內容與商業化內容，以及如何考慮權衡。因為這是許多開源公司所面臨的問題，他們如何保持社區的活力，同時又如何建立一個成功的業務來為社區做貢獻？

這是一個艱難的問題。我們目前通過兩個模型系列來解決這個問題，但這可能會隨著時間的推移而發展。我們打算繼續成為開源領域的領導者，這在一定程度上給開源系列帶來了壓力，因為顯然存在一些競爭者。

與軟件供應商采用這種策略的發展方式相比，我們需要走得更快，因為 AI 的發展速度實際上比軟件更快，比數據庫更快。像 MongoDB 做得非常好。這是我們可以效仿的一個很好的例子，但我們需要更快地適應。

顯然存在這種緊張局勢，我們不斷思考應該如何為社區做出貢獻，但同時也要考慮如何展示并開始獲得一些商業采用、企業交易等?，F在，我們在這方面做得很好。但這是一個非常動態的事情需要考慮?；旧厦恐芪覀兌荚谒伎冀酉聛響撛趦蓚€系列上發布什么。

你們在開發模型方面是最快的，也是最快達到不同基準水平的公司之一，而且在達到這些基準水平方面的支出也是最少的。你認為是什么讓你們比你們的前輩更快、更高效地行動？

我們喜歡動手。機器學習一直都是關于處理數字、查看數據，做很多次的轉換和加載等很多時候并不令人著迷的工作。我們雇用愿意做這些工作的人，這對我們的速度至關重要，這也是我們想要保持的一點。

除了 LLM ，你們還有幾個非常受歡迎的小型模型。你什么時候會告訴人們他們應該花時間與你們合作進行小模型工作，什么時候會告訴他們與你們合作進行 LLM 工作？你認為 Mistral 的經濟機會在于做更多的大模型還是做更多的小模型？

這是每個 LLM 提供商都已經意識到的一個觀察，即一個尺寸并不適合所有。根據你想要的內容，當你開發一個應用時，你通常會調用不同的 LLM，有些應該是低延遲的，因為它們不需要太多的智能，但有些應該是更高延遲的，需要更多的智能。一個高效的應用程序應該同時利用這兩種模型，可能使用 LLM 作為小型模型的編排器。

挑戰在于如何確保一切順利進行，使你最終得到的不僅是一個模型，而且是兩個模型加上一個調用你的模型、調用系統、調用函數的循環。

我們也想要解決的一些開發者挑戰是如何確保這個系統能夠正常運行，如何正確評估它，如何確保能夠進行持續集成？如何從一個模型版本轉換到另一個模型版本，并確保你的應用程序實際上得到了改進而不是惡化。所有這些問題都被各種公司解決了，但我們認為這些也應該是我們價值主張的核心。

你們看到在 Mistral 上構建的一些最令人興奮的東西是什么？你們對社區正在做的事情，對客戶正在做的事情感到非常興奮的是什么？

舊金山灣區的幾乎每個年輕的初創公司都在使用它進行微調，進行快速應用制作。實際上，Mistral 的價值之一就是它非?？?。因此，你可以制作更多復雜的應用程序。我們看到網絡搜索公司在使用我們。我們也看到了，所有突出的企業也是如此，比如知識管理、營銷等等。能夠訪問權重意味著你可以更好地傾注自己的編輯風格。

我們看到了典型的用例。價值在于開源部分是開發者有控制權。他們可以在任何地方部署它們。他們可以擁有非常高質量的服務，因為他們可以使用專用實例，而且他們可以修改權重以滿足自己的需求，并將性能提升到接近最大模型的水平，同時成本更低。

接下來你認為我們會從你們這里看到什么下一個大動作？比如，你能透露一些即將到來的內容，或者我們應該從 Mistral 那里期待些什么。

當然。我們有， Mistral Large 很不錯，但還不夠好。我們正在努力改進它。我們在各個垂直領域有一些有趣的開源模型，很快就會公布了。我們的平臺目前只是 API，有幾個 API。因此我們正在努力實現定制化部分。這實際上就是微調部分。顯然，和許多其他公司一樣，我們在等，并在未來幾個月內，我們也將發布一些。

這個房間里的許多人正在使用 Mistral 模型。我們每天在硅谷生態系統中與你們合作的許多公司已經在使用 Mistral 。他們應該如何與你們合作，以及他們應該如何與公司合作？對他們來說，最好的工作方式是什么？

嗯，他們可以聯系我們。我們有一些開發者關系團隊，他們真的在推動社區發展，制作指南，還在收集使用案例，展示你可以用 Mistral 模型構建什么。我們非常注重社區，這基本上是使模型更好的一部分。

我們正試圖建立的是，我們如何獲取評估、基準測試、實際用例，以便我們可以對我們的模型進行評估。了解人們正在使用我們的模型構建什么也是我們能夠生成新的開源模型的一種方式。

所以請與我們聯系，討論我們如何幫助，討論你的使用案例。我們可以宣傳它。我們也可以收集一些我們應該添加到我們的評估套件中的新評估的見解，以驗證模型隨著時間的推移是否變得更好。

在商業方面，我們的模型可以在我們的平臺上使用。商業模型實際上比開源模型效果更好。它們也可以在各種云服務提供商上使用，這樣就為企業的采用和定制能力提供了便利，比如微調，這確實增強了開源模型的價值，并且很快就會到來。

你談到了在歐洲的好處，你已經成為這個全球范例，展示了歐洲可以產生什么樣的偉大創新，并正在產生。更多地談談從法國建立業務的優勢以及從歐洲建立這家公司的優勢吧。

我猜有優勢和劣勢，兩者都有。我想一個優勢是你有一個非常強大的初級人才庫。因此，有許多來自法國、波蘭和英國的人可以在我們這里接受三個月的培訓，迅速上手，基本上可以產出與舊金山灣區一百萬美元工程師相當的工作量，成本卻只有十分之一，這在效率上是很高的，他們的勞動力非常好。

工程師和機器學習工程師。一般來說，我們得到了國家的很多支持，這在歐洲比在美國更重要。他們傾向于過快地過度監管，正如我們一直告訴他們不要這樣做，但他們并不總是聽。

總的來說，像歐洲公司喜歡與我們合作，因為我們是歐洲公司，我們在歐洲語言方面更加優勢，比如法語，法語模型實際上可能是市場上最強大的法語模型。我想這不算是一個優勢，但至少有很多地理上的機會，我們正在利用。

從現在起五年后， Mistral 會處于什么地步？你認為你們會取得什么成就？這個行業的景象會是怎樣的？

我們的打賭是基本上， AI 的平臺和 Infra 將是開放的?；诖?，我們將能夠創建輔助工具，然后可能是自主代理。我們相信，通過成為最開放的平臺，獨立于云提供商等方面，我們可以成為這個平臺。

在五年后，我對此的形態幾乎沒有任何想法。如果你看看 2019 年的情況，我不認為你能預測到我們今天的情況，但我們正在向更加自主的代理不斷發展。我們能夠完成越來越多的任務。我們的行走方式將會發生根本性的改變，制作這樣的代理和輔助工具將會變得越來越容易。

所以現在我們專注于開發者世界。但我預計， AI 技術本身是如此容易通過人類語言來控制，以至于在某個時候，開發者會成為用戶。因此，我們正在朝著任何用戶都能夠創建自己的輔助工具或自主代理的方向發展。我相當確定，五年后，這將成為一項學校中的教學內容。

你如何看待未來開源與商業模型在你公司的發展中的作用？就像你一開始制造了開源軟件，如你所提到的，一些商業模型現在甚至更好。你認為在未來幾年內這會如何發展？

我想我們優化的一件事就是能夠持續制作開源模型，并建立一個可持續的商業模式，以真正推動下一代的發展。正如我所說的，這將隨著時間的推移而演變。

為了保持相關性，我們需要在某些方面保持制作開源模型的最佳解決方案，至少是在某個領域。這在很大程度上決定了我們能做些什么，保持在開源世界中的相關性，成為開發者的最佳解決方案，確實是我們的使命，并將繼續努力。

除了 Sequoia 的合作伙伴之外，肯定有人有問題，Llama3 和 Facebook 以及你們如何看待與它們的競爭？

嗯，我擔心他們正在致力于制作模型，但我不確定它們會是開源的。我不知道那里發生了什么。到目前為止，我們交付速度更快、模型更小，所以我們希望繼續這樣做。

總的來說，開源的好處是永遠不會太多競爭。因為一旦你有了，如果你有幾個行動者，通常這應該有利于每個人。如果他們最終變得非常強大，將會有一些協調，我們將歡迎。

你們與 Snowflake 和數據庫等公司的合作使你們與其他專有模型提供商不同。例如，與其只是擁有 API 連接，你們在他們的云中運行。你能說說為什么你們做了這些交易，以及你如何看待未來，比如 Databricks 或 Snowflake 在全新的 LM 世界中的發展？

我想你應該問他們。一般來說，如果 AI 模型與數據和基礎信息相關聯，那么它們就會變得非常強大。事實上，企業數據通常存儲在 Snowflake 或 Databricks 上，有時也存儲在 AWS 上。

因此，對于客戶來說，能夠將技術部署在數據所在的地方是相當重要的。預計這種情況將繼續下去，尤其是因為我相信我們將轉向更加狀態化的 AI 部署。

今天我們部署了幾個 API，沒有太多的狀態。它實際上就像 Lambda 函數一樣，但隨著我們向前發展，隨著我們使模型越來越專業化，隨著我們使模型更加適用于用例，隨著我們使模型更加自我完善，你將不得不管理狀態，而這些可能實際上是數據云的一部分。有一個問題是你把 AI 的狀態放在哪里。Snowflake 和數據庫希望它放在他們的平臺上。

很好奇你在開放性和專有性之間劃界的位置。你們釋放了權重。你是否也愿意分享更多關于你們如何訓練模型的信息，如何收集數據的配方，如何進行專家混合訓練，或者你只是在權重和其他內容上劃線，如何收集數據的配方，如何進行專家混合訓練，或者你只是在權重和其他內容上劃線。

這是我們的底線。這樣做的原因是這是一個非常競爭激烈的領域。與收入的張力一樣，為了維持下一代的發展，還有關于你到底公開什么以及什么不公開的張力。

再次強調，這是一個動態的界線。如果每個人都開始這樣做，那么我們也可以這樣做。但目前，我們不愿意冒這個風險。

實際上，我很好奇當另一家公司發布一個像 Grok 這樣的模型的權重時，你們內部會做些什么來學習它。你不能從權重中學到很多東西。我們甚至都沒有看。它實際上對我們來說太大了，我們無法部署，我猜他們在使用一種混合專家的標準設置，還有一些我了解的小技巧。

從配方中學到的東西并不多，通過查看權重，你可以嘗試推斷一些東西，但逆向工程并不容易。它基本上是壓縮信息，將信息壓縮得足夠高，以至于你無法真正找出發生了什么。

好奇你們將專注在哪些模型尺寸上？你的意見是否是你們將繼續制作小型模型，還是會做更大的模型？

模型尺寸有點由規模加載確定。這取決于你擁有的計算資源，取決于你要使用的計算 Infra ，你會做出一些選擇。你要為訓練成本和推理成本進行優化。

顯然，在權重之間還有一些因素，根據你對訓練成本攤銷的權重，你可以壓縮模型。但基本上，我們的目標是低延遲并且在推理方面具有相關性。這意味著我們會有一個從小型模型到非常 LLM 的模型家族。

是否有任何計劃讓 Mistral 擴展到應用程序堆棧？例如， OpenAI 發布了定制 GPTs 和 Assistant API，這是你認為 Mistral 將采取的方向嗎？

正如我所說，我們真正專注于首先開發者，但是對于這項技術來說，開發者和用戶之間的界限是相當薄弱的。這就是為什么我們發布了一個助手演示工具，叫做 Lusha，它是英語中的貓，這里的重點是向企業提供服務，使他們能夠連接他們的數據，連接他們的上下文。

這滿足了我們客戶的一些需求，我們與許多我們交談過的人都愿意調整這項技術，但是他們需要一個入口，如果你只是給他們一些 API，他們會說，好吧，但我需要一個集成商。

然后，如果你沒有一個集成商出席，這種情況往往如此，那么如果你有一個非社交解決方案，至少可以讓他們接受這項技術，并向他們展示他們可以為汽車業務構建什么。這就是為什么我們現在有兩個產品提供的原因。第一個是平臺，然后我們有 Lusha，這應該發展成為一個企業的標準解決方案。

在什么時候你會劃清界限，停止進行問題工程，開始進行微調？因為我的許多朋友和我們的客戶都在痛苦地考慮他們應該停止進行更多的問題工程。

我認為這是項目中很難解決的頭等痛點。問題是，通常你的工作流程應該是，你應該評估什么？并基于此，讓你的模型找到一種解決你的任務的方法。

現在，這仍然有點手工。你會有幾個提示版本，但這是一些實際上 AI 可以幫助解決的問題。我預計這將隨著時間的推移越來越自動化。這是我們愿意嘗試和實現的事情。

作為 AI 前沿的創始人，你是如何平衡探索和利用的？你自己如何保持對一個不斷發展、日益龐大和深入的領域保持領先地位，你是如何應對的？

這個問題在科學部門、產品部門和商業部門都有探索。平衡的方式對于一家初創公司來說確實很困難。你必須進行大量的開發，因為你需要快速交付。但是就科學部門而言，我們有兩三個人專門負責下一代模型的研究，有時候他們會浪費時間。如果你不這樣做，你就有可能變得無關緊要。

對于項目部門來說，這也是非常真實的。能夠嘗試新功能并看看它們的效果是我們必須做的事情。在商業部門，你永遠不知道誰實際上已經成熟到可以使用你的技術。

開發和探索之間的平衡是我們在科學水平上很擅長的，因為我們已經做了多年了，而且這種平衡在項目和商業方面也會體現出來。但我想我們目前還在學習如何正確地做到這一點。

在 2 年的范圍內，發布了 LLM 、小型模型，這些模型像風暴一樣席卷了世界。具有強大的市場推廣合作伙伴關系，你們在 AI 生態系統的中心勢頭強勁。你會給這里的創始人什么建議？你所取得的成就確實非同尋常。對于在不同級別開始、運行和建立自己的企業以及 AI 機會周圍的人，你會給予什么建議？

我想說的是，永遠是第一天。我想，我們獲得了一些心智份額，但是還有許多證明點需要建立。作為創始人，基本上每天都會醒來，發現你需要每次都從零開始構建一切。這有點令人筋疲力盡，但它也是夸張的。我建議要有很高的抱負，通常更有抱負可以使你走得更遠。你應該胸懷大志，這將是我的建議。