隨著人工智能技術的飛速發展，小型化、高效能的AI模型正逐漸成為新的趨勢。HuggingFace、OpenAI、Mistral AI三家先鋒公司聯手英偉達推出小型語言模型（SLM），標志著人工智能行業的重大轉變。這些小模型以更低的價格和更高的效率為更廣泛的設備和應用程序帶來強大的語言處理能力。

過去一周，人工智能領域的三家先鋒公司HuggingFace、OpenAI、Mistral AI聯手英偉達相繼推出小型語言模型（SLM），新發布的三款小模型SmolLM、GPT-4omini和Mistral Nemo都有一個共同目標：以更低的價格，為更廣泛的設備和應用程序帶來強大的語言處理能力，預示著人工智能行業的重大轉變。

01 小模型什么樣？能做到什么？

小模型相比于大模型，價格更低、效率提升、更環保、可訪問性更高，但無法在所有任務中與大模型的原始功能相匹配。近期推出的三個小模型能力如何呢？分別來看看。

1. SmolLM：直接在移動設備上運行

Hugging Face的 SmolLM 可能是三者中最激進的。SmolLM 被設計用于直接在移動設備上運行，有三種大?。?.35 億、3.6 億和 17 億參數。該系列將 AI 處理推向邊緣，解決了數據隱私和延遲的關鍵問題。

SmolLM 的影響遠遠超出了單純的效率提升。通過將 AI 功能直接引入邊緣設備，它為新一代應用程序鋪平了道路，讓這些應用程序以最小的延遲和最大的隱私運行。這可能會從根本上改變移動計算的格局，以前由于連接問題或隱私限制而不能實現的復雜的AI驅動功能，因為SmolLM成為可能。

2. GPT-4omini：超高性價比的高能力小模型

OpenAI的GPT-4omini主打一個高性價比，被很多評論認為是市場上最具成本效益的小模型。

GPT-4o Mini 的輸入價格僅為每百萬token 15 美分，輸出價格為每百萬token 60 美分。GPT-4omini的定價比GPT-3.5 Turbo便宜60%以上，也比其它小模型更便宜，如谷歌的谷歌的Gemini 1.5 Flash（0.35美元/ 0.70美元）和Anthropic的Claude 3 Haiku（0.25美元/ 1.25美元），大大降低了AI集成的財務障礙。

不僅是節省成本，GPT-4o mini 非常聰明。它在數學、編碼和多模態推理方面優于其他小型模型。在 MMLU 基準測試（通用智能）上，它的得分為 82%，超過了 GPT-3.5 和一些更大的模型。

GPT-4omini小模型可以處理一個巨大的 128K 令牌上下文窗口并輸出 16k 令牌，開辟了大量新的可能性。像 Ramp 和 Superhuman 這樣的公司已經在實際任務中使用它取得了巨大成功。

此外，它是多模態的，就像它更大的兄弟 GPT-4o 一樣，支持文本和視覺輸入，還有更多內容即將推出。

安全也得到了照顧。OpenAI 已經融入了“指令層次結構”等新技術，以保持模型的安全性并抵御越獄。

但GPT-4omini無法在手機或游戲機等移動設備上運行，它必須像 OpenAI 的所有其他模型一樣在云中的服務器上運行。

3. Mistral-NeMo：瞄準大規模云模型和超緊湊移動 AI 之間的中間地帶

Nvidia 和 Mistral AI 合作推出Mistral NeMo，這是一個 120 億參數模型，具有令人印象深刻的 128,000 個token上下文窗口，意味著與窗口較小的模型相比，它可以讀取和處理更長的文本塊。

例如，具有小上下文窗口的模型，可能難以準確總結冗長的新聞文章，因為它一次只能處理幾個句子。然而，Mistral NeMo 可能會將整篇文章作為一個整體來理解，從而得出更連貫和準確的總結。

Mistral Nemo 在 Apache 2.0 許可下發布，以臺式計算機為目標，將自己定位為大規模云模型和超緊湊移動 AI 之間的中間地帶。

多語言能力同樣讓人印象深刻。Mistral NeMo 不僅限于一種語言;它在包含 100 多種語言的海量數據集上進行訓練，在英語、法語、德語、西班牙語、意大利語、葡萄牙語、中文、日語、韓語、阿拉伯語和印地語方面特別出色，能在語言之間進行翻譯、構建可以與世界各地用戶交談的聊天機器人，以及分析多種語言的文檔以提取全球見解。

例如跨國企業可以使用 Mistral NeMo 來分析來自不同國家/地區的客戶評論，即使這些評論是用不同的語言編寫的，以全面了解全球的客戶反饋。

此外，Mistral NeMo 使用一種名為 Tekken 的新分詞器，該分詞器專為速度和效率而設計。Mistral NeMo 使用 FP8 推理，FP8 是一種低精度數字格式，與傳統格式相比，它需要更少的內存和處理能力，這使得 Mistral NeMo 能夠在更廣泛的設備上運行得更快，單個英偉達L40S就能跑起來Mistral NeMo。

02 為什么卷小模型？

1. 更快、更便宜的模型可能是下一代人工智能應用程序的競爭焦點

模型的性能很重要，但速度和成本同樣重要，三大巨頭向小模型發力，反映了人工智能領域的開發越來越重視效率、可訪問性、專業性的趨勢，而不是簡單地構建更大的網絡。

這種趨勢會讓AI朝更有針對性、有效性更強的解決方案方向發展，針對特定任務和行業進行更有效率的優化，而不是以包羅萬象為目標。

2. 更環保、更高的能源效率和可持續性

人工智能對環境的影響日益受到關注，發展小模型符合對環保的呼聲。較小的模型需要更少的能量就能完成訓練和運行，從而減少人工智能的碳排放。

另一方面，各行業面對的環保壓力也在日益增大，采用更高效的小模型可以節省能源，會提高企業對人工智能的接受度。這些環保方面的積極作用，會讓人工智能成為綠色創新的領導者，而不是氣候惡化的參與者。

3. 更廣泛的人工智能集成

為什么說向小模型的轉變是人工智能領域的巨大演變？因為隨著這些小模型的不斷改進和廣泛應用，我們可能會看到一個支持人工智能設備和應用程序的新時代，復雜的人工智能服務不只存在于云端，而是服務在具體的終端設備和應用程序里，服務于更多的用戶，帶來更多的用例。

對于企業而言，小模型的發展意味著會有更多智能的、高效的人工智能解決方案可以更容易地集成到現有系統中。隨著人工智能的規?？s小，它對企業和社會的影響會越來越大。

03 隱憂與挑戰

雖然小模型的興起帶來了很多優勢，但也存在隱憂和挑戰。

首先，小模型無法在所有任務中與大型模型的原始功能相匹配，發展小模型要注重模型專業化、多樣性，而不是追求一刀切的想要用小模型解決所有問題，要在模型大小、性能和特定應用要求中找到平衡。

此外，小模型對人工智能的道德問題也提出了新挑戰。更低的使用門檻意味著更多的偏見、問責和道德問題，在每個細分的領域深度應用人工智能，都會帶來新的AI倫理問題。對小模型的研究和開發要和與之相關的道德準則、法規和監管機制保持同步，才能確保小模型的發展和應用符合公共利益。