中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

Meta正式發布了新一代開源大語言模型Llama3，這一消息掀起了網友們的瘋狂討論。那么綜合來看，Llama 3的性能有著怎樣的表現？Llama 3的到來，又意味著什么？

今天AI圈又迎來一件大事：Meta正式發布他們迄今最強的新一代開源大語言模型Llama3。

首批發布的Llama3 8B和Llama3 70B包括預訓練和指令微調版本，8K上下文，在兩個24K GPU定制集群上使用15萬億tokens數據訓練而成，Meta稱它們分別是80億和700億參數上最好的模型。同時一個參數超過400B的「最大Llama3」也在訓練中，社區認為這個模型更恐怖，極有可能超過當前的閉源王者GPT-4 Turbo。

Llama3在各種行業基準測試中表現驚艷，廣泛支持各種場景。接下來幾個月，Meta將陸續引入新的功能，包括多語言對話、多模態、更長的上下文和更強整體核心性能，并將與社區分享研究論文。

扎克伯格和Meta首席AI科學家Yann LeCun分別在Instagram和X宣布了這一消息。

網友們在評論區一片沸騰，馬斯克前排回應，不錯（有種淡淡的憂傷）。

我們趕快來看看Llama 3的具體性能表現：

一、多項測試成績大幅超過Gemini 1.5和Claude Sonnet

Meta表示，新一代Llama3在Llama 2 的基礎上有了重大飛躍，確立了 LLM的新標準。在預訓練和后訓練過程上的改進大大降低了錯誤拒絕率，提高了一致性，并增加了模型響應的多樣性。在推理、代碼生成和指令遵循等方面都得到了極大改善，使得 Llama 3 更加可控。

對照表中可見，Llama3 8B在大規模多任務語言理解、生成式預訓練問題回答、編碼和數學等LLM核心基準測試上都力挫Gemma 7B和Mistral 7B。Llama3 70B同樣戰勝 Gemini Pro 1.5和此前被夸爆了的Claude 3 Sonnet。

預訓練版本的Llama3 8B和70B也在通用智能評估、困難任務、ARC挑戰賽、DROP數據集上把Mitral 7B、Gemma 7B、Gemini Pro 1.0、新出的Mixtral 8x22B 打入手下敗將之列。

除了關注LLM標準基準測試項目， Meta還尋求模型在現實場景中的性能優化。為此，他們開發了一套新的高質量人工評估集。包含 1800 個提示，涵蓋了“尋求建議、頭腦風暴、分類、封閉式問題回答、編碼、創意寫作、提取、模擬角色/人物、開放式問題回答、推理、重寫和總結” 這12 個關鍵用例。為了防止發生意外過擬合，即使是 Meta自己的建模團隊也無法訪問它。

在這套評估集上， Llama3 70B與Claude Sonnet、Mistral Medium、GPT-3.5 和上一代Llama2對戰后勝率突出。（這里沒有把GPT-4和Claude 3 Opus拉來對比，推測后續的400B模型將接過重任。）

二、Llama 3有哪些技術創新

Meta稱，在Llama3的開發過程中秉承了創新、擴展規模和優化簡潔性的設計理念。重點關注四個關鍵要素：模型架構、預訓練數據、擴大預訓練規模以及指令微調。下面分項來看：

模型架構

Llama 3 選擇了一個相對標準的純解碼器 Transformer 架構。

相比 Llama 2 的改進之處有：Llama 3 使用一個包含 128K tokens的分詞器，可以更有效地編碼語言，從而顯著提高模型性能；在 8B 和 70B 兩種規模上都采用了分組查詢注意力(GQA)機制來提高模型推理效率；同時在 8192 個tokens的序列上訓練模型，使用掩碼確保自注意力不會跨越文檔邊界。

訓練數據

Meta認為訓練出最佳LLM的關鍵是要整理一個大型高質量訓練數據集，為此他們投入了大量資源：

Llama 3 在超過 15 萬億個公開可用來源的token上進行了預訓練，比訓練 Llama 2 時的數據集足足大 7 倍，代碼量是 Llama 2 的 4 倍。其中超過 5% 來自高質量非英語數據，總共涵蓋了 30 多種語言，以為即將到來的多語言使用場景做準備。

Llama3團隊開發了一系列數據過濾管道來保證數據質量。他們還進行了大量實驗，來評估在最終預訓練數據集中混合不同來源數據的最佳方式，以此來選擇一個包括STEM、編碼、歷史知識等等數據類別的最優數據組合，確保 Llama 3 在各種使用場景中表現良好。

擴大預訓練規模

為了更有效利用預訓練數據，Meta針對下游基準評估開發了一系列詳細的擴展法則，在實際訓練模型之前就能預測最大模型在關鍵任務上的性能，來確保最終模型在各種使用場景和能力上都有出色的表現。

在 Llama 3 的開發過程中，團隊也對擴展行為有了一些新的觀察。例如，盡管一個 8B 參數模型對應的最佳訓練計算量是 200B個 tokens，但他們的 8B 和 70B 參數模型在接受高達 15 萬億個token訓練后，性能仍然呈對數線性提高。

Meta結合了三種并行化方式：數據并行、模型并行和管道并行，來訓練最大的Llama3模型。最高效地實現在同時使用 16K 個 GPU 訓練時，每個 GPU 的計算利用率超過 400 TFLOPS。他們還開發了一個先進的新訓練堆棧，可以自動進行錯誤檢測、處理和維護，并進行了一系列硬件和可擴展存儲系統的改進。最終使總體有效訓練時間超過 95%，與 Llama 2 相比訓練效率提升了約 3 倍。

指令微調方法創新

為了在聊天場景中充分釋放預訓練模型的潛力，Meta也在指令微調方法上進行了創新。后訓練方法采用監督微調(SFT)、拒絕采樣、鄰近策略優化(PPO)和直接策略優化(DPO)的組合。在模型質量上的最大改進來自于仔細整理的訓練數據，并對人工標注人員提供的標注進行多輪質量保證。

通過 PPO 和 DPO 從偏好排序中學習，也大大提高了 Llama 3 在推理和編碼任務上的性能。團隊發現，當你問模型一個它難以回答的推理問題時，模型會產生正確的推理軌跡：知道如何得出正確答案，但不知道如何選擇它。通過在偏好排序上進行訓練，模型就能學會如何去選擇正確答案。

哪里可以用到：

根據官方介紹，Llama 3 將很快在所有主要平臺上可用，包括云服務商、API 提供商等。從AWS、Google Cloud、Databricks、Snowflake 、NVIDIA NIM到Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure——Llama 3 將無處不在。它也得到了 AMD、AWS、Dell、Intel、NVIDIA 和 Qualcomm 提供的硬件平臺支持。

對于普通用戶來說，最方便直接感受Llama3的方式就是通過 Meta AI。

除了在WhatsApp、Messenger、Instagram、Facebook等應用與Meta AI聊天助手對話外，今天還推出了網頁版https://www.meta.ai/。即開即用，可以輸入文本提問來生成圖片和簡單代碼，支持實時搜索，其它功能還不是很完善。如果想存儲歷史記錄則需登錄Facebook賬號。

三、真正的“GPT-4級”開源模型就在眼前

而Meta透露，Llama 3 8B 和 70B 只是 Llama 3 系列的開始，更多令人期待的東西即將到來。

一個超過 400B 參數的最大模型正在訓練中，開發團隊對此感到興奮。未來幾個月，Meta將發布多個新功能，包括多模態、多語言對話能力、更長的上下文窗口以及更強大的整體能力。一旦完成所有Llama 3 的訓練，他們也會發表一篇詳細的研究論文供社區參考。

Llama3 8B和70B，加上一個證實了正在訓練的400B大模型，無疑向開源社區注入一支超強興奮劑。

而不久后即將發布的Llama3 400B+會有多厲害？

大神卡帕西給予了很高評價：“Llama 3 是 Meta 一個看起來非常強大的模型。堅持基本原則，在可靠的系統和數據工作上花費大量高質量時間，探索長期訓練模型的極限。我也對 400B 模型非常興奮，它可能是第一個 GPT-4 級別的開源模型。我想很多人會要求更長的上下文長度?！?/p>

同時他也提出了個人請求，希望能有比 8B 更小參數，理想規模在0.1B到1B左右的模型，用于教育工作、(單元)測試、嵌入式應用等。

英偉達高級研究經理Jim Fan認為，它將標志著社區獲得對「GPT-4級別模型」開放權重訪問的分水嶺時刻，這將改變許多研究工作和草根創業公司的計算方法。

從當前預測數據來看，Llama3 400B+已經足以匹敵市場上最強大的Claude 3 Opus和GPT-4。而Llama-3-400B仍在訓練中，有望在接下來的幾個月中變得更好?！坝腥绱藦姶蟮幕A設施，可以解鎖很多研究潛力。期待整個生態系統的建設者能量激增！”

一個讓所有人必須考慮的事實就是：開源模型追上閉源模型的歷史時刻可能就在眼前了。

這對開發者可能意味著，AI應用可以更加快速的涌現和迭代出來。

而對創業公司們來說，則意味著更徹底的思路上的沖擊。

它直接影響到所有以閉源模型 API 為核心的商業模式——既然免費的足夠好用，為什么還要花錢呢？

更重要的是，如果連OpenAI、Google和Anthropic神秘的工具箱都不再高不可攀，那做一個比不上開源最強水平的閉源模型的意義何在呢。

最后還是不得不問一句：GPT-5，你到底在哪里呢？