Meta已在訓練比Llama 3更強大的后繼產品

0 評論 3857 瀏覽 2 收藏 7 分鐘

根據Meta公司首席人工智能科學家Yann LeCun的說法,今天發布的開源Llama 3人工智能模型只是一個開始。他表示,一個新的、更大規模的版本正在開發中。

周四上午,Meta發布了其最新的人工智能模型Llama 3,宣稱這是有史以來最強大的開源模型,任何人都可以使用。

同一天下午,Meta的首席人工智能科學家Yann LeCun宣布,一個更強大的后繼產品正在開發中。他暗示這款新模型有潛力超越當前世界上最優秀的封閉式AI模型,包括OpenAI的GPT-4和Google的Gemini。

Meta今天發布了兩個版本的Llama 3,一個擁有80億參數,另一個則有700億參數。參數數量是行業術語,大致能表明模型的能力。LeCun表示,更大的模型正在研發中,其中最強大的模型參數超過4000億,目前正在訓練中。

LeCun在麻省理工學院舉行的“想象力行動”會議上表示:“精調需要很長時間,但未來幾個月將推出這些模型的多種變體?!蹦壳吧胁磺宄螘r會發布超過4000億參數的模型。

Meta于周二推出了一款名為Meta AI的新助手,基于Llama 3,公司表示測試顯示這些模型優于以往具有類似參數數量的開源模型。盡管像Google和OpenAI這樣的大型AI開發商保持其技術的封閉,但LeCun預測開源AI模型將更快進步。理論上,他說,這將更快地推動AI向人類水平智能邁進。

LeCun指出,廣泛的軟件行業的觀察顯示開源技術最終將勝出。他說,開放的方法已經成為軟件基礎設施的主導,因為它允許更快地共享改進并更全面地審查代碼?!案嗳瞬榭创a時,AI會更好,”他說?!盎A設施需要是開源的——這樣進步更快?!?/p>

Meta的開源AI戰略已經加速了當前圍繞生成性AI的熱潮。該公司在2023年7月發布Llama 2模型時,為許多初創公司、研究人員和企業家提供了下載、實驗和構建的更強大的AI模型。

OpenAI的GPT-4和Google的Gemini僅通過付費API提供,盡管Google在二月份提供了一個較小的模型Gemma供下載。還有少數其他公司選擇加入Meta,發布強大的開源AI模型。

就在幾周前,來自初創公司Databricks的一款新模型成為目前可用的最強大的開源變體。如果Meta報告的基準測試分數準確的話,Llama 3似乎更有能力。

LeCun還在周二承認,Meta的策略包括免費提供AI模型,這些模型的研發和計算資源對Meta來說代價高昂。Meta的創始人兼CEO馬克·扎克伯格在1月份告訴CNBC,Meta計劃在2024年投入數十億美元購買GPU,用于訓練機器學習算法。

同月他宣布,Meta的終極目標——與OpenAI和Google所宣稱的相似——是開發所謂的人工通用智能,即可以完成任何和所有人類智能可以做的事情的機器。

扎克伯格今天在Instagram上解釋說,Meta將把新的Meta AI助手整合到包括WhatsApp、Instagram、Facebook和Messenger在內的產品中。這款助手由Llama 3驅動。

Meta在其宣布Llama 3的博客文章中表示,公司重點改善了用于開發該模型的訓練數據。公司表示,它使用的數據量是其前身Llama 2的七倍。一些人工智能專家指出,Meta發布的數據還顯示,創建Llama 3需要巨大的能源來支持所需的服務器。

開源AI模型能力的增長使一些專家擔心,這可能使開發網絡、化學或生物武器更加容易,甚至可能對人類產生敵意。Meta已經發布了一些工具,公司稱這些工具可以幫助確保Llama不會產生可能有害的話語輸出。

AI領域的其他人士表示,Meta的Llama模型并不像它們可以的那樣開放。公司對模型的開源許可證施加了一些限制,限制了研究人員和開發人員可以構建的內容。

艾倫人工智能研究院的高級應用研究科學家盧卡·索爾達尼在Llama 3發布后的一份聲明中表示:“看到越來越多的模型公開釋放它們的權重是很棒的事情?!?/p>

他補充說:“但開放社區需要訪問人工智能管道的所有其他部分——它的數據、訓練、日志、代碼和評估。這將最終加速我們對這些模型的集體理解?!?/p>

參與非營利開源AI項目EleutherAI的AI研究員斯特拉·比德曼表示,Meta對Llama 2的許可證限制了AI研究人員可以進行的實驗,并補充說Llama 3的許可證看起來更加限制性?!癕eta發布了權重,但它對你可以用它們做什么非常有限制,”比德曼說。

該模型的許可證的一部分規定,擁有“超過7億月活躍用戶”的公司必須從Meta尋求特殊許可——這顯然是為了防止該項目幫助公司的最接近競爭對手。

即便如此,Llama 3似乎很可能引發一波新的AI實驗熱潮。開放AI模型庫HuggingFace的CEO克萊門特·德朗格表示,開發者已經基于Llama 2創建了超過30,000個變種?!拔掖_信我們也將看到基于Llama 3的新模型的大量涌現,”他說?!癕eta的這一社區舉措非常棒?!保╓ired)

本文由人人都是產品經理作者【汪仔5037】,微信公眾號:【AI新智能】,原創發布于人人都是產品經理,未經許可,禁止轉載。題圖來自 Unsplash,基于 CC0 協議。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!