雖然，有了AlphaGo的經驗，我們并不認為AI在某些領域超越人類是什么新鮮事。但今時不同往日，在ChatGPT帶來的AGI、強人工智能“威懾”下，任何被稱為超越人類的AI，多多少少都會引人側目。

那么在這個測試集中超越人類專家，到底有多厲害呢？

大型語言模型（LLM）的主流評測數據集包括：GLUE、SuperGLUE、SQuAD、CommonsenseQA、CoQA、LAMBADA等。通常用于評估模型在語言理解、推理、閱讀理解和常識推理等方面的能力。

MMLU（大規模多任務語言理解）是一個結合了數學、物理、歷史、法律、醫學和倫理學等57個科目的測試集。相比于其他測試集，MMLU的廣泛性和深度更強，它通過大量和多樣的任務來測試AI模型在理解自然語言方面的能力，特別是在復雜和多變的真實世界場景中的表現。這使得MMLU成為一個極具挑戰性的評測框架，可以全面地評估和推動大型語言模型的發展。

GPT-4與Gemini在MMLU測試集的對比

這個框架通常包括數以千計的不同任務，涵蓋廣泛的主題和挑戰。MMLU的目的是提供一個全面且多樣化的方法，測試和評估語言模型在各種復雜和現實世界場景中的表現。其中的測試任務可能包括理解笑話、回答有關世界歷史的問題、解釋科學現象等眾多更接近于人類知識、常識和理解能力的項目。

在MMLU測試中超越人類專家，也可以理解為，在這個測試框架下，Gemini在“各種復雜和現實世界場景中的表現”超越了人類專家。

谷歌在官方博客中稱：Gemini利用MMLU基準方法使Gemini能夠利用其推理能力在回答難題之前更仔細地思考，從而比僅使用第一印象有顯著改進。

除此之外，Gemini Ultra還在新的MMMU（專家AGI的大規模多學科多模式理解和推理）基準測試中取得了59.4%的最先進分數，該基準測試由跨越不同領域、需要深思熟慮的推理的多模態任務組成。

谷歌的測試顯示Gemini Ultra的性能優于之前最先進的模型，無需從圖像中提取文本以進行進一步處理的對象字符識別(OCR)系統的幫助。這些基準凸顯了雙子座天生的多模態性，并表明了雙子座更復雜推理能力的早期跡象。

Gemini在文本和編碼等一系列基準測試中的表現

在某個測試集中超越人類專家，對于AGI或者強人工智能來說雖然還相去甚遠，但仍可以說是在這條路上邁出的堅實一步。

二、原生多模態，比GPT-4更強大？

其實Gemini的LLM性能表現并不是他最大的亮點。Gemini真正值得關注的差異化能力是“原生多模態”。

首先，什么是“Gemini’s native multimodality”（Gemini的原生多模態能力）？

原生多模態能力，指的是Gemini模型固有的能力，可以直接理解和處理多種不同類型的數據，而不需要額外的專門處理或轉換。

有人可能會疑惑，那這與GPT-4有何不同？

打個簡單的比方：假如GPT-4是一個詩人，他不僅擅長寫詩，還會畫畫，但寫詩是他的職業，畫畫只是他的副業。GPT-4能處理文字（寫詩）和圖片（畫畫），但它主要還是以文字處理為強項。

具有“原生多模態能力”的Gemini則是一個詩人、畫家“雙料人才”，他在寫詩和畫畫方面同樣出色，沒有哪一方面比另一方面弱。Gemini能夠同時處理文字和圖片，并且在這兩個方面都做得很好，沒有主次之分。

GPT-4的多模態能力可能更多地是通過將不同模型的能力集成到一個框架中來實現的，而不是所有功能都在一個統一的模型中原生實現。作為一個大型語言模型，GPT-4的主要優化和訓練是圍繞語言理解和生成。對于圖像處理，雖然它展現了一定的能力，但可能不如那些專門針對圖像處理優化的模型。而一個真正的本地多模態模型會在所有模態上都進行平衡和優化。

Gemini的多模態理解能力

原生多模態能力意味著模型能夠更自然、高效地處理和融合多種類型的數據，這在實現更復雜的AI應用方面具有重要意義。

當然，這也是更接近人類的理解方式。人類在理解世界時自然地融合了視覺、聽覺和語言等多種感官信息。一個具有本地多模態能力的AI模型在處理信息時也采用了類似的綜合方式，這更接近于人類的理解和認知方式。

三、全方位“打敗”GPT-4

Gemini不僅是在模型能力和多模態能力方面敢與GPT-4一爭高下。在應用方面，也提供了更多選擇。

1. “小模型”

模型系列中的最小尺寸的Gemini Nano模型，被設計為適用于內存受限的端側設備。它在多種任務上展示了出色的性能，尤其是在多模態和多語言處理方面。Gemini Nano的這些特性使其成為適合在資源受限環境中使用的強大工具。

雖然目前大模型的主流趨勢仍是“依云而生”，但在AI未來的商業化版圖中，離線、個人化、小型化的端側模型正在受到越來越多的重視。

過去幾個月中，高通、聯想等眾多巨頭都在反復強調自己在端側生成式AI的戰略布局。高通推出的最新一代驍龍芯片對生成式AI提供了強大的支持能力，聯想則提出AI PC概念，并強調未來一段時間里將圍繞AI對已有的全部產品展開大刀闊斧地改革。

然而，硬件設備廠商非?；钴S的同時，AI廠商對端側的關注卻并不怎么高。以百模大戰的國內市場為例，目前只有個位數的廠商正式宣布過自己的端側小模型。其中包括雷軍在8月的年度演講中提到的小米MiLM模型的13億參數版本，以及通義千問在12月1日開源的Qwen-1.8B模型。

在這方面，相比OpenAI，谷歌更有動力去研究端側小模型。畢竟谷歌本身具備Pixel手機和Android的雙重優勢。

2. 訓練

谷歌在訓練Gemini過程中大量使用了自研的張量處理單元（TPU）v4和v5e。

在TPU上，Gemini的運行速度明顯快于早期、較小且功能較差的型號。這些定制設計的人工智能加速器一直是谷歌人工智能產品的核心，這些產品為搜索、YouTube、Gmail、谷歌地圖、Google Play和Android等數十億用戶提供服務。它們還使世界各地的公司能夠經濟高效地訓練大規模人工智能模型。

隨著Gemini的問世，谷歌也宣布了TPU系統的最強升級Cloud TPU v5p，專為訓練尖端AI模型而設計。

在訓練優化方面，Gemini增加了對模型并行性和數據并行性的利用，并對網絡延遲和帶寬進行了優化。Gemini還使用了Jax和Pathways編程模型，為復雜的數學運算（如在機器學習中常見的運算）提供了優化的支持。

Jax特別適用于高效地執行大規模的數組運算。Pathways指用于管理和協調大規模訓練任務的編程模型或框架。通過使用這些工具，Gemini模型的開發者可以使用單個Python進程來協調整個訓練過程，這樣可以簡化開發和訓練工作流，同時利用Jax和Pathways的高效性能。

3. 復雜推理能力

Gemini 1.0復雜的多模式推理功能可以幫助理解復雜的書面和視覺信息。這使得它在發現大量數據中難以辨別的知識方面具有獨特的能力。

批改物理作業

其通過閱讀、過濾和理解信息從數十萬份文檔中提取見解的卓越能力將有助于在從科學到金融的許多領域以數字速度實現新的突破。

Gemini 1.0經過訓練，可以同時識別和理解文本、圖像、音頻等，因此它可以更好地理解微妙的信息，并可以回答與復雜主題相關的問題。這使得它特別擅長解釋數學和物理等復雜學科的推理。

4. 編程

Gemini可以理解、解釋和生成世界上最流行的編程語言（如Python、Java、C++和Go）的高質量代碼。它跨語言工作和推理復雜信息的能力使其成為世界領先的編碼基礎模型之一。

Gemini Ultra在多個編碼基準測試中表現出色，包括HumanEval（用于評估編碼任務性能的重要行業標準）和Natural2Code（谷歌內部保留的數據集），該數據集使用作者生成的源而不是基于網絡的信息。

Gemini還可以用作更高級編碼系統的引擎。兩年前，谷歌推出了達到競賽水平的AI代碼生成系統AlphaCode。如今基于Gemini技術開發，剛剛又開發了AlphaCode 2，專門針對競技編程任務進行了優化和增強。

四、Gemini的下一步規劃

雖然谷歌在技術文件和官方博客中把Gemini吹得很神，好像已經把OpenAI踩在腳下了。但今天的發布其實只是一個“論文”而已，真正有能力對標GPT-4的Gemini Ultra要到明年年初才會上線。

Gemini家族的老二，Gemini Pro目前已經準備開始為谷歌的對話機器人產品Bard提供支持了。

谷歌在博客中稱：從今天開始，Bard將使用Gemini Pro的微調版本來進行更高級的推理、規劃、理解等。這是Bard自推出以來最大的升級。它將在170多個國家和地區提供英語版本，谷歌計劃在不久的將來擴展到不同的模式并支持新的語言和地點。

不過，截至發稿，在bard上的測試仍顯示未升級到Gemini，且bard對Gemini的了解也十分有限。

提問Bard是否已經升級Gemini

Gemini Nano則被規劃到了Pixel。谷歌將在Pixel 8 Pro中首次內置Gemini Nano。這款手機將支持Recorder應用中的Summarize等新功能，并從WhatsApp開始推出Gboard中的Smart Reply，明年還會推出更多消息應用。

從12月13日開始，開發者和企業客戶可以通過Google AI Studio或Google Cloud Vertex AI中的Gemini API訪問Gemini Pro。

Google AI Studio是一款基于網絡的免費開發者工具，可使用API密鑰快速構建應用程序原型并啟動應用程序。當需要完全托管的AI平臺時，Vertex AI允許對Gemini進行自定義，提供全面的數據控制，并受益于額外的Google Cloud功能，以實現企業安全、安全、隱私以及數據治理和合規性。

Android開發人員還可以通過AICore（Android 14中提供的新系統功能，從Pixel 8 Pro設備開始）使用Gemini Nano（谷歌最高效的設備端任務模型）進行構建。

除此之外，Gemini已經確定會很快融入到谷歌的業務中。在接下來的幾個月中，Gemini將出現在更多谷歌產品和服務中，例如搜索、廣告、Chrome和Duet AI。

谷歌稱已經開始在搜索中試驗Gemini，它使用戶的搜索生成體驗（SGE）更快，美國英語的延遲減少了40%，同時質量也得到了提高。

值得注意的是，對于谷歌來說，搜索始終是其看家業務。Gemini在谷歌搜索、廣告業務中的全面鋪開，可能會徹底改變未來的廣告和營銷邏輯。

在最近的一次工業軟件研討會中，一位工業企業高管對虎嗅吐槽說，“谷歌的競爭對手在互聯網上鋪了很多軟文，但是我們沒有買軟文。這就導致這些軟文成了LLM訓練的數據，進而沉淀到它的知識庫中。在AI的意識里，我們的競爭對手已經被看作是默認的行業標準了。”

這種現象，早在2022年底，就已經有人預言了，“SEO is Dead, Long Live LLMO”的口號。彼時的ChatGPT還沒有聯網功能，而今天的Gemini幾乎已經確定要融入到谷歌的搜索引擎中，并完全改變未來的網絡搜索邏輯。