訊飛星火,AI燎原or熄滅?

1 評論 5476 瀏覽 4 收藏 11 分鐘

本篇文章作者將從文本、問答、翻譯、邏輯、代碼編寫和計算能力等幾個方面,對比訊飛星火和ChatGPT兩個應用的差別 ,希望這篇文章能對你有所幫助。

訊飛星火6月9日迭代在即,一起來看看它是否能成為真的中文ChatGPT?本文將從多種指令角度,全面對比并評測下訊飛星火認知模型與ChatGPT的差異。

訊飛星火:繼百度文心一言與眾多國內AI平臺發布后,訊飛星火發布的一款認知大模型,主要能力包括文本生成、語言理解、知識問答、邏輯推理、數學能力、代碼能力、多模態能力。

筆者有幸成為訊飛星火體驗的受邀人員,以普通工作者的身份,接下來分別從“文本生成、問答能力、語言翻譯、邏輯推理、代碼編寫、數學計算能力”這幾個方面進行評測對比。

(注:ChatGPT測試模型為3.5版本)

一、文本生成

訊飛星火在中文語言理解能力一定程度上是優于ChatGPT的。

可以看到下方對“七言絕句”的處理結果明顯好于對方;但是對于日常工作的文本生成,ChatGPT文本更為自然。

對于文學小說故事的生成,訊飛理解更為透徹,而ChatGPT更像是生硬的文字聯想堆積而成。整體上,中文的理解能力星火略勝一籌,但普通文本生成的自然度,ChatGPT大部分情況下更為優秀。

關于生成詩詞與郵件的對比:

二、問答能力

  • 工作上常規問題回答,訊飛星火更為通用化些,ChatGPT更為細致化,從匹配度上說,ChatGPT的參考價值會高些。
  • 都能理解普通的上下文記錄。ChatGPT的記憶能力略強。
  • 中文常識問題,特別涉及到歷史文化文學,星火對信息的檢索與分析明顯優于ChatGPT。

工作問題1:

以下是訊飛星火:

工作問題2:

表格與數據檢索的處理看起來星火更為厲害,獲取了數據,但是數據并不真實,二次讓它回答直接變成負增長。雖然ChatGPT無法獲取準確數據,但至少不會提供假數據給用戶,這點星火急需改進。

常識問題:

三、語言翻譯

兩者都具有直譯能力,但是涉及到中文的理解力,星火翻譯的更有感染力一些.

例如下圖示例中,ChatGPT使用的是“sprouting up”-發芽;而星火使用的是“emerging in droves”-“涌現”,明顯字意表達更為貼切。

四、邏輯推理

  1. 邏輯陷阱。例如詢問“爸媽結婚為啥不叫我”類似問題時,國內大部分語言模型都無法正確處理,ChatGPT的答案更為全面,星火直接選擇不答。
  2. 基礎的邏輯能力兩者都具備。對于復雜的邏輯題目,兩者回答的出錯率都很高
  3. 邏輯分析的廣度、深度總體ChatGPT優于星火。但ChatGPT這類語言模型只要脫離了常見的“常見區域”基本都會犯錯,只是在錯誤中,ChatGPT的錯誤概率或者出錯的離譜度小于星火。

邏輯問題1:

正確答案:

邏輯問題2:

可以看到此時ChatGPT就已經出現錯誤了,但仍然有一定的正確率。

再看星火,從第二個問題開始,“cpu”就已經被干燒了。

五、代碼編寫

兩者都具備一定的代碼編寫能力,包括代碼編寫、代碼注釋、代碼debug能力。

由于筆者不是專業開發人員,不能實際驗證是否能真實編譯但是從外部資料和輸出結果看,訊飛星火對比剛發布時代碼編寫能力有一定提升,找錯的準確度也更好于之前。

咨詢過很多開發同學,ChatGPT整體實力上還是比星火優秀。

以上是星火糾錯的一個實例。

六、數學計算能力

對于數學計算,所有的語言模型都存在短板,高難度的數學問題是十分嚴謹的,只要其中一個步驟出錯答案就會出錯。

而計算機語言并不能人性化去理解一些含義,比如說可能會把“10”理解為“1”和“0”。而且大部分數學問題伴隨著很多推理邏輯,計算機再處理這些“定量推理”問題是十分的棘手的。

可以看下星火的數學計算實例:

可以看到,星火連題意都沒理解清楚,但ChatGPT至少舉例了一種情況。

七、總結

在全面體驗訊飛星火后,同時將其與其他產品在工作中使用的情況進行對比,我發現在問題處理和多次prompt的情況下,ChatGPT提供的答案在參考價值和回答廣度方面仍然更優。

但作為國內的AI模型,自從百度文心一言以來,訊飛星火目前是我使用過的最好、最流暢的產品??梢哉f它完全配得上“星星之火”的稱號。

然而,與OpenAI的技術相比,仍存在一定差距。同時,作為生產力工具,它的實用性稍弱一些。但在中文語言理解和特定常識問題方面,它具有一定的優勢。

客觀地說,訊飛已經取得了很大的進步,希望國內的互聯網科技公司能夠加緊追趕,不要讓“西方成為潮流”,讓“華流才是最吊的”。

本文由 @旺仔產品筆記 原創發布于人人都是產品經理,未經作者許可,禁止轉載。

題圖來自Unsplash,基于CC0協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 要不是我是訊飛的,我就信了

    來自湖北 回復