本篇文章作者將從文本、問答、翻譯、邏輯、代碼編寫和計算能力等幾個方面，對比訊飛星火和ChatGPT兩個應用的差別 ，希望這篇文章能對你有所幫助。

訊飛星火6月9日迭代在即，一起來看看它是否能成為真的中文ChatGPT？本文將從多種指令角度，全面對比并評測下訊飛星火認知模型與ChatGPT的差異。

訊飛星火：繼百度文心一言與眾多國內AI平臺發布后，訊飛星火發布的一款認知大模型，主要能力包括文本生成、語言理解、知識問答、邏輯推理、數學能力、代碼能力、多模態能力。

筆者有幸成為訊飛星火體驗的受邀人員，以普通工作者的身份，接下來分別從“文本生成、問答能力、語言翻譯、邏輯推理、代碼編寫、數學計算能力”這幾個方面進行評測對比。

（注：ChatGPT測試模型為3.5版本）

一、文本生成

訊飛星火在中文語言理解能力一定程度上是優于ChatGPT的。

可以看到下方對“七言絕句”的處理結果明顯好于對方；但是對于日常工作的文本生成，ChatGPT文本更為自然。

對于文學小說故事的生成，訊飛理解更為透徹，而ChatGPT更像是生硬的文字聯想堆積而成。整體上，中文的理解能力星火略勝一籌，但普通文本生成的自然度，ChatGPT大部分情況下更為優秀。

關于生成詩詞與郵件的對比：

二、問答能力

• 工作上常規問題回答，訊飛星火更為通用化些，ChatGPT更為細致化，從匹配度上說，ChatGPT的參考價值會高些。
• 都能理解普通的上下文記錄。ChatGPT的記憶能力略強。
• 中文常識問題，特別涉及到歷史文化文學，星火對信息的檢索與分析明顯優于ChatGPT。

工作問題1：

以下是訊飛星火：

工作問題2：

表格與數據檢索的處理看起來星火更為厲害，獲取了數據，但是數據并不真實，二次讓它回答直接變成負增長。雖然ChatGPT無法獲取準確數據，但至少不會提供假數據給用戶，這點星火急需改進。

常識問題：

三、語言翻譯

兩者都具有直譯能力，但是涉及到中文的理解力，星火翻譯的更有感染力一些.

例如下圖示例中，ChatGPT使用的是“sprouting up”-發芽；而星火使用的是“emerging in droves”-“涌現”，明顯字意表達更為貼切。

四、邏輯推理

1. 邏輯陷阱。例如詢問“爸媽結婚為啥不叫我”類似問題時，國內大部分語言模型都無法正確處理，ChatGPT的答案更為全面，星火直接選擇不答。
2. 基礎的邏輯能力兩者都具備。對于復雜的邏輯題目，兩者回答的出錯率都很高
3. 邏輯分析的廣度、深度總體ChatGPT優于星火。但ChatGPT這類語言模型只要脫離了常見的“常見區域”基本都會犯錯，只是在錯誤中，ChatGPT的錯誤概率或者出錯的離譜度小于星火。

邏輯問題1：

正確答案：

邏輯問題2：

可以看到此時ChatGPT就已經出現錯誤了，但仍然有一定的正確率。

再看星火，從第二個問題開始，“cpu”就已經被干燒了。

五、代碼編寫

兩者都具備一定的代碼編寫能力，包括代碼編寫、代碼注釋、代碼debug能力。

由于筆者不是專業開發人員，不能實際驗證是否能真實編譯但是從外部資料和輸出結果看，訊飛星火對比剛發布時代碼編寫能力有一定提升，找錯的準確度也更好于之前。

咨詢過很多開發同學，ChatGPT整體實力上還是比星火優秀。

以上是星火糾錯的一個實例。

六、數學計算能力

對于數學計算，所有的語言模型都存在短板，高難度的數學問題是十分嚴謹的，只要其中一個步驟出錯答案就會出錯。

而計算機語言并不能人性化去理解一些含義，比如說可能會把“10”理解為“1”和“0”。而且大部分數學問題伴隨著很多推理邏輯，計算機再處理這些“定量推理”問題是十分的棘手的。

可以看下星火的數學計算實例：

可以看到，星火連題意都沒理解清楚，但ChatGPT至少舉例了一種情況。

七、總結

在全面體驗訊飛星火后，同時將其與其他產品在工作中使用的情況進行對比，我發現在問題處理和多次prompt的情況下，ChatGPT提供的答案在參考價值和回答廣度方面仍然更優。

但作為國內的AI模型，自從百度文心一言以來，訊飛星火目前是我使用過的最好、最流暢的產品?？梢哉f它完全配得上“星星之火”的稱號。

然而，與OpenAI的技術相比，仍存在一定差距。同時，作為生產力工具，它的實用性稍弱一些。但在中文語言理解和特定常識問題方面，它具有一定的優勢。

客觀地說，訊飛已經取得了很大的進步，希望國內的互聯網科技公司能夠加緊追趕，不要讓“西方成為潮流”，讓“華流才是最吊的”。