釘釘AI助理體驗報告:多項AI能力具備高可用性,偶發錯誤仍存

0 評論 1025 瀏覽 2 收藏 12 分鐘

釘釘先前正式發布了AI Agent,那么,釘釘AI助理的實際體驗感如何?這篇文章里,作者分享了自己的體驗和測評結果,一起來看看本文的梳理和分享。

于國內大模型市場而言,如果說2023年是比拼大模型發布和能力接入的一年,那么2024年或許比拼的就是各應用在大模型能力加持下,如何在實際工作流程中創造實際價值的一年。

在此,釘釘顯然是一個無法回避的存在——其既是用戶在日常工作流中高頻使用的超級應用,也是最早擁抱大模型,既是用戶在日常工作流中高頻使用的超級應用,也是最早宣布“全面智能化,所有產品要用大模型重塑一遍”的產品之一。

回顧一下釘釘用大模型重塑一遍產品的幾大重要時間節點:

一是在2023年4月份,釘釘正式宣布接入“通義千問”大模型,開啟全面智能化,并在現場展示了正在內測中的斜杠“/”智能喚起功能;

二是在隨后的十一月份,將斜杠“/”智能喚起功能升級為“釘釘AI魔法棒”并正式上線,用戶可以快速調用“釘釘AI魔法棒”所提供的多項AI能力;

三是在今年一月,在釘釘7.5產品發布會上,釘釘正式發布AI Agent(釘釘AI助理);

四是4月18日,上線AI助理市場。

至此,釘釘用一年時間完成了17條產品線、60+場景、近百項AI技能全面開放用戶測試、并于近日實現AI助理市場上線。

那么在全面智能化上走在了業界前列的釘釘,其AI能力在用戶的工作流中究竟可以做什么?

這是我想探究的。

在過去幾周,筆者以科技自媒體的身份在日常內容輸出中深度使用釘釘AI能力后:個人認為釘釘AI助理雖然偶發Bug仍存,但內置的多項AI能力還是具備了較高的可用性,可以助力我實現效率提升。

眾所周知,科技自媒體在內容輸出上的困境在于:一是對熱點信息收集把控不足,二是相關資料收集分析耗時耗力,三是標題確定更是苦不堪言。

所以在此困境下,個人對一個好用的AI助理的功能訴求是:一是能幫助我鎖定熱點、二是能夠幫助我歸納相關資料信息、三是能夠推薦相關標題、四是能夠快速為我生成一些符合各平臺風格的內容與稿件。

那么釘釘的AI助理能力能否實現我對好用AI助理的功能訴求?

以下是對其功能使用的實例測試:

測試案例:

前段時間,新能源汽車市場氛圍熱鬧,小米SU7上市火爆,隨后智己L6發布并在發布會上對標小米SU7,但因參數錯誤問題而引起小米強烈反應,隨即智己汽車陷入輿論危機。

面對這一互聯網熱點,我用釘釘內置的AI助理分別進行了熱點搜索、相關信息收集、標題創作、內容生成、“好物種草”創作測試,并在AI助理市場使用了小紅書工具、內容運營助理在平臺進行測試。而從整體使用表現來看,釘釘內置的AI助理在相關能力上,已具備相當可用性。

一、熱點收集測試

小米SU7和智己L6這兩款作為當前市場關注度頗高的車型,圍繞這兩款車型的熱點話題也是層出不窮,對此我嘗試利用釘釘AI助手進行這兩款車型的熱點信息收集。

從收集情況來看,釘釘AI助手在指令明確的情況下能夠實現相關熱點信息,但也存在一定的局限性,諸如不具備事實熱點更新能力,同時也會在部分熱點信息收集時出現基礎事實錯誤。

二、信息素材收集能力測試

于自媒體流程而言,在熱點信息出現后,對于有價值的熱點,就可能會著手于選題確定并收集相關素材,對此我也分別以“小米SU7和智己L6爭端始末”以及“MEGA風波始末”對釘釘AI助手進行的熱點素材收集歸納能力測試,從測試結果來看,其對熱點時間線的歸納我認為還是可用的。

三、標題創作能力測試

針對小米SU7的火爆市場表現以及智己L6在發布會上錯標參數遭遇小米汽車言辭激烈的回應以及隨后的輿論爭論問題,我讓釘釘AI助手分別以“專業寫實”風格和“夸張生動”風格生成標題,在其生成的標題中,個人認為這些標題還是緊貼了核心事實,讓這些標題具備了可用性。

四、內容生成能力測試

坦率來講,在內容生成能力上,從測試結果來看其實是喜憂參半的——在標題內容指向明確的情況下,其能夠生成具備一定可用性的內容。但在內容指向不明時,則有可能會出現基本的事實錯誤。

諸如當我讓釘釘AI助理以““小米SU7首戰告捷:開售27分鐘大定破5萬,新能源市場再掀波瀾”為標題生成一篇新聞稿時,其生成的內容還是具備可用性的,但當我讓其以“小米汽車VS智己L6:參數烏龍引發“夜戰”,道歉聲中暗潮洶涌!”為題生成文章時,其生成的文章則出現了基本的事實性錯誤,當然在段落標題上,則還是具備可用性的。

五、好物種草文案生成能力測試

在“好物種草”能力上,個人分別以“小米SU7的人車家互聯”和“智己L6的螃蟹模式”,要求釘釘AI助理進行好物種草文案創作。從最終的內容呈現來看,釘釘AI助理生成的文案講清楚了需要表達的核心賣點并進行了場景化的推介,我認為還是具備可用性。

所以綜合來看,釘釘內置的AI助手在多項能力上還是達成了較高的可用度,多數時候只需要進行簡單的校對調整,即可輸出一份創作文案。

當然,其也與諸多AI智能助手一樣,存在偶發性的Bug——諸如新聞稿生成中所出現的關鍵事實錯誤,同時在敘事邏輯性、內容流暢性等方面,也都還有可進步空間。

六、AI助理應用市場內應用能力測試

4月18日,釘釘也在AI助手中上線了AI助理市場,應用市場被劃分為了多個板塊,同時釘釘在AI助理市場也為用戶開放了DIY能力——用戶可以根據自身業務需求搭建專屬的AI助理應用,這讓用戶多樣化的AI能力需求在某種程度上有了被滿足的可能性。當然,前提是用戶需要具備一定的編程能力,或許才能實現較好的效果。

而在已上線的應用中,僅就個人的測試體驗來看,其表現是難言滿意。于科技自媒體的工作定位而言,運營推廣內的相關AI應用是我最為感興趣的。而由于最近比較沉迷玩小紅書,所以試用了在運營推廣板塊中較熱的“爆款小紅書生成器”這款AI助理應用。

但測試結果卻難言滿意——從測試結果來看,其對小紅書文案的封面設計、標題內容等相關建議還是有參考價值的,但在用戶指令下生成的文案內容卻顯然是不合格的,甚至會有基本的事實錯誤,諸如在華為Pura70系列的AI消除功能能消除衣物的這一熱點事件中,其生產的小紅書文案居然出現了“衣物護理”、“環保理念、延長衣服壽命”等文案內容。

當然,這或許是一個特例,但這似乎也預示著:當前AI助理市場的應用還是比較稚嫩的,其產品質量還有待提升。

寫在最后

智能化時代浪潮洶涌澎湃,釘釘是弄潮兒之一。而從一個科技互聯網自媒體的需求角度而言:在體驗完釘釘的AI智能助理后,僅在我所在的領域,個人認為釘釘AI助手其多項AI能力其實已具備了較高的可用性,能為我帶來效率的提升。雖然它還不完美,甚至會有一定幾率發生基本事實錯誤,但其所展現出的多面手的能力,我認為假以時日,其真的有可能成長為一位超級助理,而這也勾勒出了令人期待的未來。

專欄作家

鄰章,微信公眾號:TMT317,人人都是產品經理專欄作家。專注科技互聯網評論,致力傳遞價值思考。關注電商、移動互聯網、人工智能、智能手機等產業。

本文原創發布于人人都是產品經理。未經許可,禁止轉載

題圖來自Unsplash,基于CC0協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!