AIGC產品經理到底需要什么要求(探索二)
AIGC產品經理需要具備什么樣的核心能力和素質?這篇文章里,作者結合對話式AIGC產品的體驗測評,嘗試從中逆向推導,尋找相應的答案,一起來看看作者的思考過程。
上書說到,為了搞清楚AIGC產品經理需要具備的核心能力和素質,看過大廠對該崗位招聘信息中的職責要求,問過主流AIGC產品應用,煞費苦心閱覽了100多篇AIGC相關分析報告,但最終也沒有找到答案,甚是失望,也讓大家失望了。
此次從AIGC產品體驗入手,不知是否可以逆向推導出“AIGC產品經理需要具備的核心能力和素質”,這個困擾我已久的問題。
ChatGPT引發了一場以對話交互方式為主AIGC產品應用,國內緊隨其后:百度-文心一言、科大訊飛-訊飛星火、百川智能-百川大模型、阿里-通義千問、昆侖萬維-天工、字節-豆包、智譜-清言。
一、選擇分析對象
2023年8月,新華社研究院中國企業發展研究中心通過設計的共計500道問題,對國內主要大模型的基礎能力、智商能力、情商能力、工具提效能力進行了體驗,最終發布了《人工智能大模型體驗報告2.0》:
- 基礎能力:考察產品的語言能力、跨模態能力以及AI向善的引導能力,以及多輪對話能力。
- 智商能力:考察產品的常識知識、專業知識、邏輯能力三大項。
- 情商能力:衡量產品個體情感能力。包括自我認知、自我調節、社交意識、人際關系管理等方面。
- 工具提效能力:考察產品能否有效幫助相關人員的工作效率提升,并為創新提供思路。
目前各大機構的大模型評測報告和評測維度也越來越多,排名先后也是大相徑庭,對閱讀者來說,只需參考,還需進一步親身體驗,這里我們選擇百度-文心一言(AI助手)和訊飛星火進行分析。
二、用戶體驗地圖
對話式語言大模型應用,用戶看得見的是對話的交互方式和交互界面以及輸出結果,看不見的是背后模型、框架、算法、算力、數據。
看得到的往往同質化會越來越嚴重,看不到的差距往往會越來越大。
體驗完百度-文心一言、科大訊飛-訊飛星火等產品后,以用戶的視角,對話式語音大模型應用的主要使用流程如下:
- 輸入前:用戶在對話交互前的準備階段。
- 輸入中:開始對話交互時,用戶輸入的手段,以及產品提供的輔助矯正輸入內容的工具。
- 輸入后:AI大模型根據用戶的輸入內容,反饋給用戶的輸出結果,以及用戶對輸出結果可再次向平臺反饋的工具。
- 高階操作:用戶在平臺AI大模型基礎上建立自己的“數據域”,創建自己的生活或工作助手的過程。
三、對話式AIGC產品核心功能
在所體驗的百度-文心一言、科大訊飛-訊飛星火等產品后,對話式語音大模型應用的功能模塊主要分為兩大塊:“對話”和“助手”;以下以文心一言和百度AI助手為例看看這兩個模塊的主要內容:
1. 【對話】功能模塊主要分為輸入和輸出兩部分
1)輸入內容和工具
- 輸入內容:文本、語音、圖片、語音對話。
- 輸入指令:文案創作、AI繪畫、趣味玩法、學習助手、社交幫手、生活工具、命理大師、情感互動。
- 輸入插件:E言易圖、建立助手、PPT助手、合同助手、國家信息中心中經網……
2)輸出內容和反饋
- 輸出內容:文本、語音、圖片、語音對話。
- 輸出操作:點贊、點踩、分享、復制、播報、重新回答。
2. 【助手】功能模塊主要分為使用和創建兩部分
1)選擇和使用助手
- 搜索助手:通過關鍵詞搜索助手。
- 選擇助手:查看和進入助手進行對話。
- 使用助手:輸入內容詢問助手。
- 添加助手:收藏助手。
- 助手分類:根據模型發展和訓練的數據,助手的類型和助手的數量會不斷增加(求職、創作、娛樂、職場、學習……)。
2)創建個人助手
- 創建普通助手:基礎信息-輸入指令-測試發布。
- 創建高級助手:基礎信息-輸入指令-上傳數據-生成表單-測試發布。
四、效果檢測
前面梳理了對話式AIGC產品的功能結構和產品體驗流程,接下來再看看產品輸出的結果對用戶是否“合理”和“有價值”。
下面通過數學、文案、方案、人文歷史、文生圖、邏輯六個維度各一個問題來檢驗產品:
1. 數學
出題:x2+1=9;求解x
首先檢測加減乘除一元一次方程的求解(1+x=8;求解x),最后百度AI助手和訊飛星火均給出了正確的答案,然后再檢測一元二次方程的求解(x2+1=9;求解x),得出的結果是:
百度AI助手:x=± 2sqrt(2);解答正確,多次選擇重新答題,結果依然一致,但是平方根的表現形式沒有用根號(±2√2)表示。
訊飛星火:在求解完醫院一次方程后,再追問一元二次方程,最后的結果是x=±3;但是新開一個對話,再次單獨求解醫院二次方程,最后得到的結果是x=±√8,雖然顯示了與百度相比有進步,但是正確應該顯示±2√2(2倍根號2)。
分析:百度AI助手求解一元二次方程,可以得到正確答案,但是顯示方式還可改進;訊飛星火求解過程中連續對話的關聯邏輯應該沒有做好,很大程度上求解結果會受到上一個問題的影響。
2. 文案
出題:幫我寫一篇國慶節游玩黃山的小作文
最后百度AI助手和訊飛星火均輸出了一篇600字左右的小作文,文無第一武無第二,但是從閱讀感上還是有區別的,以我們中學語文老師批改建議就是:
百度AI助手:輸出的小作文更像是一篇流水賬,只是單純的敘述,蒼白無力,沒有對游記進行生活,沒有太多的心理描寫,良!
訊飛星火:輸出的小作文有比喻等修飾手法,有內心的波動和憧憬,以及對旅行意義的思考,優!
3. 方案
出題:幫我設計下國慶節7天如何游玩黃山
百度AI助手和訊飛星火均輸出了7天的游玩計劃,表現形式上,訊飛星火輸出的內容結構更加友好和詳細,每一天均按照早中晚進行劃分。
輸出內容質量上沒有達到我的預期,比如住酒店是否可以進行比價推薦,打車的地方和方式進行說明,爬山的具體路線圖是否可以展示,山中溫度和天氣以及爬山攜帶之物是否可以列出方案,總之方案不夠完整和細致。
4. 歷史(人文)
出題:唐宋八大家有哪些人
百度AI助手和訊飛星火均準確地列出了唐宋八大家的名稱。
百度AI助手:只是單單列出了名字,再無其他多余的內容。
訊飛星火:將八大家的字、號、出生地等稍加延伸了些,如果再加上各自的代表作也許會更好。
5. 文生圖
出題:畫一幅圖畫:古道、西風、瘦馬
百度AI助手和訊飛星火同樣成功輸出了一張以馬為主題的圖,但是效果卻大相徑庭。
百度AI助手輸出的結果:1 是一張照片而不是一張圖畫;2 馬占據絕對的篇幅,完全沒有表現出古道和西風兩個元素。
訊飛星火輸出的結果:古道西風瘦馬相互融合在一幅圖畫中,較符合個人的預期,但是其圖片卻不能點擊放大查看,交互上還需改進。
6. 邏輯
出題:張曼玉去關之琳家找劉嘉玲說,梁朝偉被黎明騙去張學友家偷郭富城放在周潤發柜子里,劉德華借給周星馳給成龍的工資一千元。請問誰是小偷?錢本來是誰的?最后得到的結果是:
百度AI助手:小偷是梁朝偉,錢是劉德華的;同時給出了解題過程,但是選擇【重新回答】后又會得出不一樣的結果,或者無法給出答案。
訊飛星火:小偷是梁朝偉,錢是劉德華的,并無解題過程的呈現,同樣選擇【重新回答】后會得出不一樣的結果,或者無法給出答案。
所以兩者在處理邏輯推理題上的的魯棒性均較差。
單從以上六個維度6個問題上的測試結果來看,總體上訊飛星火的體驗效果強于百度AI助手,當然這僅僅是作為一個普通用戶的粗略測試,僅作參考。
最后本想收集產品背后的模型、參數、數據、算力進行對比分析,遺憾無法找到準確權威的數據,只好作罷,就連他們產品自己也視為隱私數據。
五、總結
AIGC產品經理到底需要具備什么樣的核心能力和素質?
通過體驗以上這些對話式AIGC產品,似乎還是未找到完整的答案,以上提到的產品功能設計,輸入問題的分類,輸出結果的結構化呈現,似乎也在當前互聯網產品經理的職責和能力范圍內。
如果說分解各類問題得到結果的思路流程的設計,是AIGC產品經理的工作范圍的話,那也算一個吧,但這似乎是算法模型應該解決的問題,不然這和早期的專家系統就無任何差別,更不用說是什么人工智能了。
可以查看:轉行AIGC產品經理到底需要什么要求
青花瓷中水泡蔥,老板叫你去敲鐘,就寫到這吧!歡迎AIGC產品經理參與討論留言。
專欄作家
andy,微信公眾號:PM大白,人人都是產品經理專欄作家。一名產品經理崗位上的持證小獸醫。
本文原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自 unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
很欣賞你這種能自己探索和思考的過程~會繼續蹲更新
多謝!