去「AI味兒」大作戰(zhàn),AI到底能不能寫出風格穩(wěn)定的「網(wǎng)文」?| AI chat篇

0 評論 942 瀏覽 0 收藏 16 分鐘

都說生成式AI用在寫東西方面非常強大,不知道用來寫網(wǎng)文效果如何。這篇文章,作者通過實操為我們對比AI寫網(wǎng)文的一些問題,以及一些風格模仿的效果。

很多小伙伴在嘗試用AI寫網(wǎng)文的時候,都會遇到這樣的問題:AI剛開始寫出來的東西可能還不錯,寫著寫著就出現(xiàn)語言淺白、生硬的問題。當篇幅拉長之后,AI就開始重復、排比,大量內(nèi)心獨白,胡亂堆文字,進入抽風的狀態(tài)。

那么,有沒有什么辦法,能讓AI的文風保持???

要解決這個問題,我們首先需要來分析一下,出現(xiàn)這種問題可能的原因,才好對癥下藥。

目前AI能寫的文章類型很多,小到小紅書/朋友圈文案、短詩,大到公眾號文章、論文。AI處理邏輯性強、知識梳理類的文章能力很不錯,比如生成郵件正文、會議紀要、論文之類的。AI本身的語言風格也很貼合這類內(nèi)容。

但在創(chuàng)作故事、輸出較感性的文案方面,AI會出各種問題,開篇講到的情況就是典型體現(xiàn)。我認為原因在于,故事類內(nèi)容中有邏輯性,但邏輯性不是故事的核心驅(qū)動力,并且故事中絕大部分內(nèi)容需要去虛構(gòu)、無中生有,這其實是和生成前述文章類型非常不同的能力。虛構(gòu)≠瞎編,這種知識的綜合運用,內(nèi)里隱含的決策機制非常復雜,人腦可以輕松做到,卻很難歸納成123,只可意會不可言傳,遠不是現(xiàn)有AI能完全掌握的。

因此,我們可以考慮以下幾個方面來解決:

  • 從文風層面上,是不是能讓AI去深入學習網(wǎng)文的風格,理解網(wǎng)文用詞、句式、對話、描寫、分段等各個方面的特點,利用風格的約束,避免亂寫的情況出現(xiàn)。
  • 從提問層面上,還是得化整為零,讓AI執(zhí)行的任務更聚焦,別讓AI一次生成過多內(nèi)容,看看這樣是不是會好些。

如此,我們可以有三套方案,分別面向AI chat、智能體、AI寫作軟件,看看效果如何。

總體思路

這次測試主要目的,是想探究作為普通的網(wǎng)文作者,如何使用AI產(chǎn)品才能使AI生成的網(wǎng)文風格更加穩(wěn)定,減少AI胡言亂語浪費時間的情況。

雖然面向的是三類不同AI產(chǎn)品,但這次測試的總體思路有一定相似性,主要包括以下幾個方面:

1.我們先找到某位高產(chǎn)作者的作品,扒一部分內(nèi)容下來喂給AI去學習

這里不會扒全本,而是控制在幾萬字左右。因為我們的目的不是訓練一套大模型用來寫網(wǎng)文,而是希望AI能按照穩(wěn)定的風格(或者說作者自己的風格)來行文,如此可供AI學習的內(nèi)容體量通常不會太大。

2.找到這位作者的最新作品,描述對應的故事梗概給AI來寫,看AI能寫成什么樣

分塊生成正文,少量多次,每次盡量控制在1000字以內(nèi),再將生成的內(nèi)容拼裝好。以這樣的方式試寫出兩章,看看AI還會不會抽風,寫出來的內(nèi)容和原作者風格的差別究竟有多大。

3.準備對照組

既然要測效果,對照組當然少不了。這里我按照示例的字數(shù),將每套方案中的測試對象分為4組,分別是0k(不提供示例)、2k(提供約2k字的示例)、10k(提供約1萬字的示例)、50k(提供約5萬字的示例)。示例就是前面講的高產(chǎn)作者已有的作品。

4.準備檢驗標準

如何衡量AI生成的內(nèi)容風格相似度?我找來了魯迅的《孔乙己》和《狂人日記》,及朱自清的《背影》三篇文章,然后分別上傳至Kimi請AI分析其語言風格的相似度。

提問:【上傳文件】請幫我檢測這兩篇文章語言風格的相似度,并告訴我如果滿分是100分,這兩篇文章語言風格相似度是多少分?

Kimi給出《孔乙己》和《狂人日記》的語言風格相似度是70,《孔乙己》和《背影》語言風格的相似度是40。所以,后續(xù)我們可以以這兩個分值作為參考,用來評估原文和AI生成內(nèi)容的相似度。

為啥選擇這樣的思路呢?其實關(guān)鍵在于現(xiàn)在的AI太傻了。更智能的方式AI做不到,更精細的方式一般網(wǎng)文作者接受不了。所以,不管是總體思路還是后續(xù)具體的測試方案,都需要尋求一個既不算太麻煩,又能產(chǎn)生好結(jié)果的平衡。

方案1:用AI chat仿寫

用AI chat仿寫,即上傳網(wǎng)文示例,然后讓AI參考示例的風格來寫小說。

通常有兩種做法,一個是上傳文件后,直接給出故事梗概,讓AI仿照示例風格來寫。第二種方式是先上傳文件,讓AI歸納文章的語言風格,然后再要求AI按照此種風格來寫。

我的提問列表如下:

直接仿寫

無示例版

請你扮演一位專業(yè)的網(wǎng)文作者,按照如下故事梗概寫出小說正文:

(略)

要求:

1.以對話、描寫為主,讓故事更具有畫面感

2.結(jié)合故事梗概擴展細節(jié),確保細節(jié)豐富、情節(jié)連貫

3.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)的故事梗概

含示例版

【上傳文件】請你扮演一位專業(yè)的網(wǎng)文作者,以上是你曾經(jīng)寫過的網(wǎng)文,請你嚴格按照這篇文章的語言風格,寫出小說正文,故事梗概如下:

(略)

要求:

1.以對話、描寫為主,讓故事更具有畫面感

2.結(jié)合故事梗概擴展細節(jié),確保細節(jié)豐富、情節(jié)連貫

3.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)故事的梗概

追問

請按照如下故事梗概,繼續(xù)寫出后續(xù)的故事:

(略)

要求如下:

1.語言風格必須和上面保持一致

2.以對話、描寫為主,讓故事更具有畫面感

3.結(jié)合故事梗概擴展細節(jié),確保細節(jié)豐富、情節(jié)連貫

4.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)的故事梗概

……(重復追問,直至寫完2章內(nèi)容)

歸納后仿寫

提問

【上傳文件】請你分析這篇文章的語言風格,并詳細介紹這種語言風格的特點

追問

請你扮演一位專業(yè)的網(wǎng)文作者,嚴格按照這樣的語言風格寫出小說正文,故事梗概如下:

(略)

要求:

1.以對話、描寫為主,讓故事更具有畫面感

2.結(jié)合故事梗概擴展細節(jié),確保細節(jié)豐富、情節(jié)連貫

3.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)故事的梗概

追問

請按照如下故事梗概,繼續(xù)寫出后續(xù)的故事:

(略)

要求如下:

1.語言風格必須和上面保持一致

2.以對話、描寫為主,讓故事更具有畫面感

3.結(jié)合故事梗概擴展細節(jié),確保細節(jié)豐富、情節(jié)連貫

4.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)的故事梗概

……(重復追問,直至寫完2章內(nèi)容)

全部生成完畢后,將生成的內(nèi)容片段,按照各自分組組裝起來,然后,將生成的各個版本完整正文(2章)與作者原版作品的前2章對比,同樣由Kimi來打分,語言風格相似度得分如下:

直接仿寫

歸納后仿寫

*AI分析語言風格打分的時候,重點考慮了主題和情節(jié)走向,雖然我后面調(diào)整了問題要求忽視這塊,但AI并沒咋聽進去,得分還是高得離譜。這樣的偏差對最終得分影響比較大,導致結(jié)果與預期嚴重不符。
(╯#-_-)╯~~~~~~~╧═╧   這鬼分數(shù),我怎么就不信呢……

算啦算啦,AI不怎么靠譜,還是得靠自己!我來給大家分析下幾組生成正文的結(jié)果情況吧:

直接仿寫

0k空白對照組

0k版語言風格較為平實,從第二個片段開始,結(jié)尾部分出現(xiàn)典型的AI味兒段落。隨著輪次變多,AI味兒內(nèi)容占的篇幅越來越多,包括累贅的內(nèi)心獨白、重復的句子/段落等。在故事擴展上,出現(xiàn)了某些片段AI為了湊字數(shù),自動續(xù)寫后續(xù)情節(jié)的情況,導致兩個片段故事銜接上出現(xiàn)問題。

2k版

2k直接仿寫版,開篇的語言風格、人物展現(xiàn)出來的面貌,和0k版有了較大差異。行文風格上已經(jīng)能明顯感覺到它在向示例靠攏,且AI味兒內(nèi)心獨白之類的內(nèi)容比例大幅減少,只在后面三塊情節(jié)片段的結(jié)尾出現(xiàn)。另外,出了個bug,第二塊出現(xiàn)了大面積重復,生成的1600+字中,只有前350+字是可用的,后面全部是重復前面的文字。

10k版

10k直接仿寫版,出現(xiàn)了讓人意想不到的狀況,劇情完全跑偏了,生生按照同樣的故事梗概寫出了不一樣的故事和人物關(guān)系。從文風上來說,這一版相較于0k版還是有較大改善的,偶爾有一些AI味的內(nèi)心獨白、展望未來出現(xiàn)在片段末尾,占比不是很大。相較于2k直接仿寫版的改進則不是很明顯。

50版

50k直接仿寫版寫出來的內(nèi)容讓人很迷惑,因為它幾乎犯了前面幾版所有的錯誤,AI味兒內(nèi)心獨白、重復等所占的篇幅較之2k和10k的直接仿寫版更多,比0k版少一點。和10k版一樣,情節(jié)和人物關(guān)系完全跑偏,且其中摻雜進來了很多無意義的人物交互(沒有什么情節(jié),就是這些龍?zhí)滋嵋蛔煊窒?,表達一下對主角的關(guān)心)。不測不知道,一測讓人大失所望。歸納后仿寫

2k版

2k歸納后仿寫生成的內(nèi)容,和2k直接仿寫版差不多,不管是文風還是人物的性格都很相似。這一版中擴展了一個重要配角,用來演繹故事梗概中的一些情節(jié),算是一個創(chuàng)新點吧。至于AI風格的內(nèi)心獨白、重復之類的狀況,會比2k直接仿寫版多一點,總體占比還是比較低的。

10k版

10k歸納后仿寫版簡直不要太離譜~

這一版在文風上,我認為是比10k直接仿寫版更接近原作的,但出現(xiàn)了新的問題,就是后面輪次的對話生成的內(nèi)容,會出現(xiàn)與前面輪次重復的情況。不是銜接處重復提點前情,而是在結(jié)尾處重復前一輪結(jié)尾的內(nèi)心獨白,且重復了好幾遍,神奇的callback。當然啦,10k直接仿寫版出現(xiàn)的劇情跑偏問題同樣存在,這里還出現(xiàn)了前后人設崩壞的情況,邏輯很混亂。

50k版

50k歸納后仿寫版,比之前的所有版本都要離譜。怎么說呢?可能是徹底被AI腌入味兒了吧。情節(jié)和人物完全跑偏,加入很多無意義的人物和情節(jié),以及見縫插針出現(xiàn)的AI味兒內(nèi)心獨白。我感覺甚至不如0k版的表現(xiàn),辣眼睛。

以上是AI chat的測試結(jié)果。這就是為啥我感覺AI打分極度不靠譜的原因,看AI打分和人工分析,完全是兩碼事。

從AI chat的測試情況來看,有幾點結(jié)論:

  • 采用仿寫的方式,確實會比然AI直接按照故事梗概行文效果好,生成的文字內(nèi)容風格更加穩(wěn)定,減少了AI味兒。
  • 示例篇幅并不是越大越好,2k、10k、50k篇幅示例提供參考的效果遞減,這一點出乎我的預料。
  • 隨著輪次變多,AI寫正文質(zhì)量也在快速下降,非常明顯。甚至不需要太多輪次,這個問題就出現(xiàn)了。
  • AI每次生成內(nèi)容,都感覺它認為自己是最后一次為你服務一樣,非得來個暢想美好未來的結(jié)尾,戲很多且無法讓它閉嘴。

總體來說,我認為AI chat用來寫正文不是個好選擇,真的太容易抽風了,文風極度不穩(wěn)定。AI chat適合做一些碎片化的、淺層的、強邏輯性的工作,或是生成一些創(chuàng)意點子,寫文就算了吧,它完全hold不住啊~

本文由人人都是產(chǎn)品經(jīng)理作者【不知】,微信公眾號:【不知】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!