AI+創作|何以為詩?一個關于 AI 詩人的圖靈測試
在文字創作領域,我們可以看到現在 AI 寫文章仍然可以看到一些“機器感”。用 AI 真的可以創作出無法識別出是 AI 生成的作品嗎?最近,作為一名作家 Sierra Elman 做了一個對詩歌的圖靈測試,調查了一個由 38 位“ AI 專家”(來自OpenAI、谷歌、蘋果、亞馬遜)和 39 位英語專家(英語教師、教授、作家、作者等)組成的小組來分別判斷由人和 AI 創作的詩歌質量。
叔本華認為,藝術和詩歌能夠揭示世界的本質,為人們提供從日常生活中解脫出來的途徑。詩歌也是文字創作里是最具“藝術性“的體裁。那么,來寫一首關于日出的詩。
Sense 思考:
我們嘗試基于文章內容,提出更多發散性的推演和深思,歡迎交流。
AI 詩歌尚未達到藝術創作的水平,但其擁有極強的學習能力和速度。從最終實驗結果來看,用人創作的詩得分第一,Bard、ChatGPT-4、Claude 位列其次。同時,人類相比 AI 更容易辨別出哪些是 AI 寫的詩。
當初計算器和電腦被發明時一樣,人們也會擔心自己被取代,然而計算器和電腦并沒有取代人類——它們成為了工具?;?Gen-AI 的創作工具可以成為藝術創造者的工具來幫助放大他們的創造力。
模型的訓練同樣需要藝術創作者的參與,包括數據的標注、模型的測評和優化,以提升模型的能力。另一方面,對各種素材進行整合并保持靈動其實也正是創作者的 DNA 之一,適應使用 Gen-AI 工具可以加速其創作水平的迭代。
大語言模型發展,關于 AI 可以取代人類作家角色以及隨之而來的真實人類創造力的匱乏有很多討論。與其他 AI 生成的寫作不同,詩歌對 AI 來說是一個更大的挑戰,因為它需要真實的人類情感,而 AI 本質上缺乏這一點。Keith Holyoak 在《麻省理工學院出版社讀者》中寫道:“詩歌可能作為一種煤礦中的金絲雀——一個早期指標,表明 AI 承諾在多大程度上挑戰人類作為藝術創造者?!?/p>
一、何以為詩?
何以為創造?以小見大,從個別的事物描述中刻畫更大的事物宇宙為創造,藝術家、工程師、科學家都可以稱之為一種創造性的工作,去創造一種美,發現一種“真相”。
何以為詩?總結四個詩歌的特質,分析 AI 在其中可發揮的價值。
1. 語言的藝術性:
- 解釋:詩歌使用高度凝練、富有象征意義的語言,通過修辭手法創造出獨特的意象和情境。
- AI能力:AI可以通過學習大量的詩歌文本,模仿使用比喻、隱喻等修辭手法,并生成具有一定藝術性的語言。然而,AI生成的語言可能缺乏深層次的文化和情感內涵,因為它無法真正體驗情感和文化。
2. 情感表達:
- 解釋:詩歌傳達詩人的情感體驗和心靈感悟,與讀者產生情感共鳴。
- AI能力:AI能夠模仿情感表達的模式,生成看似情感豐富的文本。但是,AI并不具備真實的情感體驗,它所生成的情感表達是基于算法和數據分析的結果,而非真實的情感反應。
3. 節奏與韻律:
- 解釋:詩歌具有特定的節奏和韻律,增強了朗讀時的美感。
- AI能力:AI可以學習和模仿詩歌的節奏與韻律模式,創作出符合特定格律的詩句。在這方面,AI可以做得相當準確,因為它能夠精確地分析和復制詩歌的結構特征。
4. 思想的深度:
- 解釋:優秀的詩歌往往包含深刻的思想和哲理。
- AI能力:AI可以組合現有的信息和概念,生成看似有深度的文本。但是,AI 缺乏原創性和真正的哲學思考能力,它無法產生真正原創的、具有哲學深度的思想。
總的來說,AI在模仿詩歌的語言藝術性、節奏韻律方面表現出較高的能力,但它在情感傳達和思想深度方面存在局限。AI的創作是基于大量數據分析和模式模仿的結果,缺乏人類詩人的真實情感體驗和深層次的創造性思考。因此,盡管 AI能夠創作出在形式上類似于詩歌的作品,但它們可能無法完全達到人類詩歌在情感和哲學深度上的藝術境界。
二、圖靈測試詳述
AI 真的能寫好詩嗎?
2023年2月,Walt Hunter 在《大西洋月刊》上檢查了AI 詩歌,得出結論認為 AI 詩歌陳詞濫調,充滿了令人尷尬的韻腳。作家 Sierra 想要看看大約一年后 AI 能力有何變化。主要是想要更多地了解這對詩歌未來以及創造力一般的含義。核心討論三個問題:
- 圖靈測試:人們能否正確地檢測出詩歌是由 AI 生成的?
- AI 生成的詩歌實際上是好詩嗎?
- 英語專家和 AI 專家之間是否存在判斷差異?
為了分析這些問題,Sierra 在 2024 年 1 月調查了 38 位 AI 專家(AI 工程師、產品經理以及在 OpenAI、谷歌、蘋果、亞馬遜等公司的領導)和 39 位英語專家(英語教師、教授、作家、作者等)。調查展示了分別由以下實體在2023年12月27日生成的四首詩歌:
- Anthropic 的 Claude 2.1
- 谷歌的 Bard(當時還未發布Gemini)
- Sierra,模仿一個八年級的學生(不想選擇一首可搜索的、或者受訪者可能之前遇到過的現成詩歌。沒有特別努力,大約15分鐘就拼湊出了這首詩)
- OpenAI 的 ChatGPT-4
(詩歌的全文可以在本末找到。)
調查要求受訪者根據感知的質量對每首詩歌進行 1 到 10 的評分,并判斷他們認為詩歌是由 AI 還是人類寫的。他們不知道有多少首詩歌是由AI 或人類寫的,也不知道人類詩歌的作者。
測試選擇了日出作為主題,這對 AI 聊天機器人來說似乎相對簡單。
圖靈測試:人們能否正確地檢測出詩歌是由AI 生成的?
大多數受訪者(89.6%)正確地檢測出人類的詩歌是人類寫的。而且大多數人對哪些詩歌是由AI 寫的有很好的感覺。18.2% 的受訪者正確識別了4/4 首詩歌的作者。超過一半的受訪者(58.4%)正確猜測了3/4 首詩歌的作者。18.2% 正確猜測了2/4,3.9% 正確猜測了1/4。只有一個人(1.3%)全部猜錯。
總的來說,33.8% 的受訪者錯誤地認為 AI 詩歌是人類寫的。按 AI 聊天機器人細分,Bard 愚弄了最多的人。46.8% 的受訪者認為 Bard 的詩歌是人類寫的,相比之下,ChatGPT 為29.9%,Claude 為24.7%,如圖1 中的綠條所示。
AI 生成的詩歌真的是好詩嗎?
AI 競爭者在這方面表現得更好,但仍然不如人類,人類的作品平均評分最高。然而,人類的詩歌被AI 詩歌更緊密地跟隨。具體來說,人類詩歌的質量平均評分最高,為6.9/10,其次是Bard 生成的詩歌6.2/10,ChatGPT 的5.8/10,Claude 的5.4/10,如圖1 中的藍條所示。AI 詩歌的整體平均質量評分為5.8/10。
受訪者對 AI 有明顯的偏見
平均而言,如果受訪者認為詩歌是由人類寫的,他們會在質量上給予詩歌更高的評分。具體來說,如圖2 所示:
認為 Claude 的詩歌是人類寫的受訪者平均評分高1.79 分。
認為 Bard 的詩歌是人類寫的受訪者平均評分高1.9 分。
認為 ChatGPT 的詩歌是人類寫的受訪者平均評分高1.95 分。
認為人類詩歌是人類寫的受訪者平均評分高2.14 分。
也就是說,受訪者要么會認為一首詩很糟糕,因此認為是 AI 寫的,要么認為一首詩是 AI 寫的,因此很糟糕。(請注意,受訪者被要求先對詩歌進行評分,然后猜測它是否是AI 生成的,所以更可能是前者。)無論如何,對 AI 寫作的感知質量存在明顯的偏見。
下面的圖片展示了質量評分與認為詩歌是由人類寫的受訪者百分比之間的高相關性(R2 = 0.943),針對這四首詩歌。(R2 = 1.0 表示完美相關,0.0 表示無關。)
英語專家和 AI 在判斷上是否存在差異?
結論:英語專家最不容易上當
英語專家在識別詩歌作者方面明顯更為出色。英語專家平均猜對了3.13次中的4次,而AI專家僅猜對了 2.61 次中的 4 次??紤]到英語專家至少對詩歌有一定的背景知識,這一點并不令人意外。
最引人注目的是,英語專家更有可能獲得滿分。在77位受訪者中,只有14位(18%)正確識別了所有四首詩歌的作者。相比之下,英語專家更有可能做到這一點,有11位(28%)的英語專家與僅有3位(8%)的AI專家得分完美。
下面分析滿分得主是如何做到的,以及他們的方法。
滿分的英語專家注意到了押韻、過度使用的文學手法、陳詞濫調和邏輯漏洞。馬薩諸塞大學寫作講師Larry Flynn表示:“AI詩歌的韻律結構讓我有些懷疑……由于現在許多詩人并不使用非常傳統的尾韻,我認為這些作品可能是在嘗試創造‘詩歌’的‘概念’,而不是真正的詩歌。”Nueva 學校中學部負責人(以及20年的前英語教師)Karen Tiegel表示:“我認出了幾首詩歌的風格”,“還發現AI生成的詩歌過度使用了文學手法,尤其是明喻和隱喻!”Nueva學校的寫作與研究中心主任Jennifer Paull經??吹揭恍┰兀?strong>看起來特別陳詞濫調或不合邏輯,但并沒有隱喻上的正當性(比如,你不會喝火苗)。”
滿分的AI專家注意到了簡單性和押韻問題、粗心和純粹的“糟糕寫作”。谷歌DeepMind的工程總監David Orr在LLMs上花費了大量時間,因此他對現在大多數AI寫的文本有一種感覺。但有時,他會看到特定的線索。
Bard的詩歌“有一個明顯的破綻——它將cloak與cloak押韻,這不是人類詩人會做的事情。而且押韻結構不一致:主要是ABCB,有時是ABAB;再說,我認為人類會更小心?!盋hat-GPT的詩歌也有跡象。“‘每一筆都大膽,卻又溫柔地大膽’老實說就是糟糕的寫作。詩中的最后一句,承載了很多重量,也沒有真正意義。夢想不是在黎明時分發現的,而是在整個夜晚。我認為人類詩人會重新考慮這一點作為結尾?!碧O果的數據科學經理Ted Hart基于“詩歌的簡單性和押韻量”來猜測。
除了使用排除法來排除他們認為是AI明顯作品的詩歌外,滿分得主還指出了人類詩歌的“人性”特質。Flynn認為“人類詩歌具有最具創新性的自由形式,所以我認為是最有可能有人類生成的。”Orr認為人類詩歌“非常明顯是人類的,我從未見過LLM在換行和視覺效果上做出有趣的事情。這可能在某個時候會發生,但我立刻知道這一個是‘真的’?!?/p>
英語專家在質量評分上更有辨識力
英語專家在質量評分上表現出比AI專家更高的辨識力。當從質量評分中移除AI專家的評分時,人類詩歌的評分上升,AI詩歌的評分下降。英語專家給人類詩歌的平均評分為7.2/10,相比之下,Bard的詩歌為6.1/10,ChatGPT的詩歌為5.4/10,Claude的詩歌為5.0/10,如下圖中的藍條所示。(僅AI專家的評分以綠色顯示。)平均而言,英語專家給人類詩歌的評分比AI專家高0.6分。平均而言,英語專家給Bard的、ChatGPT-4的和Claude的詩歌的評分分別比AI專家低0.3、0.8和0.9分。
話雖如此,由于AI專家通常在詩歌方面的知識和專業技能不如英語專家,Sierra 認為英語專家的質量評分更為準確是一個合理的假設。無論如何,人類在這里獲勝——而且當僅由英語專家評判時,優勢更加明顯。
三、結論
AI 詩歌尚未達到藝術創作的水平
總體而言,大多數受訪者能夠正確識別出哪些詩歌是由AI創作的,并且也認為它們的質量較低。這對于一個相對淺顯的話題來說是如此,不用說現今大多數詩歌涉及的更為復雜的話題,如人類情感或社會正義?;蛟S更重要的是,人類的詩歌是由一個八年級學生而非專業詩人所寫。因此,與之競爭不應該那么具有挑戰性。
即便如此,AI 詩歌并不差——許多調查受訪者表示,這項調查比他們預期的更具挑戰性。有些詩歌比其他的更難猜測。即使是像Orr這樣的完美猜測者,對于其中一首詩歌也得依靠直覺,他覺得那首詩“相當不錯,我認為是我最不確定的一首。但我認為只要稍作修改,它就可以變得更好,比如更清晰地分開三個部分?!保?strong>有趣的是,這是Claude的詩歌,也是受訪者認為是人類創作的比例最低的一首。)
Flynn指出,在猜測中涉及到一種逆向心理的元素。盡管他將具有傳統尾韻的詩歌歸因于AI,但他也認為:“話說回來,這也可能是人類可能嘗試做的事情——模仿經典形式。令人驚訝,是的,具有挑戰性!”Orr相信,“總體而言,LLM詩歌的質量提升得非常快。我不確定我在未來一兩年內還能分辨出來?!?/p>
悲觀者預測,寫作/創意領域的職業將會終結,就像當初計算器和電腦被發明時一樣。但至少到目前為止,計算器和電腦并沒有取代人類——它們成為了工具。同樣,至少在目前的形式下,AI 真正能夠做的只是作為作家/創意人士工具箱的一部分,為他們節省時間(只要他們仔細審查和編輯)在他們的寫作/創意項目上。
但人類詩人可以幫助 AI 寫詩
這里面觀察到最有趣的一點是,英語專家在識別哪些詩歌是由AI創作方面要遠遠優于其他人——有11位英語專家與僅有3位AI專家完美猜對了所有4首詩歌。鑒于他們在詩歌方面的專業知識更為深厚,英語專家在質量評分上也比AI專家更為敏銳,他們給予人類詩歌的評分高于AI詩歌的質量評分,而且差距比AI專家更大。
這一切都指向了一個需求,即需要讓英語專家加入到AI產品團隊中,與AI專家合作,幫助完善產品并定義高質量輸出的標準。畢竟,不知道黃金標準是什么,就很難構建一個產品。
詩人 Lee Rossi 通過將 AI 比作初級詩人來解釋這一點:“許多初級詩人認為他們必須‘有詩意’,這意味著他們使用的是他們從閱讀中記住的詞語和形象,而不是依靠自己的經驗和語言感。換句話說,他們像AI一樣寫作,而不是像詩人一樣?!?/p>
這引出了一個有意思的問題——如果英語專家幫助開發AI算法,難道他們不是在自己“傷害”自己嗎?短期內,讓專業作家幫助 AI 團隊改進未來的 AI 版本,對作家和 AI 社區都有好處。更好的AI版本可以讓作家們釋放出來,開發更豐富、更有創意的想法和項目。它將使他們能夠更有效地編輯他們的作品。而且從長遠來看,AI將為創意工作開辟新的道路和機會。這究竟會變成什么樣子將不斷演變(并值得單獨研究)。但創意人士需要靈活并能適應變化,這也正是創意思維的DNA的一部分嗎?
AI 最終會接管人類的角色嗎?或許有可能,但至少在那時之前,顯然需要英語專家來幫助開發、測試和進一步完善AI算法,以幫助提高 AI 寫作的質量。與其對抗 AI,不如今天的作家應該在塑造AI的未來中發揮積極作用,不僅僅是在政策層面,還包括技術層面。
四、測試的四首詩 – 附原文
破曉 由 Claude 創作
金色的曙光窺視地平線
給沉睡的大地投下溫暖
夜的黑暗毯子退縮
隨著黎明的光線在天空中推進
玫瑰色的色調在低垂的云層上跳躍閃爍
沉睡的世界開始蘇醒
生物出現,晨歌響起
新的一天破曉,明亮且充滿希望
升起的太陽驅散黑暗照亮了一個新的開始
Daybreak by Claude
Golden rays peek over the horizonCasting warmth on the sleeping landThe dark blanket of night recoilsAs dawn’s light advances across the skyRosy hues dance and shimmerAcross low-hanging cloudsThe sleeping world begins to stirCreatures emerge and morning songs ariseA new day dawns, bright and full of promiseThe rising sun banishes the darkAnd illuminates a new beginning
日出的交響曲 由 Bard 創作
黎明的第一筆,
柔和的橙色在夜幕的畫布上蔓延,
逐漸推開墨黑的暗色,一寸一寸,
如同光之手。
天際線上的剪影開始動起來,山脈從沉睡中蘇醒,
樹木伸展枝條朝向金色,
像長長的、涼爽的余燼般吸收著溫暖。
一陣鳥鳴交響曲爆發,歡快的合唱迎接新生的日子,
當太陽,熾熱的戰車,越過山丘,在清晨的灰暗中撒下鉆石。
世界伸展,打哈欠,甩掉它的斗篷,
被露水親吻的草地在新生的光線中閃爍,影子退卻,被太陽溫暖的斗篷追逐,
消失在角落,白晝溫柔的力量中。
空氣充滿了新的開始的承諾,在天空廣闊的藍色中刻下新的起點,
當太陽爬得更高,給云朵涂上翅膀,
世界沐浴在金色的光輝中。
所以讓我們隨著日出升起,心火燃燒,
張開雙臂擁抱這一天,因為在光影的交響曲中,
我們的生活交織在一起,
在黎明的織錦中,美麗地刻畫。
Symphony of Sunrise by Bard
The first brushstroke of dawn,A soft orange bled across the canvas of night,Pushing back the inky blackness,Inch by inch, like fingers of light.Silhouettes stir on the horizon’s edge,Mountains waking from their slumber,Trees stretching their branches towards the gold,Drinking in the warmth like a long, cool ember.A symphony of birdsong erupts,A joyous chorus greeting the newborn day,As the sun, a fiery chariot, crests the hill,Scattering diamonds across the morning’s gray.The world stretches, yawns, throws off its cloak,Dew-kissed grass sparkling in the newborn light,And shadows retreat, chased by the sun’s warm cloak,Vanishing into corners, day’s gentle might.The air hums with the promise of new beginnings,A fresh start etched in the sky’s vast blue,As the sun climbs higher, painting the clouds with wings,And the world basks in the golden hue.So let us rise with the sunrise, hearts ablaze,Embrace the day with open arms outstretched,For in this symphony of light and shade, our lives interweave,In the tapestry of dawn, beautifully etched.
陽光之吻 由 Sierra Elman(八年級的人)
創作公雞咕咕叫。
我看著太陽親吻地平線。
輕柔地——就像大地會因太多激情而裂開。
我看著金色的光線擁抱我的視野。
它涂過天空——黑暗褪成嬰兒藍,
帶有紫羅蘭和棉花糖粉色的指紋。
我呼吸著蜜糖般的空氣。
我銘記這一刻,當太陽祝福大地
并驅走夜的魂。
Sunkissed by Sierra Elman (an 8th grade human)
The rooster warbles.I watch as the sun kissesthe horizon. Delicately —like the earth would splitopen with too much passion.I watch as gold light embracesmy view. It glosses over the sky —darkness fades into baby bluewith fingerprints of violet & cottoncandy pink. I breathe in the honey air.I memorize this moment, whenthe sun blesses the land & chases awaythe ghosts of night.
黎明的低語 由 ChatGPT-4 創作
在黎明的第一縷寂靜之光中,
東方展開一幅畫布,低語著溫柔的力量,
一場奇觀,一場視覺盛宴。
深紅融入藏紅花金,以畫家的優雅濺灑天空,
每一筆都大膽,卻又溫柔地大膽,
在這個靜謐的世界蘇醒的空間里。
太陽,一個上升的火球,以緩慢而穩定的步伐攀升,
驅散夜晚殘留的偽裝,
在它輻射的擁抱中帶來溫暖。
鳥兒在甜美的合唱中鳴叫,迎接新的一天的開始,
在這個時刻,天地交匯,
自然的杰作,心靈的作品。
地平線,夢與光的融合,講述著希望,
新的開始,在晨光短暫的美麗中,
生活找到了穩定而真實的節奏。
日出,天空中的承諾,每日的重生,世界的嘆息,
在這一天的高峰之前,躺著靜謐的魔法,夢想所在之處。
Whispers of Dawn by ChatGPT-4
In the hush of dawn’s first light,A canvas unfolds in the east,Whispering in hues of gentle might,A spectacle, a visual feast.Crimson bleeds into saffron gold,Splashing the sky with a painter’s grace,Each stroke bold, yet tenderly bold,In the quiet world’s waking space.The sun, a fiery orb on the rise,Climbs with a slow, steady pace,Banishing night’s lingering guise,With warmth in its radiant embrace.Birds trill in a chorus so sweet,Welcoming the day’s fresh start,In this moment, where earth and heaven meet,Nature’s masterpiece, a work of heart.The horizon, a blend of dream and light,Speaks of hope, of beginnings anew,In the transient beauty of morning’s sight,Life finds a rhythm, steady and true.Sunrise, a promise in the sky,A daily rebirth, a world’s sigh,In these moments before the day’s high,Lies the quiet magic, where dreams lie.
綻放的余燼 由 Gemini(生成于2/15/24)
創作 最初的臉紅,猶豫的手在 夜的畫布上作畫,
推開炭黑色的陰影, 一場沉默而溫柔的戰斗。
靛藍漸變成紫羅蘭, 被金色和紫水晶親吻,
星星一顆接一顆地投降, 低語著它們最后的幽會。
地平線的線,火紅的縫隙, 余燼在深紅色中綻放,
陽光傾瀉,流動的夢, 追逐陰影至它們的末日。
樹木被刻成黑色,現在披上綠色,
露水中撒滿了鉆石, 未看見的鳥兒的交響樂,
迎接清晨的色彩。
世界在光明中蘇醒, 希望在脆弱的翅膀上展開,
新的一天誕生,充滿活力和明亮,
日出的歌聲輕輕響起。
Blooming Embers by Gemini (generated 2/15/24)
First blush, a hesitant hand paintsAcross the canvas of night,Pushing back the charcoal shades,A silent, gentle fight.Indigo bleeds to violet,Kissed by gold and amethyst,Stars, one by one, surrender,Whispering their final tryst.Horizon’s line, a fiery seam,Embers burst in crimson bloom,Sunlight spills, a liquid dream,Chasing shadows to their doom.Trees etched black, now clothed in green,Diamonds scattered on the dew,A symphony of birds unseen,Welcoming the morning hue.World awakens, bathed in light,Hope unfurls on fragile wings,A new day born, vibrant and bright,The song of sunrise gently sings.
作者:Vela
來源公眾號:深思SenseAI;關注全球 AI 前沿,走進科技創業公司,提供產業多維深思。
本文由人人都是產品經理合作媒體 @深思SenseAI 授權發布,未經許可,禁止轉載。
題圖來自 Unsplash,基于CC0協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!