產品經理的AI基礎:淺談大模型的局限性(下)

0 評論 1033 瀏覽 1 收藏 13 分鐘

在大模型產品化的過程中,AI產品經理需要探索大模型的邊界。其中包含大模型本身無法被解決的能力邊界、工程化過程中的限制、以及將來隨著模型迭代逐漸可能被解決的問題。

這次探討第三部分,關于大模型目前存在,未來可能被解決的問題。

人工智能模型轉化為實際可用產品的過程中,涉及到多個方面的挑戰和限制。這些限制是否能夠解決,需要產品經理、工程師、設計師、各個廠商間的合作,共同克服這些限制。

一、意圖理解

意圖理解側重于理解和解釋用戶的指令。

什么是意圖理解?

意圖理解是指系統從用戶的輸入中識別出其目的或意圖的能力。在人工智能應用中,如聊天機器人和語音助手,這是至關重要的功能。

例如用戶對智能助手說:“明天提醒我開會?!?意圖理解使得智能助手能夠識別這是一個設置提醒的請求,并據此創建一個日程提醒。

再例如用戶對智能在線客服輸入:“我的訂單什么時候發貨?” 客服系統通過意圖理解識別出用戶想要查詢訂單狀態,然后提供相關的物流信息。

意圖理解的步驟:

  • 輸入解析:系統接收并分析用戶的語音或文本輸入。
  • 語言處理:對輸入的文本進行語法和語義分析,以確定其含義。
  • 意圖識別:確定用戶輸入的主要目的,如詢問信息、尋求幫助或執行特定任務。
  • 實體提取:從用戶的輸入中提取關鍵信息,如時間、地點、人名等,這些信息對于滿足用戶意圖至關重要。
  • 上下文理解:考慮對話的上下文,以提高意圖識別的準確性。

意圖理解的局限性:

  • 人類語言極其復雜且多樣,包括方言、俚語、習慣用語等,這可能導致系統難以準確理解用戶的意圖。
  • 某些語句可能具有多重含義,意圖理解系統可能難以判斷用戶的真實意圖,尤其是在沒有足夠上下文的情況下。
  • 用戶的意圖往往依賴于對話的上下文,系統可能在處理跨越多個交互回合的復雜對話時遇到困難。
  • 盡管技術不斷進步,但目前的算法和模型仍然無法完全模擬人類的語言理解能力,特別是在處理復雜推理和情感理解方面。
  • 訓練數據的偏差可能導致意圖理解系統在處理某些特定群體或場景時表現不佳。
  • 人類交流往往是多模態的,包括語音、文本、肢體語言等,而目前的意圖理解系統大多只能處理單一模態的輸入。

二、創作能力

創作能力側重于生成新穎的內容。

什么是創造能力?

創作是指生成新穎和原創內容的能力。在AI領域,創作可能涉及文本、音樂、藝術作品等。

AI創作系統包含什么:

  • 創意生成:AI系統基于給定的提示或種子想法生成新的內容。
  • 模式識別:識別和模仿不同風格和結構的模式,以創造協調且有意義的作品。
  • 學習與適應:通過機器學習算法,AI系統學習大量的數據樣本,以提高其創作能力。
  • 用戶交互:與用戶交互,根據用戶的反饋和指導進行創作調整。

創造能力的局限性:

基于Transformer架構的模型,雖然在自然語言處理(NLP)領域取得了顯著進展,但其創造能力仍存在一些局限性:

數據依賴:大模型的創造能力很大程度上依賴訓練數據,訓練的數據有限或者不具有代表性,這會導致模型的輸出缺乏多樣性和創新型

理解深度:大模型在生成文本時可能只是模仿了語言的表面結構,而沒有真正理解或推理生成內容的深層含義。因此,盡管大模型在許多任務中表現出色,但在需要深度理解和創新思維的場合,它們的表現仍有待提高。比如用戶詢問大模型:“什么是量子糾纏?”大模型可能會生成一個看似合理且連貫的解釋,例如:

“量子糾纏是量子力學中的一個現象,當兩個或多個粒子以這樣的方式相互作用時,它們的狀態變得不可分割,即使它們相隔很遠。這意味著對其中一個粒子的測量會立即影響另一個粒子的狀態?!?/p>

盡管這個解釋在技術上是正確的,但大模型可能并不真正理解量子糾纏的物理意義和背后的復雜性。如果用戶進一步詢問更深入的問題,比如量子糾纏如何應用于量子計算或者它與量子隱形傳態的關系,大模型可能就無法提供準確或深入的答案。

創造性限制:大模型通常在模仿和擴展已知模式方面表現出色,但在生成完全新穎和原創的想法方面可能存在局限。假設大模型“創作一個全新的科幻故事概念,包含一個尚未探索的宇宙和獨特的生命形式?!贝竽P涂赡軙梢粋€故事,其中包含一些已知科幻元素的混合,例如:

“在遙遠的未來,人類發現了一個新的星系,名為‘Noviensis’。這個星系由一個巨大的黑洞統治,周圍環繞著幾個行星,這些行星上居住著能夠進行光合作用的生物,它們通過吸收宇宙射線來生長。”

盡管這個故事聽起來很有創意,但大模型生成的概念可能仍然基于已知的科幻主題,如黑洞、外星生命和宇宙探索。這些元素在科幻文學和電影中已經被廣泛探索。大模型可能難以創造出完全新穎的、從未在人類文化中出現過的概念,如一種基于完全不同物理法則的生命形式或一個全新的宇宙維度。

解釋性:大模型的決策過程往往是黑箱,難以解釋和理解,這在需要可解釋性的創造性任務中可能是一個缺點。

法律和版權:大模型生成的內容可能會涉及版權和知識產權問題,尤其是在模仿特定風格或作品時。

三、推理能力

推理則側重于邏輯分析和決策過程。

推理能力指的是什么?

推理是指系統使用邏輯和已有知識來得出結論的能力。在AI中,推理可以用于解決問題、規劃行動或做出決策。

推理過程包括:

  • 邏輯推理:應用邏輯規則和原則來分析問題和得出結論。
  • 因果關系:理解事件之間的因果聯系,并據此進行預測或解釋。
  • 規劃與決策:使用推理來制定行動計劃或做出最優決策。
  • 知識表示:將知識以適合推理的形式表示出來,如語義網絡、規則集或本體。
  • 推理算法:運用各種算法,如基于規則的推理、基于模型的推理或基于約束的推理。

推理過程的局限性:

大模型在推理能力方面雖然取得了顯著的進步,但仍然存在一些局限性。以下是大模型推理能力的一些限制:

  • 邏輯一致性:大模型可能在處理長邏輯鏈或復雜推理時出現錯誤,尤其是在需要多步驟推理的情況下
  • 因果推理:盡管大模型可以識別語句中的因果關系,但它們可能難以理解現實生活中復雜的因果網絡。
  • 常識推理:大模型可能缺乏對人類常識的理解,導致在需要常識推理的任務中表現不佳。用戶問:“我可以穿著溜冰鞋去超市嗎?”大模型可能回答:“可以,只要你覺得舒服?!比欢@忽略了常識推理,即穿著溜冰鞋在超市可能不安全,也可能違反超市的規定。
  • 情感和語境理解:情感和語境對于人類推理至關重要,但大模型可能難以準確捕捉和應用這些細微差別。用戶說:“我今天在會議上被老板表揚了,但我還是不高興?!贝竽P涂赡芑卮穑骸肮材惚槐頁P?!钡?,它可能沒有捕捉到用戶的情感狀態和語境,沒有詢問用戶為何不高興。
  • 專業領域的知識,例如用戶問:“我的車需要新的火花塞,我應該買哪種?”大模型可能回答:“買一個適合你車型的火花塞?!钡?,它可能無法提供具體的火花塞型號或品牌建議,這需要汽車領域的專業知識。

四、多模態的數據讀取/生成能力

在跨模態數據處理中,確實存在信息損失的風險,而且隨著模型的迭代,端到端的解決方案可能會逐漸取代復雜的工程手段。因此,專注于解決那些模型可能解決的問題,而不是在跨模態數據處理上過度優化,是一個更有效的策略。

五、模型的提示詞進行優化是否必要

提示詞優化是一個需要根據具體情況權衡的問題。在某些情況下,它可能是提高性能和用戶體驗的關鍵;而在其他情況下,隨著模型的自然進步,這種優化可能變得不那么重要。此外,對于復雜的任務,采用多個AI Agent的分布式處理方法可能更為有效。

格式和輸出結果的穩定性、一致性

如果產品業務需要特定的輸出格式(如JSON),以確保下游系統的兼容性和穩定性,那么對提示詞進行優化是非常有必要的。這可以確保大模型的輸出符合預期的格式和標準。吳恩達的《ChatGPT Prompt Engineering for Developers》值得推薦

提升模型輸出質量

隨著模型的迭代和升級,模型本身的提升將比精心設計的提示詞帶來的提升更為顯著。這在一定程度上是正確的,因為模型架構和算法的改進通常會帶來更廣泛的性能提升。

長鏈路SOP、工作流和推理過程

對于復雜的任務,可以通過多個AI Agent來實現,而不是試圖在單輪對話中解決。這種方法可以更有效地分解任務,利用每個Agent的專長,從而提高整體的處理效率和準確性。

本文由 @wanee 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!