輕松搭建AI應(yīng)用的三個大模型技術(shù)路線
如今,談起AI,已經(jīng)能夠想到我們?nèi)粘9ぷ骱蜕畹挠绊懥?。AI+應(yīng)用用于提高我們的工作效率,那么要搭建這樣的AI應(yīng)用需要什么技術(shù)?本文將從技術(shù)介紹,適用邊界,操作步驟和應(yīng)用示例來聊聊三個大模型技術(shù)路線,一起來看看吧。
時下聊起AI,想必最熱的就是使用AI+的應(yīng)用(chatGPT,文心一言等)來提升自己工作的效率,比如破局俱樂部,洋哥帶領(lǐng)星球2萬多人開啟大航海,教人使用這一波新起的應(yīng)用進行賺錢與賦能。
在我的視角來看,當下仍然是前期的紅利,現(xiàn)在這趟車就像是凌晨的“高鐵檢測車”,是先行軍,估計在2024年才會迎來真正的爆發(fā)。
今天的話題,就相當于大模型應(yīng)用大爆發(fā)前的“閃電”,我們將從技術(shù)介紹,適用邊界,操作步驟和應(yīng)用示例來聊聊三個大模型技術(shù)路線,幫助你開闊它背后的秘密:
- 指令工程技術(shù)
- 表示學(xué)習(xí)和檢索技術(shù)
- Fine-tune(微調(diào))技術(shù)
01?指令工程技術(shù)
談起指令工程,用過chatGPT,文心一言等等對話式AI應(yīng)用的你并不陌生,就是通過輸入prompt指令,來達到輸出你想要的文字,圖片或者視頻。
更專業(yè)的大廠在去年6月爆發(fā)式的招收過一批prompt engineer,他們的作用就是不斷的調(diào)整指令來搭建不同的領(lǐng)域型應(yīng)用。比如AI心理醫(yī)生,AI聊天助手等等。
當時我搭建過一個AI蘇格拉底,聊起來頗有壓力。但聊著聊著就我就發(fā)現(xiàn)它不知道自己是誰了,這也是這種技術(shù)的限制。
技術(shù)難度:????
適用邊界:適用于可以被簡潔指令描述的任務(wù),如內(nèi)容創(chuàng)作(文章、故事、代碼)、問題解答、推理分析等。
實施步驟:輸入指令詞。盡量使用結(jié)構(gòu)化提示詞:背景,角色,目標和任務(wù)。
應(yīng)用示例:
02?表示學(xué)習(xí)和檢索技術(shù)
表示學(xué)習(xí)和檢索技術(shù)是互相配合的兩種技術(shù)。
(來源于網(wǎng)絡(luò))
表示學(xué)習(xí)是指將文本、圖片等數(shù)據(jù)轉(zhuǎn)化為數(shù)學(xué)向量,這些向量能夠捕獲原始數(shù)據(jù)背后的語義信息。
檢索技術(shù)則是利用這些向量化后的數(shù)據(jù)進行高效查找相似內(nèi)容的過程。
簡單來說,就是我們可以自己“投喂”自己家的知識庫進去了,整個運作機制是先檢索自己的知識庫,通過向量運算來將距離最近的結(jié)果返回前給用戶。
技術(shù)難度:????????
適用邊界:
主要用于搜索、推薦、問答系統(tǒng)等領(lǐng)域,解決模糊查詢、相關(guān)性匹配等問題。
(構(gòu)建表示學(xué)習(xí)和檢索系統(tǒng)需要一定的機器學(xué)習(xí)基礎(chǔ)和專業(yè)知識,涉及深度學(xué)習(xí)模型搭建、向量數(shù)據(jù)庫管理和索引算法等方面。)
實施步驟:
第一步:準備知識庫
第二步:運用深度學(xué)習(xí)模型將文本或其他類型的數(shù)據(jù)轉(zhuǎn)換為向量;
第三步:將這些向量存儲在專屬的向量數(shù)據(jù)庫中;
第四步,當用戶發(fā)起查詢時,計算查詢向量與數(shù)據(jù)庫內(nèi)所有向量的距離,找出最相近的結(jié)果返回結(jié)果。
應(yīng)用示例:
在新聞推薦系統(tǒng)中,系統(tǒng)可以將用戶的歷史閱讀行為和新聞標題轉(zhuǎn)為向量,然后快速找到與用戶興趣相關(guān)的最新文章推薦給用戶。
03?Fine-tune(微調(diào))技術(shù)
Fine-tune俗稱 “微調(diào)”,就是“借用”預(yù)訓(xùn)練模型的強大基礎(chǔ),通過少量額外訓(xùn)練讓它掌握更專業(yè)、更精細的技能,從而解決實際問題的一種高效策略。
(來源于網(wǎng)絡(luò))
打個比方,就像是讓你的孩子在已經(jīng)學(xué)會基礎(chǔ)數(shù)學(xué)知識之后,再針對某個專門的數(shù)學(xué)奧林匹克競賽進行針對性訓(xùn)練的過程。從而對某一個細分領(lǐng)域有更深的掌握。
技術(shù)難度:????????
適用邊界:
適用于各種定制化的自然語言處理任務(wù),包括但不限于情感分析、文本分類、命名實體識別以及特定領(lǐng)域的問答系統(tǒng)等。
(Fine-tune需要具備一定的機器學(xué)習(xí)實踐經(jīng)驗和數(shù)據(jù)集準備能力,但許多平臺提供了便捷的微調(diào)工具和教程,降低了入門門檻。)
實施步驟:
第一步:選用一個適合的預(yù)訓(xùn)練大模型作為基礎(chǔ);
第二步:收集并整理用于特定任務(wù)的數(shù)據(jù)集;
第三步:在該數(shù)據(jù)集上對預(yù)訓(xùn)練模型進行額外訓(xùn)練(微調(diào)),以使模型更適應(yīng)特定場景;
第四步:評估微調(diào)后的模型在驗證集上的表現(xiàn),并根據(jù)需求持續(xù)優(yōu)化。
應(yīng)用示例:
若要創(chuàng)建一個餐廳評論的情感分析工具,可以采用預(yù)訓(xùn)練的語言模型并對其進行fine-tune,使其學(xué)會準確地判斷評論中的情感極性和傾向性。
最后的話
簡單做個總結(jié),指令工程是當下最簡應(yīng)用的一個實施路線,但它用的是基于某個大模型的原生知識,并且會受制于token等類型限制,會導(dǎo)致回復(fù)前后不一致的情況,不太適合商用。
表示學(xué)習(xí)與檢索技術(shù)專注于從大量文本中提取和利用語義表示以支持高效的檢索和相似性比較。
微調(diào)技術(shù)則是在預(yù)訓(xùn)練模型的基礎(chǔ)上進一步優(yōu)化模型能力,使其更精準地完成特定的自然語言處理任務(wù)。
對比表示學(xué)習(xí)和檢索技術(shù)和Fine-tune技術(shù),這兩個技術(shù)實現(xiàn)的應(yīng)用則更加靈活,通過知識庫就可以調(diào)整輸出內(nèi)容的專業(yè)度,達到商用目的。應(yīng)用這兩種技術(shù)實施的團隊至少得3個人:算法,全棧開發(fā)和產(chǎn)品。
人好找,技術(shù)路線也好定,此時比拼的就是數(shù)據(jù)的質(zhì)量和數(shù)量了。
希望帶給你一點啟發(fā),加油。
作者:柳星聊產(chǎn)品,公眾號:柳星聊產(chǎn)品
本文由 @柳星聊產(chǎn)品 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于 CC0 協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!