為了摸魚,我用AI做了一次財報分析

0 評論 1845 瀏覽 3 收藏 26 分鐘

這是AI工具用于生產力的一個縮影,但從這個縮影中能夠看到,AI為我的日常工作提供了一些幫助,但目前剛剛達到及格線水平。

為了能讓自己以后更好地摸魚,我上周第一次和大模型協作,完成了對一份財報的分析。

事情是這樣的:前不久我與多位職場人士聊了聊大模型推出一年后,他們的真實使用情況。參見《大模型下眾生相:焦慮者、使用者和棄用者》。我也在小紅書上看到,不少大學生用AI給論文降重。這激發了我的一個想法,正巧趕上財報季,需要寫大量財報分析,如果我當時用上了大模型助手,效率到底能夠實現多大躍升?

于是,按照以往寫財報的習慣,我同時使用了四個大模型C端助手,包括文心一言、智譜清言、kimi、通義千問,來試圖模擬這個過程。

從和大模型協作的過程和結果看,我有了幾點感受:

1、大模型的確能節省時間,前提是熟練使用。這次全新的嘗試中,我需要不斷摸索,調試問法,尋找更好用的指令,還要確認AI輸出的內容是否正確。因此協作花費的時間甚至比以往我單獨完成多了好幾倍。當然,我相信,下一次耗時會大幅縮減。

2、對于過去的信息,大部分情況下,可放心使用大模型產品的聯網檢索功能。這有助于提高自己的素材收集效率。

3、基于知識庫的實時信息讀取,大模型的結果只能作為參考,需謹慎確認,雖然它的確能迅速抓取關鍵數據、提供分析思路,但目前人和機器去協作還做不到十分順滑,比如容易存在數據讀取錯誤,“張冠李戴”的可能,無法讓人完全信任其數據準確性。

4、提示詞的專業性和精準度也會極大程度影響大模型的返回效果。學會更高明和易用的提問方法,有助于更順暢地使用AI。

為了能獲得更好的效果,我也有以下建議:給大模型賦予一個角色,提示詞更為清晰和專業,偶爾可用AI幫寫提示詞,以及涉及數據的內容需重點確認。

一、“傻瓜式”用法,都能hold住

每逢財報季,財報分析稿件的撰寫,都極其考驗“搶時間”和“找角度”的能力。這不僅要求我在最短時間內,迅速從繁雜信息中,找到所需的關鍵業績指標,還要與不同公司的業務情況相結合,拎出財報背后潛藏的一些關鍵信息。過程中,往往還會涉及到各種表格、趨勢圖的制作。

我希望,AI能簡化這些流程,即便不能做到一步到位,至少也要省掉其中大量繁瑣且不要求太多技術含量的工作。抱著這樣的期望,我開始了探索。

從大模型的聊天機器人交互界面開始,我發現幾家大模型廠商已經卷起來了。

不同于OpenAI只在收費的GPT 4中提供有文件上傳的功能,ChatGPT 3.5無法直接上傳文件(ChatGPT 3.5也能通過安裝插件,實現文件上傳,但不在此次試用范圍內,未進行更多探索),目前,國內多家大模型推出的免費版本中,都已內置文件上傳的功能,相當于可以直接上傳一個“知識庫”給到大模型,作為參考。

大模型廠商們甚至在可上傳的文件數上“卷”了起來,比如通義千問“可同時上傳100個文件”,kimi最多支持上傳50個文件。

財報分析的第一步,就是要讀懂財報。

模擬這個場景,我決定,先用最“傻瓜式”的問法,直接將比亞迪“最新發布”的2024年一季報,丟給大模型,讓AI參考文件中的各項信息,幫我寫一篇財報分析稿,看AI是否已經能在讀財報這件事上達到“一鍵即出”的水平。

這份財報,內容相對簡單,主要涵蓋三大財務報表及股東信息,并未涉及詳細業務構成等其他更多元的信息。

幾個大模型據此給出的財報分析文案,也都較為簡潔明了,基本都涉及營收、凈利潤、現金流凈額、非經常性損益等幾個財報分析時的重點指標,但也不盡相同,一些大模型還對其他一些指標進行了分析,比如研發投入、股東回報、風險因素、股東及持股情況、資產負債情況、每股收益、凈資產收益率等。

當然,如果AI僅僅能做到這一步,那對我的幫助算不得很大,要知道,財報發布后,直接打開雪球、東方財富網、Wind等各種專業的財經網站,這些信息也能迅速一覽無余,而且比AI給出的更可信。畢竟,大模型偶爾會給出錯誤的數據,比如將百萬億元級別的數據,讀成幾十萬億元。

于是,我又嘗試上傳了阿里、騰訊兩家在港股上市的最新財報,結果發現,隨著可參考“知識庫”中信息維度的豐富(三大財務報表之外,還涵蓋了詳細的業務構成,以及分部業務、財務表現等),幾個大模型產品,也順勢在分析維度上進行了拓展,除了拎出關鍵財務指標,還更多在企業的“業務亮點”以及業務與財務之間的關系上進行了著重分析和展現。而這對于我來說,的確可以形成一些借鑒和參考。

不過,不同大模型的分析風格并不一樣。

kimi、智譜清言、通義千問為我提供了“更多的數據,但更簡潔的分析”。

文心一言則側重展現自己的分析能力,數據提供更少,但分析更為深入、完善。

當然,除了A股和港股財報,我常常也需要讀一些在美股等國外股市上市的公司的財報。我試圖重開一個對話框,上傳阿里在美股市場發布的英文版財報,幾個大模型無一例外,都準確讀出了里面的關鍵信息。事實證明,AI在讀英文文檔這件事上,比我做得更快更好一些。

總結這一輪的“傻瓜式”試用:

當我上傳一個財報文檔,目前各家大模型都能直接輸出一篇“勉強及格”的財報分析稿,但內容相對簡單,只是一些圍繞直接能在財報中找到的指標的簡單分析,目前還只適用于用來了解這家公司的簡單情況,而無法達成對其深入剖析。甚至一些大模型,還會在數據的讀取上出現問題。

不過,如果能在“問法和提示詞”上更進一步,AI是否能幫助我完成一些更復雜的工作?

二、超出“知識庫”,數據容易出問題

撰寫財報分析類的稿件,少不了各種對比。橫向和同行比,縱向和過去的自己比。

當然,如果你直接問AI,“2024年一季度,比亞迪的業績情況,和同行業的其他競爭對手相比較,各自的表現如何”,大部分大模型產品都會告訴你,由于數據缺失,自己無法完成這項工作。

一些大模型也會給出更細致的提示。比如通義千問,告訴我需要在對比時重點關注幾個關鍵指標,并詳細分析了指標異常時可能代表的意義。

文心一言則將“喜歡假設”這點貫徹到了底,它試圖通過“假設”,來向我演示該在哪些方面對比比亞迪和同行的情況。

不過,如果我采用“迂回”問法,先問比亞迪的竟對有哪些,幾家大模型產品都能快速通過聯網搜索結果,給出對應的公司名稱及簡要情況介紹。

進一步追問這些公司的業績情況,一些大模型會建議我直接查閱每家公司的財報,一些大模型則陳列出了部分公司的部分業績和銷量。這些的確在一定程度上,有助于我完成比亞迪與行業內的其他公司的一個對比。

而當我需要縱向對比時,往往要比對一家公司過去幾年的業績變化。通常的做法是,打開雪球、Wind等專門的網站,找到對應的統計欄目,即可初步了解變化趨勢。實在沒有的,比如某個季度連續幾年的變化,也能通過Excel等工具,輸入數據后,進行處理。

現在,AI能夠一步取代這些工作嗎?

可以看到,接到任務后,幾個大模型都很快給出了對應的分析架構,但大部分大模型產品卻不可避免地在數據分析處理上出現了一些問題。

文心一言和kimi都“機智”地發現了2022年一季度數據的缺失,一個選擇在分析時使用假設數據加以示例說明,一個明確指出“需參考歷史財報”。

不過,在四個工具助手中,一個在讀取小數位時犯了個小錯誤,不管是營收還是歸母凈利潤都比實際數據少讀了一個小數位。

一些大模型,產生了幻覺,給出了財報中沒有且與真實情況相悖的同比增長數據。

也有大模型搞錯了財報中數據與財季的對應關系,將2023年Q1和2024年Q1的數據分別“張冠李戴”到了他們的上一年。

為了糾正這些“幻覺”和錯誤,獲得更準確的結果,我試圖將比亞迪2022年一季報和2023年一季報也傳給大模型,讓它結合補充文件,進一步回答過去三年的變化趨勢。

不出意外,有了新“知識庫”的加持,盡管還有模型偶爾在一兩個數據上出現錯誤,但整體來看,幾個大模型的回答精準性都得到了提高,同時也給出了一份條理清晰的分析。當然,受限于一次只能上傳一個文件的規定,文心一言給出的結論依然只針對一個文件進行了分析。

值得一提的是,kimi給出的回答中,除了詳細列出了營收和歸母凈利潤在過去三年的變化,并加以分析,還進一步給出了結論和建議,并指出如果要獲得更全面的分析視角,還需考慮公司的成本結構、市場競爭狀況、以及宏觀經濟和行業發展趨勢等多方面因素。

我根據這一提示繼續追問了kimi關于比亞迪過去三年成本結構的變化、研發費用和銷售費用增長的原因等問題,其都能比較準確地找出對應數據,并給出一定的分析。

我同樣將這些問題發給了其他幾個大模型進行追問,一些大模型在原因歸納上較為擅長,可以為財報分析者提供一些分析思路,但在某些數據上,仍然容易出現財季與數據對應出錯的問題。

大模型給出的分析,很多也會參考其聯網搜索的結果。當然,大多數大模型并不會在給出的回答中指明哪些是聯網獲取,哪些是來自我上傳的“知識庫”。而通義千問經常會在給出的回答中,附上其參考的一些鏈接。

智譜清言和文心一言,則在我問到諸如“研發費用和銷售費用為什么大幅增長”等一些問題后,在對話窗口推薦一些更細節的問題,幫助用戶更具有針對性地提問。

一個階段性小總結:

當涉及一些需要計算才能知曉結果,又或是需要額外提供補充數據的問題時,不少大模型在數據上出錯的可能性大幅增加,除了常見的讀錯小數位的情況,一些大模型也會將指標和數據之間的對應關系搞錯,又或者直接出現“幻覺”,“胡說八道”一些并不存在的數據。

不同的大模型企業在交互邏輯上側重點也不太一樣。一些大模型在產品交互中非常重視“免責聲明”,如kimi,也有大模型產品在交互界面上非常重視用戶友好度,比如智譜清言和文心一言的對話窗口都有問題推薦;一些大模型產品則重視答案的可信度,如通義千問總是在回答中提供自己參考的文獻鏈接。

三、制表可以,作圖不行

光有文字的對比分析還不夠,要想更直觀地反映出一家公司連續幾年的業績變化情況,表格或趨勢圖必不可少。

制表這件事兒,幾個大模型看起來都十分地“游刃有余”,一接收到指令,“唰唰唰”幾下,就把正確的表格樣式,以及需要的數據從報表里找了出來。

文心一言稍有不同,由于我上傳的文檔中,只能讀取最近的一個,因此給出的是根據假設值來做的演示圖表。

當然,對比營收、凈利潤等能直接在財報中找到的數據,像毛利率這樣需要一些計算的數據,對大模型就稍微“有點難度”。一些大模型直接指出這一數據“未直接給出”,而一些大模型雖然根據其擁有的通識,正確列出了毛利率的計算公式,但計算結果卻是錯誤的。

另外,單位的換算,也是大模型容易出錯的地方。當我加了“單位用億元”的限定后,四個大模型中有兩個換算正確。

制表效果勉強可以,作圖又如何?

面對進一步根據表格制作一個趨勢圖的要求,幾個大模型均表示自己無法直接生成圖形,但是可以提供一些指導和建議,幫助用戶使用Excel或其他圖表工具自行作圖。

四、角色設定,起大用了

經過前面這些嘗試,雖然勉強能通過與AI的協作,給我帶來一些幫助,但過程還是太復雜了,準確性需要反復確認,分析的指標和角度也都較為簡單。

如何才能給AI再提一下效?加一個“角色身份”的設定或許可以。畢竟,角色扮演正是大模型擅長的能力之一。

在問題前面增加“假定你是一個資深的財務分析人士,擁有豐富的股票投資和財報分析經驗”這一表述后,果然,幾個大模型給出的答案中所涉及的數據指標,均明顯比沒有角色限定時,更加多元和廣泛。

尤其是文心一言,在這方面表現出了更多層次的觀察視角,重點強調營收和歸母凈利潤的變化的同時,也從業務結構、財務指標、風險因素等多方面進行了分析。

而當在給了大模型一個角色設定的基礎上,再繼續增添一些更專業和細化的指令時,大模型給出的回答的效果還能夠進一步提升。

不過,值得注意的是,對于不同大模型,并不是一個指令即可通用。一些指令可能對于某個大模型,能大幅提升回答的專業性和準確性,但對于另一些大模型,可能效果提升并沒有那么明顯。

比如當我把一個將近3000字的指令,給到不同大模型時,kimi面對這個詳細規定了財報分析過程中常用的杜邦分析法的具體細節,且要求了大模型在自己的“角色”設定下,根據規定“技能”,嚴格遵守“約束”,按“工作流”執行流程的指令,就表現出了很好的效果提升。用戶給出指令后,只需按照AI返回的提示,一步步追問,就可簡單且快速地了解財報分析中的各項關鍵數據。

而智譜清言、通義千問等雖然也按照這一指令規定,使用杜邦分析法進行了分析,但都是“一步到位”,并未詳細對這一指令中的每一個要求進行詳細分解和展示。

可以發現,更加專業的指令,的確可以大幅提升人與AI協作辦公的效率。尤其是在財報分析這個領域,由于一份財報中含有大量信息,讀起來往往費時費力,AI工具的應用,確實能在一定程度上幫助用戶迅速找到財報中的關鍵數據,并實現相應指標的計算。

但專業性的指令,目前對于普通用戶,仍然還是一個巨大的門檻。

有意思的是,一些大模型已經注意到這一點,并試圖降低用戶編寫專業提示詞的門檻。比如,文心一言專門在官網上設置了一個“使用指南”板塊,并舉了各種使用案例,作為“教程”,指導用戶如何更快寫出適合文心一言的指令。kimi則在kimi+中內置了“提示詞專家”服務,通過AI來幫助用戶編寫提示詞,用戶只需將AI給出的提示詞,再返回給AI,即可快速進行財報分析。

五、更專業的內容,仍需人工

通過更加專業的指令,讓AI幫助分析人們普遍關注的財務指標問題,仍然不夠,要想讓一篇文章更具深度和廣度,還需要去和具體的業務相結合,做更深一層的分析。

比如市場關注車企的一個指標——單車利潤。

我試圖向AI尋求這一數據,但即便給到大模型關于比亞迪年報中汽車與相關產品業務的業績數據,以及當年的車輛總銷量,依然很難計算出正確的單車利潤。這些仍然需要專業的第三方機構按照專業的方法,核算給出。

不過,對于過去已有的單車利潤信息,幾個大模型產品均能通過聯網搜索,快速獲得。

綜合來看,這也是目前AI所能提供的最為成熟的功能之一。它能幫助我在過往的各種繁雜的鏈接和信息中,快速篩選出符合我要求的關鍵信息,甚至能比參考實時上傳的知識庫給出的內容準確性更高。

當然,從上述的協作流程可以看到,目前AI能夠為我的日常工作提供的助力,剛剛達到及格線水平。它能準確提供大量的過往參考信息,也能實時閱讀文檔,捕捉其中的關鍵信息,但這些都還是整個工作流程里最為基礎的那部分。一旦涉及到略為復雜和需要專業性的地方,仍然需要人工介入,并且整體協作體驗并不十分順暢。

我還曾希望,AI能幫我發現一些目前被忽略但公司客觀存在的問題,但還很難實現。

AI的能力仍然需要進步,AI的使用門檻依然很高,讓AI幫我摸魚的愿望還沒有照進現實。

本文由人人都是產品經理作者【數智前線】,微信公眾號:【數智前線】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。

題圖來自Unsplash,基于 CC0 協議。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!