金融中的三種深度學(xué)習(xí)用例及這些模型優(yōu)劣的證據(jù)
在今天我們發(fā)布的這篇文章中,作者 Sonam Srivastava 介紹了金融中的三種深度學(xué)習(xí)用例及這些模型優(yōu)劣的證據(jù)。
我們跟隨 Sonam Srivastava 的分析,并展望深度學(xué)習(xí)在金融領(lǐng)域的運(yùn)用前景。雖然金融是計(jì)算密集型最多的領(lǐng)域,但廣泛使用的金融模型:監(jiān)督和無監(jiān)督模型、基于狀態(tài)的模型、計(jì)量經(jīng)濟(jì)學(xué)模型甚至隨機(jī)模型都受到過度擬合和啟發(fā)式問題帶來的影響,抽樣結(jié)果很差。因?yàn)榻鹑谏鷳B(tài)圈異常復(fù)雜,其非線性充斥著大量的相互影響的因素。
要解決這個(gè)問題,如果我們考慮到深度學(xué)習(xí)在圖像識(shí)別、語音識(shí)別或情感分析方面所做的研究,我們就會(huì)看到這些模型能夠從大規(guī)模未標(biāo)記數(shù)據(jù)中學(xué)習(xí),形成非線性關(guān)系的遞歸結(jié)構(gòu),可以輕松予以調(diào)整以避免發(fā)生過度擬合。
如果金融生態(tài)圈能夠使用這些網(wǎng)絡(luò)進(jìn)行建模,應(yīng)用領(lǐng)域就會(huì)深遠(yuǎn)而廣泛。這些模型可用于定價(jià)、投資組合構(gòu)建、風(fēng)險(xiǎn)管理甚至高頻交易等領(lǐng)域,讓我們來解決這些問題。
收益預(yù)測
以預(yù)測每日黃金價(jià)格的抽樣問題為例,我們首先看看傳統(tǒng)的方法。
ARIMA 模型
ARIMA 模型(Autoregressive Integrated Moving Average model),差分整合移動(dòng)平均自回歸模型,又稱整合移動(dòng)平均自回歸模型(移動(dòng)也可稱作滑動(dòng)),時(shí)間序列預(yù)測分析方法之一。ARIMA(p,d,q)中,AR 是“自回歸”,p 為自回歸項(xiàng)數(shù);MA 為“滑動(dòng)平均”,q 為滑動(dòng)平均項(xiàng)數(shù),d 為使之成為平穩(wěn)序列所做的差分次數(shù)(階數(shù))?!安罘帧币辉~雖未出現(xiàn)在 ARIMA 的英文名稱中,卻是關(guān)鍵步驟。
ARIMA 模型的基本思想是:將預(yù)測對(duì)象隨時(shí)間推移而形成的數(shù)據(jù)序列視為一個(gè)隨機(jī)序列,用一定的數(shù)學(xué)模型來近似描述這個(gè)序列。這個(gè)模型一旦被識(shí)別后就可以從時(shí)間序列的過去值及現(xiàn)在值來預(yù)測未來值?,F(xiàn)代統(tǒng)計(jì)方法、計(jì)量經(jīng)濟(jì)模型在某種程度上已經(jīng)能夠幫助企業(yè)對(duì)未來進(jìn)行預(yù)測。利用整合移動(dòng)平均自回歸模型,來嘗試預(yù)測季節(jié)性平穩(wěn)時(shí)間序列,我們得到結(jié)果如下圖所示:
VAR 模型
VAR 模型,(Vector Autoregression model)向量自回歸模型,是一種常用的計(jì)量經(jīng)濟(jì)模型,由計(jì)量經(jīng)濟(jì)學(xué)家和宏觀經(jīng)濟(jì)學(xué)家 Christopher Sims 提出。它擴(kuò)充了只能使用一個(gè)變量的自回歸模型(簡稱:AR 模型),使容納大于 1 個(gè)變量,因此經(jīng)常用在多變量時(shí)間序列模型的分析上。
如果我們將相關(guān)的預(yù)測變量添加到我們的自回歸模型中并移動(dòng)到向量自回歸模型,我們得到結(jié)果如下圖所示:
深度回歸模型
如果在數(shù)據(jù)上使用簡單的深度回歸模型,使用相同的輸入,會(huì)得到更好的結(jié)果,如下圖所示:
卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)是一種前饋神經(jīng)網(wǎng)絡(luò),它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元,對(duì)于大型圖像處理有出色表現(xiàn)。
卷積神經(jīng)網(wǎng)絡(luò)由一個(gè)或多個(gè)卷積層和頂端的全連通層(對(duì)應(yīng)經(jīng)典的神經(jīng)網(wǎng)絡(luò))組成,同時(shí)也包括關(guān)聯(lián)權(quán)重和池化層(pooling layer)。這一結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)能夠利用輸入數(shù)據(jù)的二維結(jié)構(gòu)。與其他深度學(xué)習(xí)結(jié)構(gòu)相比,卷積神經(jīng)網(wǎng)絡(luò)在圖像和語音識(shí)別方面能夠給出更好的結(jié)果。這一模型也可以使用反向傳播算法進(jìn)行訓(xùn)練。相比較其他深度、前饋神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)需要考量的參數(shù)更少,使之成為一種頗具吸引力的深度學(xué)習(xí)結(jié)構(gòu)。
修改我的架構(gòu),使用卷積神經(jīng)網(wǎng)絡(luò)來解決同一個(gè)問題,得到結(jié)果如下圖所示:
所得結(jié)果大為改善。但最好的結(jié)果還在后頭。
長短期記憶網(wǎng)絡(luò)
長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò) (RNN),論文首次發(fā)表于 1997 年。由于獨(dú)特的設(shè)計(jì)結(jié)構(gòu),LSTM 適合于處理和預(yù)測時(shí)間序列中間隔和延遲非常長的重要事件。
LSTM 的表現(xiàn)通常比時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)及隱馬爾科夫模型(HMM)更好,比如用在不分段連續(xù)手寫識(shí)別上。2009 年,用 LSTM 構(gòu)建的人工神經(jīng)網(wǎng)絡(luò)模型贏得過 ICDAR 手寫識(shí)別比賽冠軍。LSTM 還普遍用于自主語音識(shí)別,2013 年運(yùn)用 TIMIT 自然演講數(shù)據(jù)庫達(dá)成 17.7% 錯(cuò)誤率的紀(jì)錄。作為非線性模型,LSTM 可作為復(fù)雜的非線性單元用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。
使用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的變種后,我得到結(jié)果如下所示:
因此,整體來說均方誤差的趨勢出乎意料。
投資組合構(gòu)建
我們嘗試使用深度學(xué)習(xí)解決的第二個(gè)金融問題是投資組合構(gòu)建。在這個(gè)問題上,深度學(xué)習(xí)的實(shí)際應(yīng)用效果很好。我的研究靈感來自這篇論文:《深度投資組合》(https://0x9.me/8uOBt)
這篇論文的作者嘗試構(gòu)建自動(dòng)編碼器,將時(shí)間序列映射到自身。使用這些自動(dòng)編碼器的預(yù)測誤差成為股票測試版(與市場相關(guān))的代用指標(biāo),自動(dòng)編碼器用作市場的模型。
自動(dòng)編碼器(auto-encoder),是一種無監(jiān)督的學(xué)習(xí)算法,主要用于數(shù)據(jù)的降維或者特征的抽取,在深度學(xué)習(xí)中,自動(dòng)編碼器可用于在訓(xùn)練階段開始前,確定權(quán)重矩陣 W 的初始值。基于上述自動(dòng)編碼器的誤差選擇不同的股票,我們可以使用另一個(gè)深度神經(jīng)網(wǎng)絡(luò)來構(gòu)建深度指標(biāo),結(jié)果相當(dāng)不錯(cuò),如下圖所示:
深度神經(jīng)網(wǎng)絡(luò)已成為利用股票復(fù)制指數(shù)的指數(shù)構(gòu)建方法。
但這只是它的開始!如果我們應(yīng)用智能索引,在我去掉指數(shù)的極端下降期,并在智能索引上訓(xùn)練我的指數(shù)映射深度神經(jīng)網(wǎng)絡(luò)時(shí),我就能以驚人的速度超過指數(shù)!
這種技術(shù)在證券投資組合領(lǐng)域有著巨大的潛力!
結(jié)論
目前金融業(yè)的趨勢是朝更復(fù)雜、更健全的的模式發(fā)展。隨著大量數(shù)據(jù)科學(xué)家涌入該行業(yè),對(duì)所有銀行來說,技術(shù)是一個(gè)巨大的壓力。像 RelTec、Worldquant 這樣的對(duì)沖基金,在其交易中已經(jīng)使用這種技術(shù)。由于這些復(fù)雜模型在其他領(lǐng)域所表現(xiàn)出的優(yōu)異結(jié)果,以及在金融建模領(lǐng)域的巨大差距,將會(huì)有一系列的戲劇性的創(chuàng)新涌現(xiàn)!
更好地解決金融和貿(mào)易領(lǐng)域的關(guān)鍵問題,將會(huì)提高效率、提高透明度、加強(qiáng)風(fēng)險(xiǎn)管理和新的創(chuàng)新。
譯者感言:
深度學(xué)習(xí)的一大優(yōu)勢在于可以大幅減少人工參與的特征工程去“擬合”訓(xùn)練數(shù)據(jù),但這也不是說完全不需要人去參與特征的選取,尤其是金融市場,數(shù)據(jù)簡直是海量,并且大都高噪聲,非穩(wěn)定,所以除非你能夠清楚哪些數(shù)據(jù)具有潛在價(jià)值、如何做適當(dāng)?shù)念A(yù)處理和如何轉(zhuǎn)化并達(dá)成哪些目標(biāo),否則深度學(xué)習(xí)在金融領(lǐng)域是無法應(yīng)用的。
如果設(shè)計(jì)得當(dāng),增加神經(jīng)網(wǎng)絡(luò)的深度可以對(duì)更復(fù)雜的模式進(jìn)行映射,因此可對(duì)金融數(shù)據(jù)的訓(xùn)練產(chǎn)生更好效果。
例如 CNN 適合處理圖像一類的大數(shù)據(jù),不一定直接適用于金融數(shù)據(jù)。金融數(shù)據(jù)雖然也可以很大,但通常不在一個(gè)數(shù)量級(jí)上——一幅圖像中的樣本數(shù)(像素、顏色)很容易上百萬,要訓(xùn)練一個(gè)模型又要用到成千上萬個(gè)圖像,為了找到高效辦法提取特征,于是計(jì)算機(jī)科學(xué)家想出了卷積神經(jīng)網(wǎng)絡(luò)通過抽取特征值來簡化運(yùn)算復(fù)雜度。而我們處理的金融時(shí)間序列數(shù)據(jù),單組樣本的數(shù)量常在百萬以下,規(guī)模上往往不需要卷積。進(jìn)一步比較,相對(duì)于金融數(shù)據(jù),圖像識(shí)別的特點(diǎn)是數(shù)據(jù)量龐大、特征明顯、特征重復(fù)次數(shù)多、特征組合性強(qiáng)、出現(xiàn)的次序性、特征呈現(xiàn)的方向性有時(shí)不強(qiáng),這與金融數(shù)據(jù)噪音大、數(shù)量較小的特點(diǎn)有所不同。因此,在訓(xùn)練金融數(shù)據(jù)時(shí)很有必要設(shè)計(jì)有針對(duì)性的深度機(jī)器學(xué)習(xí)模型。
本文涉及到的代碼可在作者的 GitHub Repo 中找到 https://0x9.me/P5ahd
原文地址:https://medium.com/towards-data-science/deep-learning-in-finance-9e088cb17c03
原文作者:Sonam Srivastava
譯者:sambodhi ,編輯: Vincent
來源:微信公眾號(hào)“AI前線( ID:ai-front)”
本文由 @AI前線 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于 CC0 協(xié)議
- 目前還沒評(píng)論,等你發(fā)揮!