0
| 本文作者： AI研習(xí)社-譯站 | 2020-09-11 13:06 |
字幕組雙語原文：告別RNN，迎接TCN
英語原文：Farewell RNNs, Welcome TCNs
翻譯：雷鋒字幕組（聽風(fēng)1996、君思、小哲）
聲明：本文假定讀者具備LSTM神經(jīng)網(wǎng)絡(luò)模型直覺和結(jié)構(gòu)背后的初步基礎(chǔ)知識。
1.深度學(xué)習(xí)在FTS中的應(yīng)用背景
2.值得關(guān)注的FTS數(shù)據(jù)預(yù)處理實(shí)踐
3.時(shí)間卷積網(wǎng)絡(luò)結(jié)構(gòu)
4.時(shí)間卷積網(wǎng)絡(luò)在FTS中的實(shí)例應(yīng)用
基于TCN進(jìn)行知識驅(qū)動下的股票走勢預(yù)測與可解釋性
1.背景
金融時(shí)間序列(FTS)建模是一種具有悠久歷史的實(shí)踐，它最早在20世紀(jì)70年代初掀起了算法交易的革命。金融時(shí)間序列的分析分為兩類：基本面分析和技術(shù)分析。這兩種做法都受到了有效市場假說（EMH）的質(zhì)疑。自1970年EMH首次發(fā)表以來備受爭議，該假說假設(shè)股票價(jià)格最終是不可預(yù)測的。但這并沒有限制試圖通過使用線性、非線性和基于ML的模型來模擬FTS的研究，我們在下文中會提到。
由于金融時(shí)間序列具有非穩(wěn)定、非線性、高噪聲的特點(diǎn)，傳統(tǒng)的統(tǒng)計(jì)模型難以對其進(jìn)行高精度的預(yù)測。因此，近年來越來越多地嘗試將深度學(xué)習(xí)應(yīng)用于股市預(yù)測，盡管遠(yuǎn)未達(dá)到完美的程度。下面會舉出幾個(gè)例子。
2013
Lin 等。 提出了一種使用支持向量機(jī)建立兩部分特征選擇和預(yù)測模型的股票預(yù)測方法，證明了該方法具有比常規(guī)方法更好的泛化能力。
2014
Wanjawa 等。 提出了一種人工神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用具有誤差反向傳播的前饋多層感知器來預(yù)測股票價(jià)格。結(jié)果表明，該模型可以預(yù)測典型的股票市場。
2017
輸入LSTM-有關(guān)將LSTM神經(jīng)網(wǎng)絡(luò)應(yīng)用于時(shí)間序列數(shù)據(jù)的研究激增。
Zhao 等。將時(shí)間加權(quán)函數(shù)添加到LSTM神經(jīng)網(wǎng)絡(luò)，結(jié)果超過了其他模型。
2018
Zhang 等。 后來結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）提出了一種新的體系結(jié)構(gòu)，即廣域神經(jīng)網(wǎng)絡(luò)（DWNN）。結(jié)果表明，與常規(guī)RNN模型相比，DWNN模型可以將預(yù)測的均方誤差降低30％。
Ha 等。CNN被用于開發(fā)定量股票選擇策略，以確定股票趨勢，然后使用LSTM預(yù)測股票價(jià)格，以推廣用于定量計(jì)時(shí)策略的混合神經(jīng)網(wǎng)絡(luò)模型，以增加利潤。
Jiang 等。 使用LSTM神經(jīng)網(wǎng)絡(luò)和RNN構(gòu)建模型，發(fā)現(xiàn)LSTM可以更好地應(yīng)用于庫存預(yù)測。
2019
Jin 等。 在模型分析中增加了投資者的情緒趨勢，并引入經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）與LSTM相結(jié)合，以獲得更準(zhǔn)確的股票預(yù)測。基于注意力機(jī)制的LSTM模型在語音和圖像識別中很常見，但在金融領(lǐng)域卻很少使用。
Radford 等。 目前 流行的GPT-3的前身，GPT-2的目標(biāo)是設(shè)計(jì)一個(gè)多任務(wù)學(xué)習(xí)器，它結(jié)合了預(yù)訓(xùn)練和監(jiān)督式微調(diào)，以實(shí)現(xiàn)更靈活的傳輸形式。因此，它具有1542M參數(shù)，比其他比較模型大得多。
Shumin 等。一種使用時(shí)間卷積網(wǎng)絡(luò)（ KDTCN）進(jìn)行知識趨勢預(yù)測和解釋的知識驅(qū)動方法 。他們首先從財(cái)經(jīng)新聞中提取結(jié)構(gòu)化事件，然后利用知識圖獲得事件嵌入。然后，將事件嵌入和價(jià)格值結(jié)合在一起以預(yù)測庫存趨勢。實(shí)驗(yàn)表明，該方法可以（i）更快地應(yīng)對突然的變化，并且可以勝過股票數(shù)據(jù)集上的最新方法。（這將是本文的重點(diǎn)。）
2020
Jiayu等人和Thomas等人提出了基于近期新聞序列的混合注意力網(wǎng)絡(luò)來預(yù)測股票趨勢。帶有注意力機(jī)制的LSTMs由于其獨(dú)特的存儲單元結(jié)構(gòu)，防止了長期依賴性，因此表現(xiàn)優(yōu)于傳統(tǒng)的LSTMS。
Hongyan等人提出了一種探索性的架構(gòu)，稱為時(shí)空卷積注意力網(wǎng)絡(luò)Temporal Convolutional Attention-based Network(TCAN)，它結(jié)合了時(shí)空卷積網(wǎng)絡(luò)和注意力機(jī)制。TCAN包括兩個(gè)部分，一個(gè)是時(shí)間注意力Temporal Attention(TA)，捕捉序列內(nèi)部的相關(guān)特征，另一個(gè)是增強(qiáng)殘差Enhanced Residual(ER)，提取淺層的重要信息并傳輸?shù)缴顚印?/p>
上面的時(shí)間線只是為了讓大家了解FTS在深度學(xué)習(xí)中的歷史背景，但并不是淡化序列模型學(xué)術(shù)界其他成員在類似時(shí)間段所貢獻(xiàn)的重要工作。
不過，這里有一點(diǎn)值得一提?？赡艿那闆r是，F(xiàn)TS預(yù)測領(lǐng)域的學(xué)術(shù)出版物往往具有誤導(dǎo)性。由于大量使用模擬器，許多快車道預(yù)測論文往往夸大其性能以獲得認(rèn)可，并對其模型進(jìn)行過度擬合。這些論文中宣稱的許多業(yè)績難以復(fù)制，因?yàn)樗鼈兾茨茚槍λA(yù)測的特定財(cái)務(wù)交易系統(tǒng)的未來變化進(jìn)行概括。
金融時(shí)間序列數(shù)據(jù)--尤其是股票價(jià)格，會隨著季節(jié)性、噪聲和自動修正而不斷波動。傳統(tǒng)的預(yù)測方法采用移動平均線和差分法來減少預(yù)測的噪聲。然而，F(xiàn)TS是傳統(tǒng)的非穩(wěn)態(tài)，并且表現(xiàn)出有用信號和噪聲的重疊，這使得傳統(tǒng)的去噪效果不佳。
小波分析在圖像和信號處理等領(lǐng)域取得了顯著的成就。由于其能夠彌補(bǔ)傅里葉分析的不足，開始逐漸被引入經(jīng)濟(jì)和金融領(lǐng)域。小波變換在解決傳統(tǒng)的時(shí)間序列分析問題上具有獨(dú)特的優(yōu)勢，它可以從不同的時(shí)域和頻域尺度對金融時(shí)間序列數(shù)據(jù)進(jìn)行分解和重構(gòu)。
小波變換實(shí)質(zhì)上是利用多尺度特征對數(shù)據(jù)集進(jìn)行去噪，有效地將有用信號從噪聲中分離出來。在Jiayu Qiu, Bin Wang, Changjun Zhou的論文中，作者們利用coif3小波函數(shù)的三個(gè)分解層，通過其信噪比（SNR）和均方根誤差（RMSE）來評價(jià)小波變換的效果。SNR越高，RMSE越小，小波變換的去噪效果越好。
Jiayu Qiu1, Bin Wang, Changjun Zhou
在FTS中，選擇使用哪項(xiàng)數(shù)據(jù)作為驗(yàn)證集并不是一件小事。事實(shí)上，有無數(shù)種方法可以做到這一點(diǎn)，對于不同波動性的股票指數(shù)，必須仔細(xì)考慮。
固定點(diǎn)方法是最天真、最常用的方法。給定一定的拆分大小，數(shù)據(jù)的起點(diǎn)是訓(xùn)練集，終點(diǎn)是驗(yàn)證集。但是，這種方法選擇起來特別生疏，尤其是對于亞馬遜這樣的高成長性股票。之所以會這樣，是因?yàn)閬嗰R遜的股價(jià)一開始的波動性很低，隨著股票的增長，會出現(xiàn)越來越大的波動行為。
AMZN年初到現(xiàn)在的價(jià)格（來源：谷歌財(cái)經(jīng)）
因此，我們將在低波動率動態(tài)上訓(xùn)練一個(gè)模型，并期望它在預(yù)測中處理未見的高波動率動態(tài)。事實(shí)上，這對于這些類型的股票來說，確實(shí)是很困難的，而且是以性能損失為代價(jià)的。因此，如果我們只考慮這一點(diǎn)，我們的驗(yàn)證損失和業(yè)績基準(zhǔn)可能會產(chǎn)生誤差。但是，對于像英特爾這樣波動性比較恒定的股票（COVID危機(jī)前），這種方法卻是合理的。
滾動原點(diǎn)重新校準(zhǔn)法比固定原點(diǎn)法的不穩(wěn)定性稍小，因?yàn)樗试S通過取各種不同分割數(shù)據(jù)的平均值來計(jì)算驗(yàn)證損失，以避免遇到高波動率時(shí)間段的不代表性問題。
最后，滾動窗口法通常是最有用的方法之一，因?yàn)樗貏e適用于長時(shí)間段運(yùn)行的FTS算法。事實(shí)上，這個(gè)模型輸出的是多個(gè)滾動窗口數(shù)據(jù)的平均驗(yàn)證誤差。這意味著我們得到的最終值更能代表近期的模型性能，因?yàn)槲覀冚^少受到遠(yuǎn)期性能強(qiáng)或差的偏見。
數(shù)據(jù)清洗技術(shù)可視化 (Thomas Hollis, Antoine Viscardi, Seung Eun Yi, 2018)
Thomas Hollis、Antoine Viscardi、Seung Eun Yi所做的一項(xiàng)研究表明，滾動窗口（RW）和滾動原點(diǎn)重新校準(zhǔn)（ROR）所描述的性能都比簡單的固定原點(diǎn)法略好（58%和60%）。這表明，對于亞馬遜這樣的波動性股票，使用這些數(shù)據(jù)清洗方法將是不可避免的。
性能比較
時(shí)序卷積網(wǎng)絡(luò),或者簡稱TCN, 是一種處理序列建模任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)的變體, 它混合了RCNN與CNN架構(gòu). 對TCN的初步實(shí)驗(yàn)評估表明, 簡單的卷積結(jié)構(gòu)在不同任務(wù)和數(shù)據(jù)集上的性能優(yōu)于標(biāo)準(zhǔn)遞歸網(wǎng)絡(luò)(如LSTMs), 同時(shí)表現(xiàn)出更加長期的高效的記憶.
TCN的顯著特點(diǎn)是:
架構(gòu)中的卷積是因果關(guān)系，這意味著從未來到過去沒有信息“泄漏”。
同RCNN一樣, 這個(gè)架構(gòu)可以獲取任意長度的序列,并將它們映射為一個(gè)相同長度的序列. TCN采用非常深的網(wǎng)絡(luò)(增強(qiáng)的殘差網(wǎng)絡(luò))和擴(kuò)張卷積的混合,來處理非常長且有效的歷史規(guī)模(例如, 網(wǎng)絡(luò)可以看到過去很遠(yuǎn)并且作出預(yù)測的能力)。
如上所述，TCN基于兩個(gè)原則：一是網(wǎng)絡(luò)產(chǎn)生的輸出與輸入長度相同，二是從將來到過去都不會泄漏的事實(shí)。為了實(shí)現(xiàn)第一點(diǎn)，TCN采用一維全卷積網(wǎng)絡(luò)（FCN）架構(gòu)，每個(gè)隱藏層的長度與輸入層相同，并加入長度為零的填充（內(nèi)核大小-1），以保持后續(xù)層與前幾層的長度相同。為了實(shí)現(xiàn)第二點(diǎn)，TCN使用了因果卷積，即在時(shí)間t的輸出只與時(shí)間t及之前層中的元素進(jìn)行卷積。
簡單來說。TCN = 1D FCN + 因果卷積。
一個(gè)簡單的因果卷積只能回顧一個(gè)大小與網(wǎng)絡(luò)深度線性的歷史。這使得在序列任務(wù)上應(yīng)用上述的因果卷積具有挑戰(zhàn)性，尤其是那些需要較長歷史的任務(wù)。Bai，Kolter和Koltun（2020）實(shí)現(xiàn)的解決方案，是采用膨脹卷積，以實(shí)現(xiàn)指數(shù)級大的接收場。更正式地說，對于一個(gè)一維序列輸入x∈R?和一個(gè)濾波器f:{0,...,k-1}→R，對該序列中元素s上的空洞卷積操作F被定義為：
其中d是膨脹系數(shù)，k是濾波器大小，s - d - i 表示過去的方向。因此，膨脹相當(dāng)于在每兩個(gè)相鄰的濾波器抽頭之間引入一個(gè)固定的步長。當(dāng)d=1時(shí)，膨脹卷積減小為常規(guī)卷積。使用較大的膨脹使頂層的輸出能夠代表更大范圍的輸入，從而有效地?cái)U(kuò)大了ConvNet的接受場。
擴(kuò)張因果卷積，擴(kuò)張因數(shù)d = 1、2、4，濾波器大小k =3。接收場能夠覆蓋輸入序列中的所有值。
3.1.3 殘差連接
殘差塊有效地允許各層學(xué)習(xí)對恒等映射更改，而不是整個(gè)轉(zhuǎn)換，這已被反復(fù)證明對非常深的網(wǎng)絡(luò)有利。
由于TCN的接受場取決于網(wǎng)絡(luò)深度n以及濾波器大小k和擴(kuò)張因子d，因此穩(wěn)定更深更大的TCN就變得非常重要。
使用TCNs進(jìn)行序列建模的幾個(gè)優(yōu)點(diǎn)。
并行性。在RNNs中，后面的時(shí)間步的預(yù)測必須等待其前面的時(shí)間步完成，而TCNs則不同，由于每層都使用了相同的濾波器，因此卷積可以并行完成。因此，在訓(xùn)練和評估中，一個(gè)長的輸入序列可以在TCN中作為一個(gè)整體進(jìn)行處理，而不是像RNN那樣按順序處理。
靈活的接受場大小。TCN可以通過多種方式改變其接受字段大小。例如，堆疊更多的擴(kuò)張（因果）卷積層，使用更大的膨脹因子，或者增加濾波器的尺寸大小都是可行的選擇。因此，TCNs可以更好地控制模型的內(nèi)存大小，并且容易適應(yīng)不同的域。
穩(wěn)定的梯度。與循環(huán)架構(gòu)不同的是，TCN的反傳播路徑與序列的時(shí)間方向不同。因此，TCN避免了爆炸/消失梯度的問題，這是RNN的一個(gè)主要問題（這也導(dǎo)致了LSTM和GRU的發(fā)展）。
訓(xùn)練時(shí)對內(nèi)存要求低。特別是在輸入序列較長的情況下，LSTMs和GRU很容易占用大量內(nèi)存來存儲其多單元門的部分結(jié)果。然而，在TCN中，濾波器是跨層共享的，反向傳播路徑只取決于網(wǎng)絡(luò)深度。因此在實(shí)踐中發(fā)現(xiàn)，門控RNNs比TCNs可能要多使用高達(dá)倍數(shù)的內(nèi)存。
可變長度輸入。就像RNNs以遞歸的方式對可變長度的輸入進(jìn)行建模一樣，TCNs也可以通過滑動1維卷積核來接收任意長度的輸入。這意味著，對于任意長度的順序數(shù)據(jù)，可以采用TCNs作為RNNs的直接替代。
使用TCNs有兩個(gè)顯著的缺點(diǎn)。
評估期間的數(shù)據(jù)存儲。TCNs需要接收原始序列，直至有效歷史記錄長度，因此在評估期間可能需要更多的內(nèi)存。
域轉(zhuǎn)移可能會改變隱藏參數(shù)。不同的域?qū)δＰ皖A(yù)測所需的歷史量可能有不同的要求。因此，當(dāng)把一個(gè)模型從一個(gè)只需要很少內(nèi)存的域（即小k和d）轉(zhuǎn)移到一個(gè)需要更長內(nèi)存的域（即大得多的k和d）時(shí)，TCN可能會因?yàn)闆]有足夠大的接受場而表現(xiàn)不好。
在典型序列建模任務(wù)上一些TCN網(wǎng)絡(luò)與一些循環(huán)架構(gòu)的評估結(jié)果, 這些任務(wù)通常用來對RNN的變體進(jìn)行基準(zhǔn)測試(Bai, Kolter and Koltun, 2020)
執(zhí)行總結(jié):
這些結(jié)果強(qiáng)烈的表明了極小調(diào)優(yōu)的通用TCN架構(gòu)在廣泛的序列建模任務(wù)中優(yōu)于規(guī)范的循環(huán)結(jié)構(gòu), 這些任務(wù)通常用于對遞歸體系結(jié)構(gòu)本身的性能進(jìn)行基準(zhǔn)測試。
4. 通過TCN進(jìn)行知識驅(qū)動的股票走勢預(yù)測和解釋。
股票趨勢預(yù)測中的深度神經(jīng)網(wǎng)絡(luò)大多有兩個(gè)共同的缺點(diǎn)。(i)目前的方法對股票趨勢的突然變化不夠敏感，(ii)預(yù)測結(jié)果對人類來說無法解釋。針對這兩個(gè)問題，Deng等人2019年提出了一種新型的知識驅(qū)動時(shí)空卷積網(wǎng)絡(luò)（Knowledge-Driven Temporal Convolutional Network，KDTCN）用于股票趨勢預(yù)測和解釋，通過將背景知識、新聞事件和價(jià)格數(shù)據(jù)融入到深度預(yù)測模型中，解決股票趨勢具有突變性的預(yù)測和解釋問題。
針對突發(fā)性變化的預(yù)測問題，從財(cái)經(jīng)新聞中提取事件，并將其結(jié)構(gòu)化為事件元組，如 "英國退出歐盟 "表示為（英國，退出，歐盟 ）。然后將事件元組中的實(shí)體和關(guān)系鏈接到KG，如Freebase和Wikidata。其次，將結(jié)構(gòu)化的知識、文本新聞以及價(jià)格值分別進(jìn)行矢量化，然后再將它們連在一起。最后，將這些嵌入物反饋到基于TCN的模型中。
實(shí)驗(yàn)表明，KDTCN可以（i）更快地對突然變化做出反應(yīng)，并在股票數(shù)據(jù)集上優(yōu)于最先進(jìn)的方法，以及（ii）便于解釋預(yù)測，特別是在突然變化的情況下。
此外，基于具有突然變化的預(yù)測結(jié)果，以解決做出解釋的問題，通過使用知識圖譜（KG）將事件的影響可視化，呈現(xiàn)事件之間的鏈接。通過這樣做，我們可以做出以下解釋：（i）知識驅(qū)動的事件如何在不同程度上影響股市波動；（ii）知識如何幫助將事件與股票趨勢預(yù)測的突然變化相關(guān)聯(lián)。
請注意，如果您需要進(jìn)一步的技術(shù)細(xì)節(jié)，請參考本文，以下部分僅是對Shumin等人論文的概述。
這里提到的基本TCN模型架構(gòu)是從上面的第3節(jié)派生而來的-由因果卷積，殘差連接和擴(kuò)張卷積組成的通用TCN架構(gòu)。
KDTCN架構(gòu)的概況如下圖所示。
原始模型的輸入是價(jià)格X，新聞?wù)Z料庫N，以及知識圖譜G，價(jià)格值經(jīng)過歸一化處理后，映射成價(jià)格向量，表示為：
其中，每個(gè)向量p t 代表股票交易日t的實(shí)時(shí)價(jià)格向量，T為時(shí)間跨度。
而對于新聞?wù)Z料，將新聞片段表示為事件集ε；然后，構(gòu)造事件元組e=(s,p,o)，其中p為動作/謂語，s為參與者/主體，o為動作執(zhí)行的對象；然后，將事件元組中的每個(gè)項(xiàng)目與KG聯(lián)系起來，對應(yīng)KG中的實(shí)體和關(guān)系；最后，通過訓(xùn)練事件元組和KG三元組獲得事件嵌入V. Shumin等人記錄了此過程的更詳細(xì)信息。
最后，將事件嵌入與價(jià)格向量相結(jié)合，輸入基于TCN的模型。
數(shù)據(jù)集：
時(shí)間序列價(jià)格數(shù)據(jù) X：DJIA指數(shù)每日價(jià)值記錄的價(jià)格數(shù)據(jù)集。
文本新聞數(shù)據(jù) N：由Reddit世界新聞?lì)l道的歷史新聞?lì)^條組成的新聞數(shù)據(jù)集（基于投票的前25個(gè)的帖子）。
結(jié)構(gòu)化知識數(shù)據(jù) G：由兩個(gè)常用的研究用開放知識圖譜--Freebase和Wikidata的結(jié)構(gòu)化數(shù)據(jù)構(gòu)建的子圖譜。
基準(zhǔn)方法：
不同輸入的基線模型。在第一列中，前綴WB表示詞嵌入，EB表示事件嵌入，PV表示價(jià)格向量，KD表示知識驅(qū)動。請注意，事件嵌入（a）和事件嵌入（b）分別表示無KG和有KG的事件嵌入。
KDTCN的性能在三個(gè)方面進(jìn)行了基準(zhǔn)測試：（i）基本TCN體系結(jié)構(gòu)的評估，（ii）不同模型輸入對TCN的影響，以及（iii）基于TCN的模型對于突然變化的輸入數(shù)據(jù)的性能。
TCN基本架構(gòu)：
用不同的基本預(yù)測模型對DJIA指數(shù)數(shù)據(jù)集的股票趨勢預(yù)測結(jié)果。
需要注意的是，這部分報(bào)告的所有實(shí)驗(yàn)都只是輸入了價(jià)格值。
TCN在股票趨勢預(yù)測任務(wù)上的表現(xiàn)大大優(yōu)于基線模型。TCN的性能比傳統(tǒng)的ML模型（ARIMA），或者深度神經(jīng)網(wǎng)絡(luò)（如LSTM和CNN）都要好得多，說明TCN在序列建模和分類問題上有更明顯的優(yōu)勢。
使用TCN的不同模型輸入：
可以看出，WB-TCN和EB-TCN都比TCN獲得了更好的性能，說明文本信息有助于提高預(yù)測能力。
KDTCN得到的準(zhǔn)確率和F1得分都是最高的，這樣的結(jié)果證明了模型輸入與結(jié)構(gòu)化知識、財(cái)經(jīng)新聞和價(jià)格整合的有效性。
對于突然變化的數(shù)據(jù)輸入的模型性能：
使用不同的模型輸入，本地DJIA指數(shù)數(shù)據(jù)集的突然變化的股票趨勢預(yù)測結(jié)果。
據(jù)觀察，具有知識驅(qū)動的事件嵌入輸入的模型（例如KDEB-TCN和KDTCN）可以大大勝過基于數(shù)字?jǐn)?shù)據(jù)和基于文本數(shù)據(jù)的模型。這些比較結(jié)果表明，知識驅(qū)動的模型在迅速應(yīng)對股市的突然變化方面具有優(yōu)勢。
下面補(bǔ)充說明如何量化股票波動程度。
首先，通過計(jì)算兩個(gè)相鄰股票交易日之間的股票波動程度D（fluctuation）的差來獲得突變的時(shí)間間隔。
其中，x 在時(shí)間 t 表示股票交易日 t 的股票價(jià)格值，那么波動度的差值 C的定義為：
如果｜Ci｜超過一定的閾值，則可以認(rèn)為股價(jià)在第i天發(fā)生了突變。
為何在沒有ML專業(yè)知識的情況下，知識驅(qū)動事件是導(dǎo)致人類突然變化的常見原因的解釋是從兩個(gè)方面完成的。(i)將知識驅(qū)動事件對預(yù)測結(jié)果的影響與突變可視化；(ii)通過將事件與外部KG聯(lián)系起來，檢索知識驅(qū)動事件的背景事實(shí)。
事件的效果可視化：
下圖中的預(yù)測結(jié)果是DJIA指數(shù)的走勢將下降。需要注意的是，相同顏色的柱狀物具有相同的事件效果，柱狀條的高度反映了效果的程度，事件人氣從左到右依次遞減。直觀上看，人氣較高的事件對股票走勢預(yù)測的影響應(yīng)該更大，變化突然，但并不總是如此。
事件影響對股票走勢預(yù)測的例子
其他幾乎所有具有負(fù)效應(yīng)的事件都與這兩個(gè)事件有關(guān)，例如，（英鎊，下跌，近5%）和（北愛爾蘭，要求對聯(lián)合愛爾蘭進(jìn)行民調(diào)）。
雖然也有一些事件對預(yù)測股票走勢上漲有正向作用，且人氣較高，即（富裕，越來越，更加富裕），但總的作用是負(fù)向的。因此，股指波動的突變可以看成是事件效果和人氣關(guān)注度的綜合結(jié)果。
鏈接到KG的事件圖元的可視化：
與事件相關(guān)聯(lián)的KG三元組說明
首先，搜索股票走勢中影響大或人氣高的事件元組。然后，回溯到包含這些事件的新聞文本。最后，通過實(shí)體鏈接，檢索與事件元組鏈接的相關(guān)KG三元組。在上圖中，每個(gè)事件元組用藍(lán)色標(biāo)記，其中的實(shí)體鏈接到KG。
這些列舉的事件元組，如（英國，退出，歐盟）、（英國，投票離開，歐盟）、（英鎊，下跌，近5%）、（J.K.羅琳，主導(dǎo)了，蘇格蘭獨(dú)立）、（北愛爾蘭，呼吁對聯(lián)合愛爾蘭進(jìn)行民意調(diào)查），從字面上看，并沒有很強(qiáng)的相關(guān)性。但是，通過與KG的聯(lián)系，它們可以建立起相互之間的關(guān)聯(lián)，并與Brexit和歐盟公投事件緊密相關(guān)。結(jié)合事件效應(yīng)的解釋，可以證明知識驅(qū)動的事件是突變發(fā)生的常見來源。
5.結(jié)論
循環(huán)神經(jīng)網(wǎng)絡(luò)在序列建模中享有的優(yōu)勢可能在很大程度上是歷史發(fā)展遺留的問題。直到近期，在引入諸如擴(kuò)張卷積和殘余連接等架構(gòu)元素之前，卷積架構(gòu)確實(shí)比較薄弱。最近的學(xué)術(shù)研究表明，在這些元素的作用下，簡單的卷積架構(gòu)在不同的序列建模任務(wù)中比LSTMs等遞歸架構(gòu)更有效。由于TCNs的清晰度和簡單性相當(dāng)高，在Bai，S.，Kolter，J.和Koltun，V.，2020中提出，卷積網(wǎng)絡(luò)應(yīng)該被視為序列建模的天然起點(diǎn)和強(qiáng)大工具。
此外，從上文TCNs在股票趨勢預(yù)測中的應(yīng)用可以看出，通過結(jié)合新聞事件和知識圖譜，TCNs可以明顯優(yōu)于規(guī)范的RNNs。
雷鋒字幕組是一個(gè)由 AI 愛好者組成的翻譯團(tuán)隊(duì)，匯聚五百多位志愿者的力量，分享最新的海外AI資訊，交流關(guān)于人工智能技術(shù)領(lǐng)域的行業(yè)變革與技術(shù)創(chuàng)新的見解。
團(tuán)隊(duì)成員有大數(shù)據(jù)專家、算法工程師、圖像處理工程師、產(chǎn)品經(jīng)理、產(chǎn)品運(yùn)營、IT咨詢?nèi)恕⒃谛熒?；志愿者們來自IBM、AVL、Adobe、阿里、百度等知名企業(yè)，北大、清華、港大、中科院、南卡羅萊納大學(xué)、早稻田大學(xué)等海內(nèi)外高校研究所。
如果，你也是位熱愛分享的AI愛好者。歡迎與雷鋒字幕組一起，學(xué)習(xí)新知，分享成長。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
