一、什么是數(shù)據(jù)挖掘

數(shù)據(jù)挖掘(Data Mining)，也叫數(shù)據(jù)開采，數(shù)據(jù)采掘等，就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。

數(shù)據(jù)挖掘基于的數(shù)據(jù)庫類型主要有關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、事務(wù)數(shù)據(jù)庫、演繹數(shù)據(jù)庫、時(shí)態(tài)數(shù)據(jù)庫、多媒體數(shù)據(jù)庫、主動(dòng)數(shù)據(jù)庫、空間數(shù)據(jù)庫、文本型、 Internet信息庫 以及新興的數(shù)據(jù)倉(cāng)庫(Data Warehouse)等。而挖掘后獲得的知識(shí)包括關(guān)聯(lián)規(guī)則、特征規(guī)則、區(qū)分規(guī)則、分類規(guī)則、總結(jié)規(guī)則、偏差規(guī)則、聚類規(guī)則、模式分析及趨勢(shì)分析等。數(shù)據(jù)挖掘是一門交叉學(xué)科，它把人們對(duì)數(shù)據(jù)的應(yīng)用從低層次的簡(jiǎn)單查詢，提升到從數(shù)據(jù)中挖掘知識(shí)，提供決策支持。數(shù)據(jù)挖掘在數(shù)據(jù)由數(shù)據(jù)庫轉(zhuǎn)化為知識(shí)的過程中，所處的位置如圖1所示。

圖1 數(shù)據(jù)由數(shù)據(jù)庫轉(zhuǎn)化為知識(shí)的過程

數(shù)據(jù)挖掘與傳統(tǒng)的數(shù)據(jù)分析(如查詢、報(bào)表、聯(lián)機(jī)應(yīng)用分析)的本質(zhì)區(qū)別是數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識(shí)(也包括大量的不公開的數(shù)據(jù))。數(shù)據(jù)挖掘使數(shù)據(jù)庫技術(shù)進(jìn)入了一個(gè)更高級(jí)的階段。數(shù)據(jù)挖掘是要發(fā)現(xiàn)那些不能靠直覺發(fā)現(xiàn)的信息或知識(shí)，甚至是違背直覺的信息或知識(shí)，挖掘出的信息越是出乎意料，就可能越有價(jià)值。能夠比市場(chǎng)提前知道這種信息，提前做出決策就會(huì)獲得超額利潤(rùn)。

二、數(shù)據(jù)挖掘的原理

數(shù)據(jù)本來只是數(shù)據(jù)，直觀上并沒有表現(xiàn)出任務(wù)有價(jià)值的知識(shí)。當(dāng)我們用數(shù)據(jù)挖掘方法，從數(shù)據(jù)中挖掘出知識(shí)后，這種知識(shí)是否值得信賴呢？為了說明這種知識(shí)是可信的， 現(xiàn)在來簡(jiǎn)要介紹一下數(shù)據(jù)挖掘的原理。

圖2 數(shù)據(jù)挖掘與其他學(xué)科的關(guān)系

數(shù)據(jù)挖掘其實(shí)質(zhì)是綜合應(yīng)用各種技術(shù)，對(duì)于業(yè)務(wù)相關(guān)的數(shù)據(jù)進(jìn)行一系列科學(xué)的處理，這這過程中需要用到數(shù)據(jù)庫、統(tǒng)計(jì)學(xué)、應(yīng)用數(shù)學(xué)、機(jī)器學(xué)習(xí)、可視化、信息科學(xué)、程序開發(fā)以及其他學(xué)科(如圖2所示)。其核心是利用算法對(duì)處理好的輸入和輸出數(shù)據(jù)進(jìn)行訓(xùn)練，并得到模型， 然后再對(duì)模型進(jìn)行驗(yàn)證，使得模型能夠在一定程度上刻畫出數(shù)據(jù)由輸入到輸出的關(guān)系， 然后再利用該模型，對(duì)新輸入的數(shù)據(jù)進(jìn)行計(jì)算，從而得到我們希望得到的新的輸出。所以雖然這種模型不容易解釋或很難看到， 但它是基于大量數(shù)據(jù)訓(xùn)練并經(jīng)過驗(yàn)證的，所以能夠反映輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的大致關(guān)系，這種關(guān)系(模型)就是我們需要的知識(shí)。這就是數(shù)據(jù)挖掘的原理。從數(shù)據(jù)挖掘的原理可以看出， 數(shù)據(jù)挖掘是有一定科學(xué)依據(jù)的， 數(shù)據(jù)挖掘的結(jié)果也是值得信賴的。

三、數(shù)據(jù)挖掘在量化投資的應(yīng)用

1、宏觀經(jīng)濟(jì)分析

股市的影響因素很多，但中國(guó)股市對(duì)宏觀政策尤其敏感，從根本上說，股市的運(yùn)行與宏觀的經(jīng)濟(jì)運(yùn)行應(yīng)當(dāng)是一致的，經(jīng)濟(jì)的周期決定著股市的周期，股市周期的變化反映了經(jīng)濟(jì)周期的變動(dòng)。其中經(jīng)濟(jì)周期包括衰退、危機(jī)、復(fù)蘇和繁榮四個(gè)階段。按照一般常理來說，在經(jīng)濟(jì)衰退時(shí)期，股價(jià)指數(shù)會(huì)逐漸下跌；到經(jīng)濟(jì)危機(jī)時(shí)期，股價(jià)指數(shù)跌至最低點(diǎn)；當(dāng)經(jīng)濟(jì)復(fù)蘇開始時(shí)，股價(jià)指數(shù)又會(huì)逐步上升；到經(jīng)濟(jì)繁榮時(shí)，股價(jià)指數(shù)則上漲至最高點(diǎn)。由此看來宏觀經(jīng)濟(jì)走勢(shì)影響著股市的波動(dòng)，但宏觀經(jīng)濟(jì)走勢(shì)與股市趨勢(shì)的變動(dòng)周期也不是完全同步的。所以無論從量化投資角度還是傳統(tǒng)投資方式角度，對(duì)宏觀經(jīng)濟(jì)進(jìn)行深入的分析是必須的。

在量化投資領(lǐng)域， 數(shù)據(jù)挖掘技術(shù)可以做以下幾個(gè)方面的工作：

分析GDP對(duì)股市及個(gè)股的影響。

分析分析貨幣供應(yīng)量對(duì)股票價(jià)格的影響及對(duì)個(gè)股的影響。

分析利率對(duì)股市的影響及利率變化對(duì)個(gè)股的影響。

分析匯率對(duì)股市及個(gè)股的影響。

在宏觀經(jīng)濟(jì)分析方面， 經(jīng)常用到回歸、關(guān)聯(lián)分析、分類、預(yù)測(cè)等方法。比如利用回歸、預(yù)測(cè)等技術(shù)確定經(jīng)濟(jì)周期， 并研究不同股票于各經(jīng)濟(jì)周期的關(guān)聯(lián)性， 這樣就可以在不同的經(jīng)濟(jì)周期，制定不同的投資策略，這樣不僅可以在不同的經(jīng)濟(jì)周期實(shí)現(xiàn)持續(xù)盈利，還可以規(guī)避風(fēng)險(xiǎn)。 比如有的投資機(jī)構(gòu)在2008年前就利用數(shù)據(jù)挖掘技術(shù)確認(rèn)當(dāng)時(shí)的經(jīng)濟(jì)周期，提前減倉(cāng)，改變投資策略，不僅避免了風(fēng)險(xiǎn)，而且實(shí)現(xiàn)了高額收益。 其實(shí)，如果將08年之前的宏觀經(jīng)濟(jì)數(shù)據(jù)可視化之后(圖3所示)， 就會(huì)發(fā)現(xiàn)這期間的經(jīng)濟(jì)環(huán)境了。

圖3 08年前后的宏觀經(jīng)濟(jì)趨勢(shì)圖

2、估價(jià)

國(guó)內(nèi)外大量實(shí)證研究結(jié)果表明:上市公司定期公布的財(cái)務(wù)報(bào)告具有很強(qiáng)的信息含量，但是當(dāng)期會(huì)計(jì)盈余數(shù)據(jù)的信息會(huì)在披露前后在股票市價(jià)中迅速得以體現(xiàn)。因此對(duì)于中長(zhǎng)期投資者來說,重要的是預(yù)見未來。質(zhì)地優(yōu)良且未來具有較高盈利增長(zhǎng)能力的公司是中長(zhǎng)期投資者(包括普通投資者，證券投資基金和券商)普遍關(guān)注的對(duì)象，因?yàn)橹挥羞@類公司才能給投資。

通過對(duì)上市公司的價(jià)值的評(píng)估，來進(jìn)行股票的選擇。這是現(xiàn)在占據(jù)主流地位的基本面分析的基本方法。通過各種不同的方法對(duì)于上市公司的價(jià)值進(jìn)行一個(gè)評(píng)估，然后結(jié)合股票市場(chǎng)上的表現(xiàn)來決定市場(chǎng)上的價(jià)格是否被低估或者高估。如果低估則買入，如果高估則賣出。當(dāng)然，中國(guó)市場(chǎng)現(xiàn)在還沒有賣空的途徑，剛剛獲批的融資融券業(yè)務(wù)也只是在限定標(biāo)的的情況下進(jìn)行部分的賣空，所以中國(guó)市場(chǎng)還是主要以買入為主。于是，我們更多的是選擇那些價(jià)格被低估的股票。分析未來股票發(fā)行和上市價(jià)格的合理定位。

數(shù)據(jù)挖掘技術(shù)在估價(jià)方面的應(yīng)用就是去挖掘價(jià)值被低估的股票， 比如可以用最近鄰方法確定基本面相似的股票的市場(chǎng)估價(jià)， 然后根據(jù)實(shí)際價(jià)格很容易確定哪些股票被低估或者高估。 該方法對(duì)于新股的認(rèn)購(gòu)策略也同樣非常有幫助， 因?yàn)榭梢杂脕碓u(píng)估新股的合理價(jià)格區(qū)間。

3、量化選股

量化選股是數(shù)據(jù)挖掘在量化投資領(lǐng)域研究和應(yīng)用最多的課題，畢竟選股是量化投資的最重要的內(nèi)容。像上面剛介紹的多因子選股模型，主要是靠數(shù)據(jù)挖掘中的回歸方法得到的。當(dāng)然量化選股的內(nèi)容不僅限于此，數(shù)據(jù)挖掘技術(shù)在選股上有多重應(yīng)用，有時(shí)是為策略提供決策基礎(chǔ)， 有時(shí)是根據(jù)策略進(jìn)行挖掘。 比如，可以用聚類方法對(duì)股票進(jìn)行聚類，從而對(duì)股票進(jìn)行分池， 選股的時(shí)候就2可以從上漲概率比較大的池子中選擇股票。 再比如，可以用神經(jīng)網(wǎng)絡(luò)方法預(yù)測(cè)股票的漲跌概率，具體實(shí)現(xiàn)方法這里先不贅述， 這些內(nèi)容在本書中將都會(huì)進(jìn)行介紹。

4、量化擇時(shí)

量化投資領(lǐng)域中，一個(gè)好的選股策略是比較容易實(shí)現(xiàn)的。這是因?yàn)樵陂L(zhǎng)時(shí)間跨度里能夠跑贏市場(chǎng)的一些投資組合一般會(huì)滿足某種特性，例如低估值、例如高成長(zhǎng)、例如小市值、例如隱形資產(chǎn)低估等等。 但擇時(shí)就不是那么簡(jiǎn)單了， 這里會(huì)有一個(gè)簡(jiǎn)單的問題：大盤明天是漲還是跌？

這個(gè)看似簡(jiǎn)單的問題其實(shí)并不好回答，尤其是從量化的角度去處理，甚至我們從傳統(tǒng)的策略研究——技術(shù)面+基本面+政策面會(huì)更加好回答一些。為什么？因?yàn)榱炕瘬駮r(shí)無法處理來自政策面的消息。還有就是量化擇時(shí)經(jīng)常會(huì)有很強(qiáng)的時(shí)域特性，太短的時(shí)域預(yù)測(cè)例如一天，太長(zhǎng)的時(shí)域預(yù)測(cè)例如一年，量化擇時(shí)是很難處理的。

正因?yàn)閾駮r(shí)比較難處理， 所以采用數(shù)據(jù)挖掘技術(shù)， 用大量的數(shù)據(jù)去尋找最佳的賣點(diǎn)相對(duì)顯得更理性些。 比如用上面剛介紹的SVM方法進(jìn)行擇時(shí)， 或采用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)近期的漲跌趨勢(shì)， 再或者采用分類方法判斷近期的最佳交易周期。

5、算法交易

算法交易(algorithmic trading)，是指把一個(gè)指定交易量的買入或者賣出指令放入模型，該模型包含交易員確定的某些目標(biāo)。 根據(jù)這些特殊的算法目標(biāo)，該模型會(huì)產(chǎn)生執(zhí)行指令的時(shí)機(jī)和交易額。而這些目標(biāo)往往基于某個(gè)基準(zhǔn)、價(jià)格或時(shí)間。這種交易有時(shí)候被稱“黑箱交易”。算法交易通過程序系統(tǒng)交易，將一個(gè)大額的交易拆分成數(shù)十個(gè)小額交易，以此來盡量減少對(duì)市場(chǎng)價(jià)格造成沖擊，降低交易成本，且還能幫助機(jī)構(gòu)投資者快速增加交易量。

算法交易系統(tǒng)的核心是通過一套計(jì)算機(jī)程序，可以在一秒鐘內(nèi)產(chǎn)生數(shù)千個(gè)交易指令，其中許多指令瞬間就可以被取消或被新的指令取代，從而把大額委托化整為零，減小對(duì)市場(chǎng)的沖擊，并且可以尋求最佳的成交執(zhí)行路徑，減少交易成本。但程序的核心是交易算法，而這種敢于在市場(chǎng)上進(jìn)行實(shí)操的算法往往都是在大量的歷史交易數(shù)據(jù)挖掘中得到的， 然后再經(jīng)過嚴(yán)格的測(cè)試，確定算法的可靠且有效后方可投入實(shí)際的算法交易。 在算法交易方面，可用到的數(shù)據(jù)挖掘技術(shù)比較廣， 往往涉及到多種方法的綜合。 在算法交易方面，目前用的比較多的數(shù)據(jù)挖掘方法是集成決策樹， 其核心是當(dāng)不同的指標(biāo)(信號(hào))出現(xiàn)不同的情況時(shí)，給出具體的交易操作(買入或賣出)，采用這種方法不僅是穩(wěn)定、靈活，而且還可以采用優(yōu)化算法對(duì)其進(jìn)行優(yōu)化，提高收益， 圖4即為采用遺傳算法優(yōu)化交易指標(biāo)的迭代效果圖。

圖4 遺傳算法優(yōu)化交易指標(biāo)的迭代效果圖