現在大數據火得不行，幾乎人人都在說大數據，但到底什么是大數據，恐怕沒有多少人知道，魚目混珠的人太多。
大數據不是指很多很多數據。
所以不是存儲了很多數據就是在搞大數據了，因為“大數據”只是個簡稱，說全一點應是“大數據挖掘”，沒經過挖掘的大數據只是沒有開采出來的原油，一點用處都沒有。
大數據也不是指一般意義上的數據挖掘。
有很多人以前是搞數據分析或數據挖掘的，當《大數據時代》這本書一問世、大數據開始火的時候，他們搖身一變就成了搞大數據的專家了。如果真是這樣，就根本沒必要提大數據這事兒，因為它本來就一直存在著，只不過換個說法。就好像我們沒必要今天突然提出個說法“飲H2O”來代替“喝水”。嗯，對，那叫玩概念。
“大數據挖掘”其實還沒有說全，再說完整點，應該是“大數據自動挖掘”。
以前的數據分析或挖掘，是指人通過數據去進行分析，挖掘出一些規律性的東西以供以后使用。
但面對大數據，由于不光是數據量太大，而且往往包括數據的維度也很多，人已不可能去處理這樣海量的數據，甚至是如何處理都不知道，這時必須用電腦來自動處理，挖掘出數據中的規律。
但是目前電腦還不能像人那樣進行嚴密、復雜的邏輯思維，因此它們也無法用我們人的思維模式去分析數據，人可能只要較少的數據就能分析出其中的規律，數據多了反而沒有辦法，所以我們人類都是采用抽樣分析。
電腦則正好相反，無法根據少量數據去分析出規律，但它有一個優勢，那就是運算速度非常快，因此有可能處理海量數據以后找出其中的規律。
由于電腦還不能進行復雜的邏輯思維，所以它的處理方法很簡單，就是進行簡單的統計運算，也就是“硬算”，統計出在什么情況會出什么樣的結果，然后當類似的情況再出現時，它就會告訴我們可能會出現某種結果了。
由這里也可看大數據的另一個特點，即大數據主要是進行預測，告訴你未來將會出現什么樣的結果。而不是只分析出過去的走勢和現狀，未來還是要由人去判斷。
為什么這種簡單的方法會有效呢？這就回到“大數據”這個詞上來了，那就是因為數據量非常大，統計出來的結果就往往是正確的。
大家一定都知道這個例子，扔硬幣來統計正、反面出現的機率，如果只扔10次，也許正面出現9次，以此來得出結論肯定是錯的；但如果你扔10萬次、100萬次，甚至更多，那你統計出來的結果基本是正確的，正、反面出現的機率一定是各50%。
是的，大數據自動挖掘就是依據這一原理。
這里沒有嚴密的因果分析，不是通過數據分析出原因再推導出結果；而是通過統計知道有這樣的情況，一般就會有這樣的結果，也即現象與結果的相關性。所以大數據就有一個顯著的特點，只關心相關性，不關心因果；用更通俗的話說就是“只知道結果，不知道原因”。
這實際是人們根據電腦的優勢，找出了一個全新的數據分析、挖掘方式，與傳統的方式完全不同，所以傳統那些搞數據分析或挖掘的專家并不能稱作為搞大數據的。
不過你一定要小心，冷不防你就會碰上一個這樣的專家，他們甚至可能是來自某名牌大學的知名教授之類。進到書店你也會看到許多講大數據的書，封面無一例外都有很大的“大數據”三個字，但其實都是在講傳統、人工的數據分析方式，和大數據一點邊都不沾。當然，這里不包括《大數據時代》這本書。
另外，傳統搞神經網絡、深度學習等人工智能的，也基本不算大數據，因為這里面還是很多人為因素，包括建模型、對程序進行訓練等，這里人仍需要對所分析的業務邏輯非常熟悉才能做，目前這種方法也難以達到實用的效果。而大數據只是讓電腦根據一些簡單卻巧妙的算法，去進行大量數據的統計，找出連人都想不到的規律。大數據在這里基本是與業務邏輯無關的，人不需要知道這是什么業務，比如分析移動互聯網行業的數據，他不需要知道這個行業的來龍去脈、當前狀況等，他只需要對大量歷史數據進行統計，就能夠找出其未來的走勢。
說到這，你一定很想問，那就找不到一個真正搞大數據的了？
先來講個小故事：
80年代有倆計算機呆子在IBM做翻譯系統。當時的磚家都在探索語言之間的內在聯系，語法、句法神馬的。倆呆子路數不同，他們把能找到的各種語言相對應的文獻全部做成數據，旁人批評“這種計算機蠻力不算科學”，后來他倆被一個對沖基金老板招走了?，F這倆呆子是復興科技co-CEO，老板是Jim Simons。
復興科技co-CEO每位年收入大概是1億美元，比華爾街各大行CEO的年收入要高一些，關鍵是這兩位幾乎名不見經傳。他們老板James Simons比較有名，是位數學家，跟陳省身一起寫過定理，跟楊振寧是同事，年收入超過10億美元，現在退休做慈善。清華有Chern-Simons樓，是楊振寧拉Simons掏錢修的。
在金融投資領域，只關注相關性、不關注因果的對沖基金做得很好（復興科技，DE Shaw），但金融理論基礎深厚、大數據分析能力欠佳的公司卻沒有類似的業績，MIT金融學家羅聞全坦言不明白復興科技在干什么。
喂，說你呢，別老盯著人家年收入1億美元。
這里關鍵的是很多人批評“這種計算機蠻力不算科學”（這些人肯定都是磚家，否則估計也沒資格批評），還有就是金融學家們完全不明白他們在干什么。
這說明了什么？說明了在國外發達國家贊成這種方式的人很少，知道怎么用這種方式的人就更少了，那么各位可以想像下在中國能有多少人知道這種方法該怎么做。
在中國，如果誰用這種非主流的野路子做事，別說評專家、教授了，更別說什么收入上億了，你估計不被餓死的機率有多大。
反正筆者知道一個家伙，從2000年開始，就像美國那兩個呆子，用這種“不科學的蠻力的硬算方法”進行語義相關度分析，做的事與那兩個呆子搞的翻譯系統異曲同工，都是有關語言的?？梢哉f他在這方面做出了突破性成果，然而他寫的成果文檔，博士、專家們看都不看。他現在也就在一家小公司做一份普通IT工作，勉強維持溫飽，曾經好長一段時間找不到合適工作，差點去洗碗、當保安。
也許有人要問了，搞語言方面的去搞數字，這靠譜嗎？用大數據的思路，你別管原因，那兩個復興科技的呆子已經告訴你結果了。
非要知道原因，也可以跟你說說：
其實語言比數字復雜太多了，舉個簡單的例子吧：1和2，電腦天然就知道它們的關系，知道哪個大、哪個小，以及大多少；但是“人”和“大”，電腦怎么知道這二者有什么關系，要知道也行，傳統的方法就是進行很多人工注解（專業叫詞性標注）。要讓電腦自己通過數據挖掘來知道文字的意義和相關性，甚至連基本的詞庫都不給電腦，而讓它自己去建，那實在太難了點，簡直就是匪夷所思，然而那個家伙做到了。
也就是說在大數據方面，語言處理與數字相比，難度絕對不是一、兩個數量級的差別，因此能做語言的，做數字就很簡單了。在有就還是大數據的特點，大數據是不管你什么樣的數據，它就是找出相關性，所以文字和數字并沒有太大區別。
前段時間那家伙碰到有人提出一個行業趨勢分析的問題，他說只用一個小時就想出了算法，只要把大量數據拿來就能出結果，但是在中國沒人敢相信他。
好了，有點跑題，不好意思。不過你現在知道什么是真正的“大數據”了吧。首先記得大數據是用來進行預測的，即直接告訴你未來的結果，另外就是牢牢記住7個字“大數據自動挖掘”，那就誰也忽悠不了你了。
轉自：互聯網分析沙龍
起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識
