中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

從小樣本到大數(shù)據(jù)：概念與誤區(qū)

最近兩年產(chǎn)生并記錄的數(shù)據(jù)，總量占到人類文明以來所有數(shù)據(jù)總和的90%。我們源源不斷記錄著一切有價值的信息，世界和萬物的變化數(shù)據(jù)變成一座“自動生長”的金礦，數(shù)據(jù)挖掘技術(shù)則負責從礦山中挖出金子。

“大數(shù)據(jù)”這個詞早期是IBM和EMC鼓吹的一種商業(yè)概念，自誕生之日就有概念包裝的商業(yè)基因。明白這一道理就不會過分糾結(jié)“到底什么是大數(shù)據(jù)”，“多大數(shù)據(jù)算大數(shù)據(jù)”之類的問題。這一概念包含了我們在面對海量數(shù)據(jù)環(huán)境下的哲學迷思、技術(shù)困境、解決方案和由此引發(fā)的商業(yè)機會。

探討大數(shù)據(jù)問題前我們先回顧另一個數(shù)據(jù)界的經(jīng)典問題——小樣本問題。小樣本的“小”表面指的是數(shù)據(jù)樣本少，本質(zhì)則是說現(xiàn)存樣本對特征空間的刻畫能力不足。

“過擬合”問題是小數(shù)據(jù)時代的核心問題之一，也成就了vapnik這樣的理論巨匠及svm算法。大數(shù)據(jù)，其顯性特征是超出一般算法或一般硬件計算處理能力的“大”規(guī)模數(shù)據(jù);其伴隨的另一個特征，就是擁有足以刻畫樣本特征空間以外的”超額”樣本。前者顯性特征推動了并行/云計算的軟硬件發(fā)展，后者則從商業(yè)模式和數(shù)據(jù)分析的方法論層面推動了行業(yè)變化。

怎么理解這些”超額的樣本”帶給我們的價值呢?顯然，通過數(shù)據(jù)刻畫對象的全局特征，獲得全體統(tǒng)計規(guī)律及關(guān)聯(lián)規(guī)則并不需要這些“超額的樣本”，因此才有“大數(shù)據(jù)是不是越多越好”，“大數(shù)據(jù)是否需要抽樣”這樣的辯論，這是在大數(shù)據(jù)時代之前關(guān)心的問題?？梢哉f，糾結(jié)于這些問題的人還未觸及大數(shù)據(jù)的核心價值。歸納一下就是：大數(shù)據(jù)時代之前，我們處理的是小樣本或適度抽樣后的小數(shù)據(jù)進行群體規(guī)律的知識發(fā)現(xiàn)(KDD);在大數(shù)據(jù)時代，我們依賴從小樣本挖掘出的或原本就已知的經(jīng)驗規(guī)則，通過搜索海量樣本數(shù)據(jù)發(fā)現(xiàn)目標個體來兌現(xiàn)商業(yè)價值。

從理論到價值：政府應(yīng)用實例

大數(shù)據(jù)在何處?這些擁有富礦的金主包括：工業(yè)、金融、通信、科研機構(gòu)、互聯(lián)網(wǎng)企業(yè)等。除此之外，還有一個超級礦山擁有者——政府。以美國為例，在公開的美國政府網(wǎng)站Data.gov上，大約有超過40萬各種原始數(shù)據(jù)文件，涵蓋農(nóng)業(yè)、金融、就業(yè)等近50個分類。美國官方稱這么做的目的是“方便公眾更便捷地獲得聯(lián)邦政府數(shù)據(jù)，并通過鼓勵創(chuàng)新突破政府的圍墻而創(chuàng)造性地使用這些數(shù)據(jù)”。同時，各行業(yè)大數(shù)據(jù)又能極大改進政府的決策行為。

近些年大數(shù)據(jù)對國家及政府領(lǐng)域的應(yīng)用案例開始涌現(xiàn)：

　　1.情感測量及幸福指數(shù)

2008年，法國總統(tǒng)薩科齊組建了一個專家組，成員包括以諾貝爾經(jīng)濟學獎獲得者約瑟夫·斯蒂格里茨和阿馬蒂亞·森在內(nèi)的20多名世界知名專家，進行了一項名為“幸福與測度經(jīng)濟進步”(Happiness and Measuring Economic Progress)的研究。該項研究將國民主觀幸福感納入衡量經(jīng)濟表現(xiàn)的指標，以主觀幸福程度、生活質(zhì)量及收入分配等指標來衡量經(jīng)濟發(fā)展。

佛蒙特大學計算實驗室的項目Hedonometer

　　(1)2011年：幸福度來自旅行的遠度

佛蒙特大學的克里斯多夫·丹佛斯主持研究了幸福度與地理位置的關(guān)系，他們在2011年從從Twitter上篩選帶有博主地理位置的Tweet。全世界逾18萬用戶發(fā)布的3700萬條tweet中，約1%的微博含有這類經(jīng)緯度信息。

研究發(fā)現(xiàn)，人們通常會有兩個最常去的地方，且這兩個地方相距不遠，應(yīng)該就是家和工作地。為了評估博主的幸福額度，佛蒙特大學的研究小組研制了一種“幸福測試儀”(hedonometer)：這種測試儀能檢測出文本中表示積極、快樂情緒的詞匯(比如，“新鮮的”、“極好的”、“咖啡”和“午餐”)以及表示消極情緒的詞匯(比如，“沒有”、“不”、“討厭”、“該死的”、“無聊的”)。幸福測試儀會以此為根據(jù)評出每一條微博的幸福指數(shù)。研究團隊發(fā)現(xiàn)，離家越遠，人們所發(fā)微博中含有的開心詞匯就越多。

　　(2)2011年：人們沒有以前快樂

2011 12月21日消息，美國佛蒙特大學學者對Twitter上的用詞進行分析后，最終得出“人們沒有以前快樂”的結(jié)論。研究稱，自2009年4月以來，人們的幸福感總體呈下行趨勢。該研究報告的主要作者、佛蒙特大學的應(yīng)用數(shù)學家Peter Dodds表示，“人們的幸福感正在下降?！边@是多茲團隊對6300萬Twitter用戶所發(fā)tweet時用的460億個單詞分析得出的結(jié)論。

　　(3)2013年：周六幸福度最高

佛蒙特大學計算實驗室的Hedonometer項目組發(fā)布了一份推特情感分析報告。這個項目通過自然語言處理，對過去五年中每天發(fā)布的千萬條微博進行情感分析，尋找一些反映正面情緒或者負面情緒的關(guān)鍵詞，并將其結(jié)果記錄了下來。每一年的幸福度最高點都是在12月25號圣誕節(jié)，其它幸福度高的日子包括元旦、感恩節(jié)、情人節(jié)等;從每周來看，人們平均幸福度最高的一天是星期六，而最低的一天是星期二。

　　2.聯(lián)合國全球脈動(global pulse)項目

《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機遇》白皮書項目

隨著大數(shù)據(jù)發(fā)展戰(zhàn)得到全球各國高度重視，聯(lián)合國秘書長執(zhí)行辦公室于2009 年正式啟動了“全球脈動”(Global Pulse)倡議項目，旨在推動數(shù)字數(shù)據(jù)和快速數(shù)據(jù)收集和分析方式的創(chuàng)新。作為該項目的研究成果，由“全球脈動”資深發(fā)展經(jīng)濟學家艾瑪紐爾·勒圖(Emmanuel Letouzé)牽頭撰寫的《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機遇》報告于2012 年5 月發(fā)布。該報告全面分析了各國特別是發(fā)展中國家在運用大數(shù)據(jù)促進社會發(fā)展方面所面臨的歷史機遇和挑戰(zhàn)，并系統(tǒng)給出了在應(yīng)用過程中正確運用大數(shù)據(jù)的策略建議。

與聯(lián)合國對大數(shù)據(jù)價值的判斷相呼應(yīng)，倫敦智庫政策交易所也宣布大數(shù)據(jù)每年能為英國政府節(jié)省330億英鎊。聯(lián)合國的報告解釋了大數(shù)據(jù)如何幫助政府更好地響應(yīng)社會和經(jīng)濟指標變化，例如收入、失業(yè)、食品價格等。聯(lián)合國指出大數(shù)據(jù)時代已經(jīng)到來，人們?nèi)缃窨梢允褂玫臉O大豐富的數(shù)據(jù)資源，包括舊數(shù)據(jù)和新數(shù)據(jù)，來對社會人口進行前所未有的實時分析。