2009年，在甲型h1n1流感爆發(fā)的幾周前，谷歌的工程師們在《自然》雜志上發(fā)表了一篇令人矚目的論文，工程師們在文中探討了谷歌為什么能夠準(zhǔn)確地預(yù)測冬季流感的傳播情況。
谷歌的這套預(yù)測系統(tǒng)的重點(diǎn)不在于提供有效的解決方案，它唯一關(guān)注的就是特定檢索詞條的使用頻率與疾病在時間和空間上的傳播之間的聯(lián)系，比如某地在某段時間上對某種疾病解決方案的搜索頻率越高，那么某地某種疾病在某段時間內(nèi)流行的概率就越大，同時谷歌還利用龐大的歷史檢索數(shù)據(jù)來完成對已發(fā)生事件的驗(yàn)證式“預(yù)測”，通過不斷地調(diào)整預(yù)測的數(shù)學(xué)模型使之更加符合事實(shí)真相，從而提升該預(yù)測系統(tǒng)的準(zhǔn)確率，以更好地完成對未來事件的預(yù)測。
事實(shí)證明了谷歌利用龐大的搜索數(shù)據(jù)進(jìn)行趨勢預(yù)測的準(zhǔn)確性，在2009年甲型h1n1流感爆發(fā)的時候，相比官方數(shù)據(jù)習(xí)慣性滯后的毛病，谷歌成為一個更為及時且更有效的指示標(biāo)。
大數(shù)據(jù)與云計算，相伴相隨的最佳“伴侶”
谷歌的這套預(yù)測系統(tǒng)就是一個典型的基于大數(shù)據(jù)技術(shù)完成的成功案例。對于大數(shù)據(jù)的定義，目前業(yè)界并沒有形成一個一致的說法，麥肯錫全球研究所對大數(shù)據(jù)的定義為一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。
不管大數(shù)據(jù)的定義如何(筆者以為這不是重點(diǎn))，但其相對傳統(tǒng)數(shù)據(jù)庫而言的差別還是需要知悉的，那就是它比傳統(tǒng)數(shù)據(jù)庫的規(guī)模要大得多，這種大不僅僅體現(xiàn)在數(shù)據(jù)的量上，亦體現(xiàn)在數(shù)據(jù)類型上，這點(diǎn)不難理解，也正是這種規(guī)模與類型上的巨大差別，導(dǎo)致了大數(shù)據(jù)的價值密度相對傳統(tǒng)數(shù)據(jù)庫而言要小，這點(diǎn)不妨簡單地理解為在大數(shù)據(jù)的概念中，有價值的信息數(shù)據(jù)多，但無價值的信息數(shù)據(jù)同樣也多，這自然會稀釋大數(shù)據(jù)的價值密度了。
一般而言，在傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)中，企業(yè)的數(shù)據(jù)中心往往是最耗費(fèi)計算資源與財力的，大數(shù)據(jù)在數(shù)據(jù)量與數(shù)據(jù)類型成倍增長的情況下，對計算資源的索取自然就更變本加厲了，這對中小型企業(yè)而言，成本往往會成為其不能承受之重，此時，與大數(shù)據(jù)最為適配的搭檔就是云計算了!
云計算是通過讓任務(wù)(計算或數(shù)據(jù)處理等)分布在大量的分布式計算機(jī)上(這些分布式計算機(jī)是聯(lián)網(wǎng)的)，而非遠(yuǎn)程服務(wù)器或本地計算機(jī)上，讓這些分布式計算機(jī)形成一個資源池共同完成任務(wù)，這就相當(dāng)于把一份任務(wù)分給n個人做，而這個n究竟是多少是依據(jù)任務(wù)的難度而定的，云計算的優(yōu)勢顯而易見，不但可很好地解決計算資源不足的問題(對本地的計算資源需求很低，但對網(wǎng)絡(luò)的要求較高)，同時網(wǎng)絡(luò)上閑散的計算資源也被很好地利用起來，這正好滿足了大數(shù)據(jù)應(yīng)用對計算資源的龐大需求。
大數(shù)據(jù)如何改變我們的生活
大數(shù)據(jù)對我們?nèi)粘Ｉ畹母淖兪紫润w現(xiàn)在思維方式上，嚴(yán)格來說，大數(shù)據(jù)并非是一個確切的概念，說大數(shù)據(jù)是一種工具，一種新的思維方式也許更加準(zhǔn)確。大數(shù)據(jù)打破了人類之所以是人類的原因之一即邏輯思維方式，大數(shù)據(jù)不講究因果關(guān)系，而因果關(guān)系正是邏輯思維運(yùn)作的基礎(chǔ)，大數(shù)據(jù)講究的是相關(guān)性，由這個相關(guān)性可產(chǎn)生一系列的大數(shù)據(jù)的實(shí)際應(yīng)用。當(dāng)然大數(shù)據(jù)的本質(zhì)還是一種數(shù)據(jù)庫技術(shù)，那么傳統(tǒng)數(shù)據(jù)庫所具有的一些特性，大數(shù)據(jù)當(dāng)然也一個不少，比如數(shù)據(jù)分析，數(shù)據(jù)挖掘等等。
正如前文所言，大數(shù)據(jù)不講究因果關(guān)系，它更加關(guān)注事物的相關(guān)性，由著這個相關(guān)性誕生了一系列的新應(yīng)用，比如本文開頭言及谷歌對于流感的預(yù)測報告就是如此，此外與我們?nèi)粘Ｉ罡鼮橄⑾⑾嚓P(guān)的就是電子商務(wù)應(yīng)用了。
當(dāng)你在購物網(wǎng)站京東搜索了你想買的某類產(chǎn)品，或是你在京東上常常瀏覽某種類型的商品后，京東背后的大數(shù)據(jù)應(yīng)用會為你建立一個小的數(shù)據(jù)庫，這個數(shù)據(jù)庫涵蓋你以往的購物歷史數(shù)據(jù)、搜索記錄(搜索了什么類型的商品等)、瀏覽記錄(瀏覽了什么商品等數(shù)據(jù))，基本上你在京東上的行為都被一一記錄下來形成一個你私人的大數(shù)據(jù)，這對你而言是沒有意義的，對京東而言就意義重大了，京東會由此預(yù)測你在此時此刻可能對某些商品會感興趣。
京東不會關(guān)注你為什么會對這些商品感興趣，因?yàn)樵驅(qū)〇|而言沒有意義，京東關(guān)注的是如何把商品賣出去，你的興趣才是它的關(guān)注點(diǎn)，于是當(dāng)你在瀏覽其他網(wǎng)頁時(與京東合作的相關(guān)網(wǎng)站)，在該頁面的廣告欄便會輪番顯示你感興趣或者曾經(jīng)瀏覽過的商品，在大大提升廣告推廣效率的同時亦不會讓你反感(甚至某種你需求商品在其上的降價可激發(fā)你的感激之情)，除此之外，對商家而言，依據(jù)眾多用戶購買行為而建立的大數(shù)據(jù)，可有效地判斷某時某地大眾的消費(fèi)趨勢，為更好地實(shí)施商業(yè)戰(zhàn)略規(guī)劃提供參考。
大數(shù)據(jù)在城市智能交通上的應(yīng)用正是基于其在數(shù)據(jù)分析與挖掘之上的。記錄一座城市一天24小時的交通數(shù)據(jù)信息是一項龐大的工程，一個完善的城市交通大數(shù)據(jù)(這些數(shù)據(jù)主要來自城市各個干道上所安裝的智能化視頻監(jiān)控系統(tǒng)、停車場的智能卡口系統(tǒng)、地鐵公交系統(tǒng)的刷卡記錄等)系統(tǒng)應(yīng)該將這些數(shù)據(jù)悉數(shù)記錄，這些數(shù)據(jù)包括城市各個路段上實(shí)時的交通流量信息(如各個路段上事實(shí)的交通擁堵情況，單位時間的車流量，甚至某輛車由某位置到達(dá)某位置預(yù)計所需要的時間等等)、歷史交通信息的存儲與查詢等，城市交通大數(shù)據(jù)系統(tǒng)會依據(jù)相應(yīng)的數(shù)據(jù)模型展開數(shù)據(jù)分析與挖掘，并將分析報告的結(jié)果實(shí)時呈現(xiàn)出來，這些實(shí)時的交通信息報告給城市的交管部門更為良好的管理整個城市的交通運(yùn)作提供最有價值的決策依據(jù)。
也許大數(shù)據(jù)應(yīng)用對城市智能交通管理系統(tǒng)更大的價值在于一旦城市交通出現(xiàn)緊急情況，比如出現(xiàn)交通事故時，肇事司機(jī)駕車逃逸，此時管理部門啟動整個交通平臺的大數(shù)據(jù)技術(shù)對罪犯進(jìn)行追捕將變得極為有效：在基本確定了在某個時間段內(nèi)某地段所發(fā)生的交通事故后，在周圍布置的智能視頻監(jiān)控系統(tǒng)可依據(jù)該逃逸車輛的特征(車的類型、顏色、逃逸司機(jī)的特征，車牌號中包括了哪些數(shù)字等)迅速地確定該逃逸車輛的車牌號，依據(jù)車牌號再確定司機(jī)姓名(即使有時不是車輛所有者本人亦無關(guān)系，依然可作為案件偵查的重要線索)，此時該范圍內(nèi)所有布置的智能視頻監(jiān)控系統(tǒng)(可依據(jù)監(jiān)控物特征進(jìn)行識別)將悉數(shù)處于戒備狀態(tài)，一旦該車輛從其“眼皮”底下溜過時即會觸發(fā)報警，該報警會自動上傳至城市智能交通管理系統(tǒng)，系統(tǒng)在完成位置的確定后即可實(shí)施抓捕，大數(shù)據(jù)在整個運(yùn)作過程中扮演了幕后英雄的角色，最終將犯罪分子繩之以法!
大數(shù)據(jù)本質(zhì)是一種工具，其價值在于人類如何利用它
盡管大數(shù)據(jù)的存在不露聲色，但它與我們的生活已密不可分，它就像一只看不見的手，在一定程度上操控著我們的生活。當(dāng)你瀏覽網(wǎng)頁時，大數(shù)據(jù)會依據(jù)你的喜好向你推薦感興趣的商品，你不討厭，你甚至欣喜若狂，因?yàn)槟惆l(fā)現(xiàn)看上的某商品在低價出售，也許事后你又會恨得咬牙切齒，怪自己不該沖動剁手，買了一件用不上的東西，但大數(shù)據(jù)卻扎扎實(shí)實(shí)地改變了你的生活。事實(shí)上，在你網(wǎng)購的同時，你的購買行為本身亦成為網(wǎng)站大數(shù)據(jù)應(yīng)用的一部分，正是這許許多多的一部分成就了大數(shù)據(jù)應(yīng)用的基礎(chǔ)。
太陽底下無新事，大數(shù)據(jù)亦如此，它不追究事物的原因，不講究因果關(guān)系，但它把事物的相關(guān)性發(fā)揮得淋漓盡致，正是基于此，它建立了許許多多成功的商業(yè)應(yīng)用，但這些商業(yè)應(yīng)用成功的真正原因卻不在大數(shù)據(jù)本身，而是人類自身所具備的智慧造就，誠如本文開頭所言，谷歌收集的數(shù)據(jù)只是用戶的檢索數(shù)據(jù)，是谷歌的工程師們發(fā)現(xiàn)了用戶檢索與流感之間的聯(lián)系才產(chǎn)生了后來大數(shù)據(jù)具備的預(yù)測性應(yīng)用，一句話，大數(shù)據(jù)的本質(zhì)只是一種工具，如何用好這個工具，還得仰仗人類自身的智慧了!