FB“大數(shù)據(jù)”45天耗100萬(wàn):不是所有公司都需要

　　也許你并不需要大數(shù)據(jù)

　　2012年“大數(shù)據(jù)”的發(fā)展如火如荼，然而本文的作者，數(shù)據(jù)分析公司SiSense副總裁Bruno Aziza卻認(rèn)為并不是每個(gè)人都需要大數(shù)據(jù)。

　　“大數(shù)據(jù)”無(wú)處不在。從社交媒體初創(chuàng)公司到紐約的中央公園，每個(gè)公司似乎都在部署大數(shù)據(jù)分析。

　　著名數(shù)據(jù)分析公司Gartner的數(shù)據(jù)似乎也在證明這一點(diǎn)：最近的一份報(bào)告顯示，大數(shù)據(jù)將帶動(dòng)2012年全球280億美元的IT支出，到2016年這個(gè)數(shù)字將超過(guò)2300億美元。2300億美元幾乎是葡萄牙全年的國(guó)內(nèi)生產(chǎn)總值。

　　但是，你需要花大價(jià)錢(qián)來(lái)部署大數(shù)據(jù)技術(shù)解決方案。大多數(shù)公司都沒(méi)有這么多IT預(yù)算，也請(qǐng)不起數(shù)據(jù)科學(xué)家或者數(shù)據(jù)分析團(tuán)隊(duì)。

　　如果那些提供大數(shù)據(jù)服務(wù)的公司想為各種規(guī)模的企業(yè)提供服務(wù)，那么有幾個(gè)問(wèn)題必須認(rèn)識(shí)到并加以解決。

　　大數(shù)據(jù)太貴了！

　　您可能聽(tīng)說(shuō)過(guò)那些使用大數(shù)據(jù)的輝煌案例：Facebook每天要存儲(chǔ)大約100TB的用戶(hù)數(shù)據(jù)；NASA每天要處理約24TB的數(shù)據(jù)。這些數(shù)字確實(shí)令人印象深刻。

　　那么處理這些數(shù)據(jù)所需的成本是多少呢？按照亞馬遜Redshift的定價(jià)，NASA需要為45天數(shù)據(jù)存儲(chǔ)服務(wù)支付超過(guò)100萬(wàn)美元。

　　根據(jù)最近的一項(xiàng)調(diào)查，大多數(shù)企業(yè)的CIO稱(chēng)他們的預(yù)算支付不起大數(shù)據(jù)部署的成本。數(shù)據(jù)存儲(chǔ)和處理的成本實(shí)在太高，我們需要尋求其他的解決方案，讓規(guī)模較小的公司不被“大數(shù)據(jù)”拒之門(mén)外。

　　大數(shù)據(jù)的關(guān)鍵不是“大”

　　目前全球最大的科技公司都需要和PB級(jí)規(guī)模的數(shù)據(jù)打交道。然而，SAP的研究表明，95%的企業(yè)通常只需要使用0.5TB到40TB的數(shù)據(jù)。

　　Facebook和NASA的例子是個(gè)例外，而不是常態(tài)。事實(shí)是，處理數(shù)據(jù)并不是大公司的專(zhuān)利。如果你研究一下美國(guó)公司的規(guī)模，你會(huì)發(fā)現(xiàn)有超過(guò)50000家公司只有20至500名員工，其中大部分都有解決數(shù)據(jù)問(wèn)題的需求。所以大數(shù)據(jù)市場(chǎng)最大的需求并不是來(lái)自那些《財(cái)富》50強(qiáng)的大企業(yè)，而是來(lái)自《財(cái)富》500000強(qiáng)。為什么我們只關(guān)注那些少數(shù)的例外，而忽視了那些大多數(shù)有數(shù)據(jù)處理需求，但既不是《財(cái)富》50強(qiáng)也沒(méi)有PB級(jí)規(guī)模數(shù)據(jù)的公司？

　　有時(shí)候我在想，如果我們改變了大數(shù)據(jù)的定義會(huì)發(fā)生什么？通常人們用3V(velocity，volume，variety)來(lái)描述大數(shù)據(jù)，我們不妨換一個(gè)說(shuō)法：“大數(shù)據(jù)是一種主觀狀態(tài)，它描述的是一個(gè)公司的基礎(chǔ)架構(gòu)無(wú)法滿(mǎn)足其數(shù)據(jù)處理需求時(shí)的情形。”

　　這個(gè)定義可能沒(méi)有那么光鮮，但它肯定會(huì)更接近今天的現(xiàn)實(shí)。