——呂天文

    一、大數(shù)據(jù)市場規(guī)模與特征分析

    大數(shù)據(jù)產(chǎn)業(yè)是指對互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、運(yùn)營商等渠道產(chǎn)生的大量數(shù)據(jù)資源進(jìn)行快速獲取、收集存儲、價值提煉、智能處理和分發(fā)，從而用于企業(yè)決策支持等方面的信息服務(wù)業(yè)。

    大數(shù)據(jù)全生命周期可以劃分為”數(shù)據(jù)產(chǎn)生--數(shù)據(jù)采集--數(shù)據(jù)傳輸--數(shù)據(jù)存儲--數(shù)據(jù)處理--數(shù)據(jù)分析--數(shù)據(jù)發(fā)布、展示和應(yīng)用--產(chǎn)生新數(shù)據(jù)”等階段。因此，大數(shù)據(jù)產(chǎn)業(yè)鏈主要包括數(shù)據(jù)源層、數(shù)據(jù)存儲平臺層、數(shù)據(jù)分析和挖掘?qū)右约按髷?shù)據(jù)應(yīng)用層。大數(shù)據(jù)應(yīng)用層主要分布在互聯(lián)網(wǎng)、電信、金融、零售和政府等行業(yè)，和企業(yè)用戶的業(yè)務(wù)更加結(jié)合得緊密，通過大數(shù)據(jù)分析實(shí)現(xiàn)商業(yè)智能(BI)、決策支持和用戶需求挖掘等應(yīng)用價值。

圖1 大數(shù)據(jù)產(chǎn)業(yè)鏈分析

數(shù)據(jù)來源: ICTresearch

    由于中國互聯(lián)網(wǎng)業(yè)務(wù)規(guī)模和移動終端數(shù)量的快速增長，業(yè)務(wù)數(shù)據(jù)和交互信息的爆炸式增長，中國大數(shù)據(jù)應(yīng)用開始進(jìn)入發(fā)展元年，應(yīng)用市場規(guī)模增長提速。根據(jù)ICTresearch的研究顯示，2012年，中國大數(shù)據(jù)應(yīng)用市場規(guī)模為4.5億元，同比增長40.6%。

    表1 2010-2012年中國大數(shù)據(jù)應(yīng)用市場規(guī)模與增長

數(shù)據(jù)來源: ICTresearch

圖2 2010-2012年中國大數(shù)據(jù)應(yīng)用市場規(guī)模與增長

數(shù)據(jù)來源: ICTresearch

    二、當(dāng)前大數(shù)據(jù)相關(guān)政策分析

    大數(shù)據(jù)是一個具有國家戰(zhàn)略意義的新興產(chǎn)業(yè)，正受到政府的高度關(guān)注。2012年5月，國務(wù)院頒發(fā)了《”十二五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》，提出高端軟件和新興信息服務(wù)產(chǎn)業(yè)發(fā)展目標(biāo)：加強(qiáng)以網(wǎng)絡(luò)化操作系統(tǒng)、海量數(shù)據(jù)處理軟件等為代表的基礎(chǔ)軟件、云計算軟件、工業(yè)軟件、智能終端軟件、信息安全軟件等關(guān)鍵軟件的開發(fā)，推動大型信息資源庫建設(shè)，積極培育云計算服務(wù)、電子商務(wù)服務(wù)等新興服務(wù)業(yè)態(tài)，促進(jìn)信息系統(tǒng)集成服務(wù)向產(chǎn)業(yè)鏈前后端延伸，推進(jìn)網(wǎng)絡(luò)信息服務(wù)體系變革轉(zhuǎn)型和信息服務(wù)的普及，利用信息技術(shù)發(fā)展數(shù)字內(nèi)容產(chǎn)業(yè)，提升文化創(chuàng)意產(chǎn)業(yè)，促進(jìn)信息化與工業(yè)化的深度融合。在關(guān)鍵技術(shù)開發(fā)方面，開展移動智能終端軟件、網(wǎng)絡(luò)化計算平臺與支撐軟件、智能海量數(shù)據(jù)處理相關(guān)軟件研發(fā)和產(chǎn)業(yè)化。

    2012年2月，工信部發(fā)布《物聯(lián)網(wǎng)”十二五”發(fā)展規(guī)劃》，把“加強(qiáng)處理技術(shù)研究”作為核心技術(shù)攻關(guān)之一，提出：重點(diǎn)支持適用于物聯(lián)網(wǎng)的海量信息存儲和處理，以及數(shù)據(jù)挖掘、圖像視頻智能分析等技術(shù)的研究，支持?jǐn)?shù)據(jù)庫、系統(tǒng)軟件、中間件等技術(shù)的開發(fā)，推動軟硬件操作界面基礎(chǔ)軟件的研究。將“信息處理技術(shù)”列為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一，包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析。另外三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也是大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分，與大數(shù)據(jù)產(chǎn)業(yè)發(fā)展密切相關(guān)。

    2013年，國務(wù)院發(fā)布《關(guān)于推進(jìn)物聯(lián)網(wǎng)有序健康發(fā)展的指導(dǎo)意見》，提出加快傳感器網(wǎng)絡(luò)、智能終端、大數(shù)據(jù)處理、智能分析、服務(wù)集成等關(guān)鍵技術(shù)研發(fā)創(chuàng)新，推進(jìn)物聯(lián)網(wǎng)與新一代移動通信、云計算、下一代互聯(lián)網(wǎng)、衛(wèi)星通信等技術(shù)的融合發(fā)展。重視信息資源的智能分析和綜合利用，避免重數(shù)據(jù)采集、輕數(shù)據(jù)處理和綜合應(yīng)用。

    自2012年，國家已經(jīng)陸續(xù)出臺了與大數(shù)據(jù)應(yīng)用相關(guān)的產(chǎn)業(yè)規(guī)劃和政策，從不同側(cè)面在推動大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。然而，專門針對大數(shù)據(jù)發(fā)展尤其是基于互聯(lián)網(wǎng)應(yīng)用的社交大數(shù)據(jù)的政策規(guī)劃還沒有。為了充分利用大數(shù)據(jù)的價值，中國大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展需要上升到國家戰(zhàn)略層面，特別需要從政策制定、資源投入、人才培養(yǎng)等方面給予強(qiáng)有力的支持。企業(yè)與相關(guān)的新興產(chǎn)業(yè)和行業(yè)結(jié)合，通過相關(guān)產(chǎn)業(yè)的政策帶動大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展；另一方面是在國家政策的引導(dǎo)下，成立聯(lián)盟、建立專業(yè)組織，引導(dǎo)大數(shù)據(jù)政策提出和產(chǎn)業(yè)環(huán)境的建立。

    三、當(dāng)前主要技術(shù)發(fā)展趨勢分析

    在目前大數(shù)據(jù)發(fā)展背景下，數(shù)據(jù)存儲技術(shù)、處理技術(shù)、分析技術(shù)等在不斷創(chuàng)新和完善，開放的技術(shù)平臺和系統(tǒng)的發(fā)展主要呈現(xiàn)以下幾方面的趨勢：

    (1) 大數(shù)據(jù)的去冗降噪技術(shù)

    大數(shù)據(jù)一般都來自多個不同的源頭，而且往往以動態(tài)數(shù)據(jù)流的形式產(chǎn)生。因此，大數(shù)據(jù)中常常包含有不同形態(tài)的噪聲數(shù)據(jù)。另外，數(shù)據(jù)采樣算法缺陷與設(shè)備故障也可能會導(dǎo)致大數(shù)據(jù)的噪聲。大數(shù)據(jù)的冗余則通常來自兩個方面：一方面，大數(shù)據(jù)的多源性導(dǎo)致了不同源頭的數(shù)據(jù)中存在有相同的數(shù)據(jù)，從而造成數(shù)據(jù)的絕對冗余；另一方面，就具體的應(yīng)用需求而言，大數(shù)據(jù)可能會提供超量特別是超精度的數(shù)據(jù)，這又形成數(shù)據(jù)的相對冗余。降低噪聲、消除冗余是提高數(shù)據(jù)質(zhì)量、降低數(shù)據(jù)存儲成本的基礎(chǔ)。

    (2) 大數(shù)據(jù)的新型表示方法

    目前，表示數(shù)據(jù)的方法不一定能直觀地展現(xiàn)出大數(shù)據(jù)本身的意義。要想有效利用數(shù)據(jù)并挖掘其中的信息或知識，必須找到最合適的數(shù)據(jù)表示方法。數(shù)據(jù)表示方法和最初的數(shù)據(jù)產(chǎn)生者有著密切關(guān)系。如果原始數(shù)據(jù)有必要的標(biāo)識，就會大大減輕事后數(shù)據(jù)識別和分類的困難。但標(biāo)識數(shù)據(jù)會給用戶增添麻煩，往往得不到用戶認(rèn)可。研究既有效又簡易的數(shù)據(jù)表示方法是處理網(wǎng)絡(luò)大數(shù)據(jù)必須解決的技術(shù)難題之一。

    (3) 高效率低成本的大數(shù)據(jù)存儲

    大數(shù)據(jù)的存儲方式不僅影響其后的數(shù)據(jù)分析處理效率也影響數(shù)據(jù)存儲的成本。因此，需要研究多源多模態(tài)數(shù)據(jù)高質(zhì)量獲取與整合的理論和技術(shù)、流式數(shù)據(jù)的高速索引創(chuàng)建與存儲、錯誤自動檢測與修復(fù)的理論和技術(shù)、低質(zhì)量數(shù)據(jù)上的近似計算的理論和算法等，實(shí)現(xiàn)高效率低成本的數(shù)據(jù)存儲方式。

    (4) 非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效處理

    目前，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)在整個大數(shù)據(jù)中占有相當(dāng)大的比重，而關(guān)系數(shù)據(jù)庫系統(tǒng)的出發(fā)點(diǎn)是追求高度的數(shù)據(jù)一致性和容錯性，因此，傳統(tǒng)的關(guān)系數(shù)據(jù)庫技術(shù)無法勝任這些數(shù)據(jù)的處理。系統(tǒng)的高擴(kuò)展性是大數(shù)據(jù)分析最重要的需求，必須尋找高擴(kuò)展性的數(shù)據(jù)分析技術(shù)。以MapReduce 和Hadoop為代表的非關(guān)系數(shù)據(jù)分析技術(shù)，以其適合非結(jié)構(gòu)數(shù)據(jù)處理、大規(guī)模并行處理、簡單易用等突出優(yōu)勢，在互聯(lián)網(wǎng)信息搜索和其他大數(shù)據(jù)分析領(lǐng)域取得了重大進(jìn)展，已成為大數(shù)據(jù)分析的主流技術(shù)。然而，MapReduce 和Hadoop 在應(yīng)用性能等方面還存在不少問題，還需要研究開發(fā)更有效、更實(shí)用的大數(shù)據(jù)分析和管理技術(shù)來適應(yīng)大數(shù)據(jù)分析方面的技術(shù)需求。

    (5) 適合不同行業(yè)的大數(shù)據(jù)挖掘分析工具和開發(fā)環(huán)境

    不同行業(yè)需要不同的大數(shù)據(jù)分析工具和開發(fā)環(huán)境，而當(dāng)前跨領(lǐng)域跨行業(yè)的數(shù)據(jù)共享仍存在大量壁壘，海量數(shù)據(jù)的收集，特別是相關(guān)領(lǐng)域的數(shù)據(jù)收集和共享仍然存在很大挑戰(zhàn)。通過在分析工具和開發(fā)環(huán)境上創(chuàng)新，實(shí)現(xiàn)跨領(lǐng)域的數(shù)據(jù)分析，從而提升不同行業(yè)和領(lǐng)域數(shù)據(jù)挖掘的價值。

    四、2013-2017年度大數(shù)據(jù)市場規(guī)模預(yù)測分析

    未來5年，中國將迎來大數(shù)據(jù)的快速發(fā)展，根據(jù)ICTresearch的研究顯示，2013年，中國大數(shù)據(jù)市場規(guī)模將達(dá)到7.8億元，同比增長73.3%；2017年，中國大數(shù)據(jù)市場規(guī)模有望達(dá)到184.3億元。

    表2 2013-2017年中國大數(shù)據(jù)市場規(guī)模與增長預(yù)測

數(shù)據(jù)來源: ICTresearch

圖3 2013-2017年中國大數(shù)據(jù)市場規(guī)模與增長預(yù)測

數(shù)據(jù)來源: ICTresearch

    五、業(yè)務(wù)發(fā)展建議

    1 差異化對待處于不同應(yīng)用階段的客戶需求

    通過研究可以看到，企業(yè)中即擁有規(guī)模化的數(shù)據(jù)獲取來源又具備主流和核心技術(shù)能力進(jìn)行大數(shù)據(jù)分析挖掘的廠商并不多。大部分廠商仍然處在擁有大量數(shù)據(jù)而沒有有效利用的階段，這就為大數(shù)據(jù)整合和分析方面具有優(yōu)勢的廠商提供了廣闊的市場機(jī)會。

    根據(jù)研究企業(yè)的調(diào)研結(jié)果看，可以分為三類：

    第一類企業(yè)：企業(yè)技術(shù)實(shí)力比較強(qiáng)，信息化建設(shè)和技術(shù)投入較高，已經(jīng)認(rèn)識到大數(shù)據(jù)的應(yīng)用價值，在大數(shù)據(jù)方面有了一定的研究基礎(chǔ)，例如沃爾瑪、華為和富士康等。針對這類企業(yè)的機(jī)會就在于對大數(shù)據(jù)的外圍產(chǎn)品和應(yīng)用方面建立聯(lián)系和溝通，從大數(shù)據(jù)企業(yè)具有優(yōu)勢的產(chǎn)品和服務(wù)方面對客戶產(chǎn)生影響，能夠進(jìn)一步幫助客戶彌補(bǔ)自身技術(shù)方面的不足，尤其是服務(wù)方面，企業(yè)自身的應(yīng)用服務(wù)能力和運(yùn)維水平限制將成為大數(shù)據(jù)企業(yè)客戶開拓方面的重要機(jī)會。

    第二類企業(yè)：企業(yè)基于業(yè)務(wù)的發(fā)展建立了比較完善的信息系統(tǒng)，企業(yè)內(nèi)部的生產(chǎn)、銷售和外部運(yùn)營數(shù)據(jù)比較豐富完善，有大數(shù)據(jù)應(yīng)用意識，但還沒有對數(shù)據(jù)進(jìn)行深入的挖掘利用，主要有聯(lián)想、蘇寧、家樂福、蒙牛、王府井百貨等。針對這類企業(yè)，大數(shù)據(jù)企業(yè)的機(jī)會空間比較大，可以結(jié)合目前已有信息系統(tǒng)的對接，收集和整理企業(yè)現(xiàn)有數(shù)據(jù)，利用大數(shù)據(jù)企業(yè)核心的大數(shù)據(jù)分析利用技術(shù)，對經(jīng)營相關(guān)的結(jié)構(gòu)化數(shù)據(jù)和營銷相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行整合分析，從經(jīng)營改善提升的角度為企業(yè)提供整體的大數(shù)據(jù)解決方案，既可以實(shí)現(xiàn)大數(shù)據(jù)業(yè)務(wù)的整合又可以帶動大數(shù)據(jù)企業(yè)相關(guān)產(chǎn)品的小時機(jī)會，從整體上幫助企業(yè)把握大數(shù)據(jù)時代的發(fā)展機(jī)遇，成為企業(yè)信息建設(shè)和發(fā)展決策性的關(guān)鍵環(huán)節(jié)。

    第三類企業(yè)：企業(yè)目前的經(jīng)營雖然有一定規(guī)模，但是信息化建設(shè)還不完善，技術(shù)實(shí)力不強(qiáng)，主要依靠專業(yè)的IT產(chǎn)生提供服務(wù)，基本沒有建立大數(shù)據(jù)的應(yīng)用意識，主要有百聯(lián)、華潤萬家、愛國者、俏江南等企業(yè)。針對這類企業(yè)，大數(shù)據(jù)企業(yè)可以先從其信息化建設(shè)現(xiàn)狀入手，分析信息化對業(yè)務(wù)提升的幫助，提高企業(yè)對信息化的重視程度，為企業(yè)提供有關(guān)云平臺、大數(shù)據(jù)方面建設(shè)的產(chǎn)品和解決方案，逐步完善客戶在數(shù)據(jù)采集、管理、分析和利用方面的意識，引導(dǎo)客戶的大數(shù)據(jù)業(yè)務(wù)需求。從前期介入持續(xù)跟進(jìn)后幫助企業(yè)建立起數(shù)據(jù)中心-云平臺應(yīng)用-大數(shù)據(jù)應(yīng)用等一系列的應(yīng)用模式。

    總的來看，第二類企業(yè)是大數(shù)據(jù)企業(yè)目前需要重點(diǎn)關(guān)注的客戶目標(biāo)，這類目標(biāo)有意識、有能力、有需求，是比較好開拓，能夠快速見到成效的客戶。但由于目前國外廠商在大數(shù)據(jù)方面的布局越來越完善，大數(shù)據(jù)企業(yè)需要更加突出自身在已有產(chǎn)品方面的競爭力，提出大數(shù)據(jù)創(chuàng)新的技術(shù)和應(yīng)用模式，才能在這類企業(yè)中建立獨(dú)特的競爭優(yōu)勢。

    2 加快關(guān)鍵技術(shù)和新興數(shù)據(jù)處理技術(shù)研發(fā)

    大數(shù)據(jù)的技術(shù)門檻較高，目前在大數(shù)據(jù)領(lǐng)域展開競爭的信息技術(shù)企業(yè)多是在數(shù)據(jù)存儲、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢的廠商。為實(shí)現(xiàn)產(chǎn)業(yè)升級，需要加強(qiáng)關(guān)鍵技術(shù)和新興技術(shù)的研發(fā)。以數(shù)據(jù)分析技術(shù)為核心，加強(qiáng)人工智能、商業(yè)智能、機(jī)器學(xué)習(xí)等領(lǐng)域的理論研究和技術(shù)研發(fā)，全面提升非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)、非關(guān)系型數(shù)據(jù)庫管理技術(shù)、可視化技術(shù)等基礎(chǔ)技術(shù)研發(fā)水平，推動與云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等技術(shù)的融合，加強(qiáng)網(wǎng)頁搜索技術(shù)、知識計算(搜索)技術(shù)、知識庫技術(shù)等核心技術(shù)的研發(fā)，開發(fā)出高質(zhì)量的單項(xiàng)技術(shù)產(chǎn)品，并與數(shù)據(jù)處理技術(shù)相結(jié)合，為實(shí)現(xiàn)商業(yè)智能服務(wù)提供技術(shù)體系支撐。

    3 提升大數(shù)據(jù)分析產(chǎn)品和服務(wù)水平

    推動以企業(yè)為核心的產(chǎn)學(xué)研用合作，利用本土語言優(yōu)勢，結(jié)合云計算技術(shù)與服務(wù)，鼓勵軟硬件企業(yè)和服務(wù)企業(yè)應(yīng)用新型技術(shù)，與信息內(nèi)容服務(wù)相結(jié)合，面向?qū)嶋H的大數(shù)據(jù)應(yīng)用提供具有行業(yè)特色的系統(tǒng)集成解決方案和數(shù)據(jù)分析服務(wù)。基于開源、開放操作系統(tǒng)或應(yīng)用平臺，整合優(yōu)勢資源，以有基礎(chǔ)優(yōu)勢的數(shù)據(jù)處理軟件商牽頭，統(tǒng)合各方技術(shù)優(yōu)勢與數(shù)據(jù)優(yōu)勢，形成完整、可實(shí)用的數(shù)據(jù)分析產(chǎn)品，不斷提高服務(wù)內(nèi)容的精確度與匹配度，培育具有較高集成水平、較強(qiáng)市場能力的大數(shù)據(jù)解決方案提供商，為大數(shù)據(jù)在各行業(yè)領(lǐng)域的應(yīng)用提供成熟解決方案。

    4 加速推進(jìn)大數(shù)據(jù)示范領(lǐng)域的應(yīng)用水平

    未來，大數(shù)據(jù)將在互聯(lián)網(wǎng)、醫(yī)療、政府、零售等行業(yè)得到廣泛應(yīng)用和發(fā)展。面向數(shù)據(jù)量大的行業(yè)應(yīng)用領(lǐng)域，積極引導(dǎo)行業(yè)廠商參與，大力發(fā)展商業(yè)決策、數(shù)據(jù)分析、擴(kuò)展存儲等軟硬件一體化的行業(yè)應(yīng)用解決方案。同時，推動高科技領(lǐng)域的數(shù)據(jù)深加工服務(wù)，大力開發(fā)深度加工的行業(yè)數(shù)據(jù)庫和細(xì)分領(lǐng)域的專題數(shù)據(jù)庫，為行業(yè)用戶提供基于數(shù)據(jù)內(nèi)容的增值服務(wù)。對于政府城市建設(shè)的需求，加快推動大數(shù)據(jù)在智慧城市、平安城市建設(shè)的應(yīng)用，不斷提升數(shù)字內(nèi)容加工處理軟件等服務(wù)發(fā)展水平，提升城市管理的水平和政府部門的服務(wù)質(zhì)量。<