首頁大(da)數(shu)據百(bai)科正文(wen)

彩票哈尔滨快3

科普貼(tie)|大(da)數(shu)據產(chan)業鏈構成分析

?導讀?

  年末復習(xi)總結(jie),搬好小板凳,開(kai)講啦(la)~在大(da)數(shu)據崛(jue)起的2016年,你是不是听了許多(duo)關于數(shu)據分析、數(shu)據采集等碎片(pian)化詞匯?其實,大(da)數(shu)據產(chan)業是有邏輯(ji)可尋(xun)的,以(yi)下(xia)將(jiang)為你完(wan)整(zheng)透析大(da)數(shu)據產(chan)業鏈構成。

  大(da)數(shu)據的產(chan)業鏈構成分析如(ru)下(xia)圖所示,大(da)致可分為數(shu)據標準jia)牘娣丁a title="" href="/node_2786.htm" target="_blank">數(shu)據安(an)全、數(shu)據采集、數(shu)據存儲與管理、數(shu)據分析與挖掘、數(shu)據運維及數(shu)據應用幾個環節,覆蓋了數(shu)據從產(chan)生到應用的整(zheng)個生命周期。

科普貼(tie)|大(da)數(shu)據產(chan)業鏈構成分析

  數(shu)據標準jia)牘娣/strong>

  大(da)數(shu)據標準體(ti)系是開(kai)展大(da)數(shu)據應用的前提條件,沒(mei)有統一的標準體(ti)系,數(shu)據共享、分析、挖掘、決策支持將(jiang)無從談起。大(da)數(shu)據標準包括體(ti)系結(jie)構標準、數(shu)據格式與表示標準、組織管理標準、安(an)全標準和tui)啦(la)獗曜肌T詒曜薊 ㄉ璺矯媯 can)與單位(wei)主要包括中國電子技ji)醣曜薊 芯吭骸 韝鍪shu)據庫公司、數(shu)據擁有部門以(yi)及各個行業的標準化組織。

  二(er)數(shu)據安(an)全

  隨(sui)著海(hai)量數(shu)據的不斷增(zeng)加(jia),對數(shu)據存儲和訪問的安(an)全性要求(qiu)越來越高,從而(er)對數(shu)據的訪問控制技ji)酢 jia)密保護技ji)躋yi)及多(duo)副本與容災機制等提出(chu)了更高的要求(qiu)。

  另外(wai),由于大(da)數(shu)據處(chu)理主要采用分布ji)郊撲惴椒  zhe)必然面臨著數(shu)據傳輸、信息交(jiao)互等環節,如(ru)何在這(zhe)些環節中保護數(shu)據價值不泄露、信息不丟失,保護所有站點的安(an)全是大(da)數(shu)據發展面對的重大(da)挑戰。

  在大(da)數(shu)據時代,傳統的隱私數(shu)據內涵與外(wai)延有了巨大(da)突破和延伸,數(shu)據的多(duo)元(yuan)化與彼此的關聯(lian)性進一步(bu)發展,使得對單一數(shu)據的隱私保護方法變得極(ji)其脆弱,需要針對多(duo)元(yuan)數(shu)據融合的安(an)全提出(chu)。

  在數(shu)據安(an)全環節上xian)饕 can)與單位(wei)包括中國電子科技集團(tuan)公司第30研究所以(yi)及奇虎 360、瑞(rui)星等殺毒(du)軟件公司。

  數(shu)據采集

  政(zheng)府部門、以(yi) BAT 為代表的互聯(lian)網企業、運營商是當(dang)前大(da)數(shu)據的主要擁有者。除此之外(wai),利用網絡(luo)爬蟲或網站公開(kai) API 等途徑對網絡(luo)數(shu)據進行采集也(ye)是大(da)數(shu)據的主要來源。

  現(xian)實世界中的數(shu)據大(da)多(duo)不完(wan)整(zheng)或不一致,無法直接進行數(shu)據挖掘或挖掘結(jie)果(guo)不理想,需要對采集的數(shu)據進行填補(bu)、平(ping)jiao)  喜bing)、規格化、檢查一致性等數(shu)據預處(chu)理操作,並(bing)且往(wang)往(wang)需要大(da)量的人工(gong)參(can)與,因(yin)此數(shu)據采集和清洗成為大(da)數(shu)據產(chan)業鏈的一個重要環節。

  數(shu)據存儲與管理

  大(da)數(shu)據存儲與管理的主要參(can)與者以(yi)傳統數(shu)據庫企業為主,國際(ji)上xian)饕 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等;國內主要有中興、華為、用友、浪潮、托(tuo)爾思(si)、數(shu)據堂、九次方、億贊(zan)普、達夢等。各家企業針對大(da)數(shu)據應用開(kai)展各具特色的數(shu)據庫架構和數(shu)據組織管理研究,形成針對具體(ti)領域(yu)的產(chan)品(pin)。

  數(shu)據分析與挖掘

  大(da)數(shu)據分析與挖掘的意圖主要集中在兩(liang)方面︰

   一是從大(da)量的機構結(jie)構gou) 桶ban)結(jie)構gou) shu)據中分析出(chu)計算機可以(yi)理解的語(yu)義信息或知識;

   二(er)是對隱性的知識,如(ru)關聯(lian)情(qing)況(kuang)、意圖等進行挖掘。常用的方法包括分類、聚類、關聯(lian)規則挖掘、序列(lie)模式挖掘、時間序列(lie)分析預測等。

  數(shu)據分析與挖掘的核心算法與軟件主要掌握在大(da)型數(shu)據庫公司及高校(xiao)的手里,國際(ji)上xian)饕 can)與者包括 IBM、甲骨文(wen)、微軟、谷歌、亞馬遜、Facebook 等,國內主要參(can)與單位(wei)包括數(shu)據庫企業、高校(xiao)、以(yi) BAT 為代表的大(da)型互聯(lian)網企業等。數(shu)據分析與挖掘的能力直接決定了大(da)數(shu)據的應用推(tui)廣程度和範圍,是大(da)數(shu)據產(chan)業的核心。

  六(liu)數(shu)據運維

  由于數(shu)據的重要性得到普遍認(ren)可,除政(zheng)府部門不具備(bei)數(shu)據運維服務(wu)條件外(wai),數(shu)據的采集者通常就是數(shu)據運維者。各地政(zheng)府方面則通常利用大(da)數(shu)據平(ping)台建設來推(tui)動政(zheng)府大(da)數(shu)據的公開(kai)與共享,如(ru)雲上貴州,吸引(yin)個人和tui)笠滌沒(mei)?kai)展創新與創業,積極(ji)推(tui)動大(da)數(shu)據的增(zeng)值服務(wu)。

  七(qi)數(shu)據應用

  大(da)數(shu)據對傳統信息技ji)醮錘錈蘊粽劍 謚毓剮畔 際(ji)跆ti)系和產(chan)業格局。國內以(yi)阿里巴(ba)巴(ba)、百(bai)度、騰訊(xun)、人大(da)金(jin)倉、浪潮、曙(shu)光、南(nan)大(da)通用為代表的互聯(lian)網企業、雲計算和數(shu)據庫廠商紛(fen)紛(fen)加(jia)大(da)應用推(tui)廣力度,在國際(ji)先進的mu)kai)源大(da)數(shu)據技ji)躉∩希 緯啥du)自的大(da)數(shu)據平(ping)台構建和應用服務(wu)解決方案,以(yi)支撐不同行業不同領域(yu)的專業化應用。

  雖然這(zhe)些企業在平(ping)台構建上有著得天獨(du)厚的優勢,但是在某些具體(ti)業務(wu)領域(yu),並(bing)不擅(shan)長或者關切。傳統企業以(yi)及從事大(da)數(shu)據的微型企業是具體(ti)業務(wu)領域(yu)上大(da)數(shu)據應用的主力軍。應用是大(da)數(shu)據價值的體(ti)現(xian),是大(da)數(shu)據發展的原始ji)tui)動力。

  當(dang)前大(da)數(shu)據的應用正倒逼軟件技ji)酢?shu)據架構、數(shu)據共享方式的轉變,在轉變思(si)維過程中需要積極(ji)轉變思(si)維,明確(que)出(chu)數(shu)據共享的方式是什(shi)麼,數(shu)據擁有者的利益(yi)如(ru)何平(ping)衡,商業模式如(ru)何開(kai)展等。

  目(mu)前來看,許多(duo)企業在大(da)數(shu)據產(chan)業鏈里僅擁有一項或兩(liang)項能力是完(wan)全不夠(gou)的,只有將(jiang)大(da)數(shu)據產(chan)業鏈融合連通才能催生更大(da)的市場和利潤空間。在大(da)數(shu)據推(tui)動的商業革命浪潮中xiao) 揮寫蟯ㄊshu)據流通變現(xian)的商業模式,才能創造商業價值,從而(er)在大(da)數(shu)據驅動的新生代商業格局中脫穎(ying)而(er)出(chu)。

  注︰本文(wen)nan)凳shu)據觀(guan)綜合自ETHINK/不可錯過的大(da)數(shu)據、東(dong)湖大(da)數(shu)據,版權著作權屬原創者所有xiao) bian)輯(ji)︰Fynlch(王培(pei)),數(shu)據觀(guan)微信公眾號(ID:cbdioreview),欲了解更多(duo)大(da)數(shu)據行業相關資訊(xun),可搜索數(shu)據觀(guan)(中國大(da)數(shu)據產(chan)業觀(guan)察網www.cbdio.com)進入查看。

責任編(bian)輯(ji)︰王培(pei)

分享︰
延伸閱讀
    數(shu)博故事
    貴州

    貴州大(da)數(shu)據產(chan)業政(zheng)策

    貴州大(da)數(shu)據產(chan)業動態

    貴州大(da)數(shu)據企業

    更多(duo)
    大(da)數(shu)據概念_大(da)數(shu)據分析_大(da)數(shu)據應用_大(da)數(shu)據百(bai)科專題
    企業
    更多(duo)
    彩票哈尔滨快3 | 下一页