首(shou)頁大數據(ju)百科正文(wen)

一分快三计划

  下面是一張生(sheng)態圖(tu),主(zhu)要的(de)組件都是為了(liao)方便大家從底(di)層(ceng)的(de)MapReduce模型中(zhong)脫離出來(lai),用高(gao)層(ceng)語言(yan)來(lai)做分布式計算(suan),下文(wen)將分別為你作簡述。

一圖(tu)簡述大數據(ju)技術生(sheng)態圈

  1、HBase

  是一個高(gao)可靠性(xing)、高(gao)性(xing)yue)塴 嫦蛄小 繕燜醯de)分布式存儲系統(tong),利用HBase技術可在(zai)廉價PC Server上搭建起大規模結構化(hua)數據(ju)集群。像(xiang)Facebook,都拿meng)齟笮褪shi)時應(ying)用。

  2、Hive

  Facebook領(ling)導的(de)一個數據(ju)倉庫工具,可以將結構化(hua)的(de)數據(ju)文(wen)件映射(she)為一張數據(ju)庫表(biao),並提(ti)供(gong)完整的(de)sql查詢功能,可以將sql語句轉(zhuan)換為MapReduce任務進行(xing)運(yun)行(xing)。其(qi)優點是學習成本低,可以通過類SQL語句快速(su)實(shi)現簡單的(de)MapReduce統(tong)計。像(xiang)一些(xie)data scientist 就可以直接查詢,不(bu)需要學習其(qi)他(ta)編程接口。

  3、Pig

  Yahoo開發的(de),並行(xing)地執行(xing)數據(ju)流處(chu)理(li)的(de)引擎(qing),它包含了(liao)一種腳本語言(yan),稱為Pig Latin,用來(lai)描述這些(xie)數據(ju)流。Pig Latin本身提(ti)供(gong)了(liao)許多(duo)傳統(tong)的(de)數據(ju)操作,同時允(yun)許用戶自己開發一些(xie)自定義函數用來(lai)讀取、處(chu)理(li)和寫數據(ju)。在(zai)LinkedIn也(ye)是大量(liang)使用。

  4、Cascading/Scalding

  Cascading是Twitter收購(gou)的(de)一個公司技術,主(zhu)要是提(ti)供(gong)數據(ju)管道的(de)一些(xie)抽象(xiang)接口,然後又推出了(liao)基于Cascading的(de)Scala版本就叫Scalding。Coursera是用Scalding作為MapReduce的(de)編程接口放在(zai)Amazon的(de)EMR運(yun)行(xing)。

  5、Zookeeper

  一個分布式的(de),開放源(yuan)碼的(de)分布式應(ying)用程序(xu)協調服務,是Google的(de)Chubby一個開源(yuan)的(de)實(shi)現。

  6、Oozie

  一個基于工作流引擎(qing)的(de)mu) yuan)框架。由Cloudera公司貢獻給(gei)Apache的(de),它能夠提(ti)供(gong)對(dui)Hadoop MapReduce和Pig Jobs的(de)任務調度與協調。

  7、Azkaban

  跟(gen)上面很像(xiang),Linkedin開源(yuan)的(de)面向Hadoop的(de)mu) yuan)工作流系統(tong),提(ti)供(gong)了(liao)類似于cron 的(de)管理(li)任務。

  8、Tez

  Hortonworks主(zhu)推的(de)優化(hua)MapReduce執行(xing)引擎(qing),與MapReduce相比較,Tez在(zai)性(xing)yue)芊矯娓映鏨 /p>

  注︰本文(wen)由ETHINK提(ti)供(gong),作者︰不(bu)可錯過的(de)大數據(ju),版權著作權屬(shu)原創者所有,編輯︰Fynlch(王培),數據(ju)觀微信公眾號(ID:cbdioreview),欲了(liao)解更多(duo)大數據(ju)行(xing)業相關資訊(xun),可搜索數據(ju)觀(中(zhong)國大數據(ju)產(chan)業觀察網(wang)www.cbdio.com)進入查看。

責(ze)任編輯︰王培

分享︰
延伸閱(yue)讀
    速(su)讀區塊鏈(lian)
    貴州

    貴州大數據(ju)產(chan)業政策(ce)

    貴州大數據(ju)產(chan)業動態

    更多(duo)
    大數據(ju)概念_大數據(ju)分析_大數據(ju)應(ying)用_大數據(ju)百科專題(ti)
    企業
    更多(duo)
    一分快三计划 | 下一页