擁有MongoDB的大數據創業公司10gen日前宣布升級Hadoop連接器的(de)版本，新(xin)增了很(hen)多重要的(de)功能。其中包(bao)括對(dui)(dui)Hive(Hadoop的(de)類SQL查詢語言)的(de)支持和Hadoop對(dui)(dui)本地(di)MongoDB文(wen)件的(de)存(cun)儲能力(li)，以及(ji)在同一MongoDB數據集運行增量(liang)MapReduce作業的(de)能力(li)。
據10gen產品營銷(xiao)總監(jian)Kelly Stirman介紹，MongoDB的(de)Hadoop連接器已經發(fa)(fa)布一段時間了，應(ying)用也(ye)十分廣泛(fan)。上週二(er)(8月20日)的(de)升級是(shi)自2012年4月Hadoop連接器正式(shi)發(fa)(fa)布以來最重要的(de)一次更新。
也(ye)(ye)許很多人沒有發現，MongoDB和(he)(he)Hadoop在(zai)過(guo)去幾年裡(li)已經變(bian)得非常(chang)流行。 MongoDB之所(suo)以成(cheng)為很多網(wang)(wang)絡和(he)(he)移動(dong)應用的業務數據庫，是(shi)因為它支持(chi)JSON文件類型;Hadoop也(ye)(ye)成(cheng)為很多公司大(da)數據處理和(he)(he)分(fen)析的平臺，尤其是(shi)大(da)型網(wang)(wang)絡公司和(he)(he)財(cai)富500強(qiang)企業。 Kelly Stirman稱(cheng)這兩種技(ji)術往往同時部署在(zai)企業中。
▲上(shang)圖的右(you)側部分目前已(yi)加入Hive
Kelly Stirman 補充道，MongoDB連接器目前已(yi)經(jing)(jing)很受(shou)歡(huan)迎，因為它實(shi)際上(shang)是讓用戶在(zai)(zai)MongoDB數(shu)(shu)據(ju)庫中(zhong)處理數(shu)(shu)據(ju)，而不是把數(shu)(shu)據(ju)傳送到Hadoop中(zhong)進行處理。在(zai)(zai)現有(you)的(de)對MapReduce和Pig的(de)支持(chi)的(de)基礎之上(shang)新增了對Hive的(de)支持(chi)，能(neng)夠讓MongoDB更受(shou)歡(huan)迎。因為Hive擁有(you)類(lei)SQL查詢語(yu)言的(de)本質，通過這種連接(jie)器的(de)方式(shi)可以使公(gong)(gong)司(si)(si)更好的(de)利用Hadoop中(zhong)的(de)數(shu)(shu)據(ju)。數(shu)(shu)據(ju)庫創新公(gong)(gong)司(si)(si)Drawn to Scale也曾(ceng)增加過一個類(lei)似的(de)功能(neng)——基於MongoDB數(shu)(shu)據(ju)的(de)SQL查詢(SQL queries on MongoDB data)——但在(zai)(zai)今年初夏時，該公(gong)(gong)司(si)(si)已(yi)經(jing)(jing)倒(dao)閉(bi)。
在Hadoop分佈式文件(jian)系(xi)統(HDFS)中(zhong)新增對MongoDB本地BSON文件(jian)的(de)支持，意味著用(yong)戶可以將數(shu)據庫文件(jian)備份到Hadoop中(zhong)，同時可以在Hadoop里處理這些數(shu)據，避免(mian)在MongoDB集群中(zhong)增加回撤(che)的(de)負(fu)載。
Kelly Stirman將(jiang)MongoDB集合(he)上(shang)運行(xing)增量(liang)MapReduce更新(xin)(xin)的(de)(de)能力稱為(wei)“濃縮處理”。在(zai)(zai)(zai)這(zhe)之前，用戶(hu)只(zhi)能運行(xing)存儲在(zai)(zai)(zai)數(shu)據(ju)庫全新(xin)(xin)集合(he)中的(de)(de)MapReduce作(zuo)業(ye)。這(zhe)一名為(wei)“MongoUpdateWriteable”的(de)(de)新(xin)(xin)功能，能夠讓(rang)用戶(hu)在(zai)(zai)(zai)現(xian)有(you)集合(he)中運行(xing)MapReduce作(zuo)業(ye)。這(zhe)種(zhong)快捷的(de)(de)方式能夠捕捉MongoDB集合(he)每(mei)天(tian)的(de)(de)變(bian)化，而不是(shi)在(zai)(zai)(zai)每(mei)次運行(xing)MapReduce作(zuo)業(ye)時都對比輸出(chu)的(de)(de)變(bian)化或者查(cha)詢(xun)新(xin)(xin)的(de)(de)集合(he)。
數據庫行業專家(jia)可能(neng)會質(zhi)疑(yi)這些特性僅(jin)僅(jin)是(shi)(shi)改善現有(you)MongoDB-Hadoop生(sheng)態(tai)環境的功(gong)能(neng)性，或者它們是(shi)(shi)否將(jiang)以某種方式(shi)影響MongoDB的市場(chang)份額(e)。 Kelly Stirman認為可能(neng)是(shi)(shi)後者，至少(shao)對於已經使用Hadoop的公司(si)來說，MongoDB更有(you)吸(xi)引力。 10gen公司(si)在銷售(shou)週期中常常陷入與Cassandra和HBase的競爭中，但(dan)是(shi)(shi)現在“從本質(zhi)上(shang)說，這三(san)種數據庫對於Hadoop而言(yan)地位(wei)相當(dang)。”
地位相當(dang)?或(huo)許是這(zhe)樣的(de)(de)，至少人們願意用(yong)(yong)Hadoop的(de)(de)規(gui)模性彌補(bu)數據庫較低的(de)(de)可擴展性。當(dang)然根據不同(tong)應用(yong)(yong)的(de)(de)特點，企業用(yong)(yong)戶仍有充足的(de)(de)理由選擇MongoDB以外其他的(de)(de)NoSQL數據庫。
燦達連接器，HR鴻儒連接器