HBase:存儲中型對象(MOB)

2018-07-05 14:37 更新

存儲中型對象(MOB)

數(shù)據(jù)有多種大小,并且在HBase中保存所有數(shù)據(jù)(包括圖像和文檔等二進制數(shù)據(jù))是理想的選擇。雖然HBase在技術上可以處理大小超過100 KB的單元格的二進制對象,但HBase的正常讀取和寫入路徑針對小于100KB的值進行了優(yōu)化。當HBase處理超過此閾值的大量對象(此處稱為中型對象或MOB)時,由于拆分和壓縮引起的寫入放大,性能會降低。使用MOB時,理想情況下,您的對象將介于100KB和10MB之間(請參閱常見問題解答)。HBase FIX_VERSION_NUMBER增加了對更好地管理大量MOB的支持,同時保持了性能,一致性和低運營開銷。MOB支持是由HBASE-11339完成的工作提供的。要利用MOB,您需要使用HFile版本3。(可選)為每個RegionServer配置MOB文件讀取器的緩存設置(請參閱配置MOB緩存),然后配置特定列以保存MOB數(shù)據(jù)。客戶端代碼無需更改即可利用HBase MOB支持。該功能對客戶端是透明的。

MOB壓縮

在MemStore刷新后,MOB數(shù)據(jù)被刷新到MOB文件中。一段時間后會有很多MOB文件。為了減少MOB文件數(shù)量,有一個周期性任務可以將小型MOB文件壓縮成大型MOB文件(MOB壓縮)。

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號