HBase內(nèi)存壓縮

概述

內(nèi)存壓縮（AKA Accordion）是hbase-2.0.0中的一項新功能。它首先在Accordion的Apache HBase博客上推出 ：通過內(nèi)存壓縮進行HBase Breathes。引用博客：

Accordion重新應用LSM主體[ Log-Structured-Merge Tree，HBase基于MemStore的設計模式，以便在數(shù)據(jù)仍在RAM中時消除冗余和其他開銷。這樣做可以降低刷新到HDFS的頻率，從而減少寫入放大和整個磁盤占用空間。由于刷新次數(shù)較少，因此MemStore溢出時寫入操作停止的頻率降低，因此寫入性能得到改善。磁盤上的數(shù)據(jù)越少，對塊緩存的壓力越小，命中率越高，最終讀取響應時間越長。最后，減少磁盤寫入也意味著在后臺執(zhí)行的壓縮更少，即從生產(chǎn)（讀取和寫入）工作中竊取的周期更少。總而言之，內(nèi)存壓縮的效果可以被設想為催化劑，使系統(tǒng)整體上移動得更快。

Accordion提供開發(fā)人員視圖：內(nèi)存壓縮的開發(fā)人員視圖。

內(nèi)存壓縮在大量數(shù)據(jù)流失時效果最佳；當數(shù)據(jù)仍在內(nèi)存中時，可以消除覆蓋或過度版本。如果寫入都是唯一的，則可能會拖動寫入吞吐量（內(nèi)存中壓縮成本CPU）。我們建議您在部署到生產(chǎn)之前進行測試和比較。