配置HBase和MapReduce

配置HBase和MapReduce

通常建議為HBase和MapReduce使用不同的集群。對此更好的限定條件是：不要配置一個 HBase，它提供重MR工作負載的實時請求。OLTP和OLAP優(yōu)化的系統(tǒng)具有沖突的要求，而另一個將失去另一個，通常是前者。例如，短暫的延遲敏感磁盤讀取將不得不排在較長的讀取后面，這些讀取試圖擠出盡可能多的吞吐量。寫入HBase的MR作業(yè)也會生成刷新和壓縮，這反過來會使塊緩存中的塊無效。

如果需要處理MR中的實時HBase集群中的數(shù)據(jù)，可以使用CopyTable發(fā)送增量，或使用復制在OLAP集群上實時獲取新數(shù)據(jù)。在最壞的情況下，如果您確實需要同時配置兩者，請將MR設置為使用比您通常配置的更少的Map和Reduce插槽，可能只需一個。

當HBase的用于OLAP操作，最好以一種經(jīng)過強化的方式設置它，比如設置更高的ZooKeeper會話超時以及為MemStores提供更多內(nèi)存（因為工作負載通常是長掃描，所以塊緩存不會被大量使用）。