配置HBase和MapReduce

配置HBase和MapReduce

通常建議為HBase和MapReduce使用不同的集群。對(duì)此更好的限定條件是：不要配置一個(gè) HBase，它提供重MR工作負(fù)載的實(shí)時(shí)請(qǐng)求。OLTP和OLAP優(yōu)化的系統(tǒng)具有沖突的要求，而另一個(gè)將失去另一個(gè)，通常是前者。例如，短暫的延遲敏感磁盤(pán)讀取將不得不排在較長(zhǎng)的讀取后面，這些讀取試圖擠出盡可能多的吞吐量。寫(xiě)入HBase的MR作業(yè)也會(huì)生成刷新和壓縮，這反過(guò)來(lái)會(huì)使塊緩存中的塊無(wú)效。

如果需要處理MR中的實(shí)時(shí)HBase集群中的數(shù)據(jù)，可以使用CopyTable發(fā)送增量，或使用復(fù)制在OLAP集群上實(shí)時(shí)獲取新數(shù)據(jù)。在最壞的情況下，如果您確實(shí)需要同時(shí)配置兩者，請(qǐng)將MR設(shè)置為使用比您通常配置的更少的Map和Reduce插槽，可能只需一個(gè)。

當(dāng)HBase的用于OLAP操作，最好以一種經(jīng)過(guò)強(qiáng)化的方式設(shè)置它，比如設(shè)置更高的ZooKeeper會(huì)話(huà)超時(shí)以及為MemStores提供更多內(nèi)存（因?yàn)楣ぷ髫?fù)載通常是長(zhǎng)掃描，所以塊緩存不會(huì)被大量使用）。