HBase性能調(diào)整：網(wǎng)絡(luò)

網(wǎng)絡(luò)

避免網(wǎng)絡(luò)問(wèn)題降低Hadoop和HBase性能的最重要因素可能是所使用的交換硬件，在項(xiàng)目范圍的早期做出的決策可能會(huì)導(dǎo)致群集大小增加一倍或三倍（或更多）時(shí)出現(xiàn)重大問(wèn)題。

需要考慮的重要事項(xiàng)：

• 切換設(shè)備的容量
• 連接的系統(tǒng)數(shù)量
• 上行鏈路容量
  

單個(gè)交換機(jī)

此配置中最重要的一個(gè)因素是硬件的交換容量能夠處理連接到交換機(jī)的所有系統(tǒng)可以生成的通信量。一些較低價(jià)格的商用硬件可以具有比完整交換機(jī)可以使用的更慢的交換容量。

多個(gè)交換機(jī)

多個(gè)交換機(jī)是架構(gòu)中的潛在缺陷。低價(jià)硬件的最常見(jiàn)配置是從一個(gè)交換機(jī)到另一個(gè)交換機(jī)的簡(jiǎn)單1Gbps上行鏈路。這種經(jīng)常被忽視的夾點(diǎn)很容易成為集群通信的瓶頸。特別是對(duì)于讀取和寫(xiě)入大量數(shù)據(jù)的MapReduce作業(yè)，此上行鏈路上的通信可能會(huì)飽和。

緩解這個(gè)問(wèn)題非常簡(jiǎn)單，可以通過(guò)多種方式實(shí)現(xiàn)：

• 使用適當(dāng)?shù)挠布?lái)處理您嘗試構(gòu)建的群集的規(guī)模。
• 使用較大的單個(gè)交換機(jī)配置，即單個(gè)48端口，而不是2個(gè)24端口
• 為上行鏈路配置端口中繼，以利用多個(gè)接口來(lái)增加交叉交換機(jī)帶寬。

多個(gè)機(jī)架

多個(gè)機(jī)架配置具有與多個(gè)交換機(jī)相同的潛在問(wèn)題，并且可能會(huì)從兩個(gè)主要方面降低性能：

• 交換容量性能不佳
• 上行鏈路到另一個(gè)機(jī)架的能力不足

如果機(jī)架中的交換機(jī)具有適當(dāng)?shù)慕粨Q容量以全速處理所有主機(jī)，則下一個(gè)最可能出現(xiàn)的問(wèn)題將是通過(guò)在機(jī)架中引導(dǎo)更多群集引起的。跨越多個(gè)機(jī)架時(shí)避免問(wèn)題的最簡(jiǎn)單方法是使用端口中繼來(lái)創(chuàng)建到其他機(jī)架的綁定上行鏈路。然而，這種方法的缺點(diǎn)是可能使用的端口開(kāi)銷(xiāo)。例如，從機(jī)架A到機(jī)架B創(chuàng)建一個(gè)8Gbps端口通道，使用24個(gè)端口中的8個(gè)在機(jī)架之間進(jìn)行通信會(huì)降低投資回報(bào)率，但使用太少可能意味著您無(wú)法從群集中獲得最大的收益。

在機(jī)架之間使用10Gbe鏈接將大大提高性能，并且假設(shè)您的交換機(jī)支持10Gbe上行鏈路或允許擴(kuò)展卡，則允許您為計(jì)算機(jī)保存端口，而不是上行鏈路。

網(wǎng)絡(luò)接口

確認(rèn)所有網(wǎng)絡(luò)接口是否都正常運(yùn)行。

網(wǎng)絡(luò)一致性和分區(qū)容錯(cuò)度

CAP定理指出，分布式系統(tǒng)可以維持以下三種特性中的兩種： - *C*onsistency - 所有節(jié)點(diǎn)都看到相同的數(shù)據(jù)。 - *A*vailability - 每個(gè)請(qǐng)求都會(huì)收到有關(guān)它是成功還是失敗的響應(yīng)。 - *P*artition tolerance - 即使其他組件無(wú)法使用，系統(tǒng)也會(huì)繼續(xù)運(yùn)行。

HBase有利于一致性和分區(qū)容錯(cuò)度，必須做出決定。Coda Hale解釋了為什么分區(qū)容錯(cuò)度如此重要，請(qǐng)?jiān)L問(wèn)http://codahale.com/you-cant-sacrifice-partition-tolerance/。