HBase方案：在Amazon S3上保護(hù)應(yīng)用程序數(shù)據(jù)集

方案：在Amazon S3上保護(hù)應(yīng)用程序數(shù)據(jù)集

此HBase方案描述了假設(shè)的零售業(yè)務(wù)如何使用備份來保護(hù)應(yīng)用程序數(shù)據(jù), 然后在失敗后還原數(shù)據(jù)集。

HBase 管理團(tuán)隊(duì)使用備份集來存儲一組表中的數(shù)據(jù), 它們具有一個(gè)名為綠色的應(yīng)用程序的相關(guān)信息。在此示例中, 一個(gè)表包含交易記錄, 另一張包含客戶詳細(xì)信息。需要備份這兩個(gè)表并作為一個(gè)組進(jìn)行恢復(fù)。

管理團(tuán)隊(duì)還希望確保自動(dòng)進(jìn)行每日備份。

以下是用于備份綠色應(yīng)用程序的數(shù)據(jù)并稍后恢復(fù)數(shù)據(jù)的命令的步驟和示例的概述。以HBase超級用戶身份登錄時(shí)，將運(yùn)行所有命令。

• 創(chuàng)建名為green_set的備份集作為transactions表和customer表的別名。備份集可用于所有操作，以避免鍵入每個(gè)表名。備份集名稱區(qū)分大小寫，應(yīng)僅使用可打印字符且和不帶空格的格式生成。

  $ hbase backup set add green_set transactions
  $ hbase backup set add green_set customer

• green_set數(shù)據(jù)的第一個(gè)備份必須是完整備份。以下命令示例顯示如何將憑據(jù)傳遞到Amazon S3并使用s3a：前綴指定文件系統(tǒng)。

  $ ACCESS_KEY=ABCDEFGHIJKLMNOPQRST
  $ SECRET_KEY=123456789abcdefghijklmnopqrstuvwxyzABCD
  $ sudo -u hbase hbase backup create full\
    s3a://$ACCESS_KEY:SECRET_KEY@prodhbasebackups/backups -s green_set

• 應(yīng)根據(jù)計(jì)劃運(yùn)行增量備份，以確保在發(fā)生災(zāi)難時(shí)進(jìn)行必要的數(shù)據(jù)恢復(fù)。在這家零售公司，HBase管理團(tuán)隊(duì)決定自動(dòng)每日備份以充分保護(hù)數(shù)據(jù)。團(tuán)隊(duì)決定他們可以通過修改在/etc/crontab中定義的現(xiàn)有Cron作業(yè)來實(shí)現(xiàn)此目的。因此，IT通過添加以下行來修改Cron作業(yè)：

  @daily hbase hbase backup create incremental s3a://$ACCESS_KEY:$SECRET_KEY@prodhbasebackups/backups -s green_set

• 失敗性IT事件會(huì)禁用綠色應(yīng)用程序使用的生產(chǎn)群集。備份群集的HBase系統(tǒng)管理員必須將green_set數(shù)據(jù)集還原到最接近恢復(fù)目標(biāo)的時(shí)間點(diǎn)。
  如果備份HBase群集的管理員具有可訪問記錄中具有相關(guān)詳細(xì)信息的備份ID，則可以繞過以下使用該hdfs dfs -ls命令搜索和手動(dòng)掃描備份ID列表的搜索。請考慮在環(huán)境中的生產(chǎn)群集外部持續(xù)維護(hù)和保護(hù)備份ID的詳細(xì)日志。
  管理員在存儲備份的目錄上運(yùn)行以下命令，以在控制臺上打印成功備份ID的列表：

• `hdfs dfs -ls -t /prodhbasebackups/backups`

• 管理員掃描列表以查看在最接近恢復(fù)目標(biāo)的日期和時(shí)間創(chuàng)建的備份。為此，管理員將恢復(fù)時(shí)間點(diǎn)的日歷時(shí)間戳轉(zhuǎn)換為Unix時(shí)間，因?yàn)閭浞軮D是用Unix時(shí)間唯一標(biāo)識的。備份ID按反向時(shí)間順序列出，這意味著最先出現(xiàn)的最新成功備份。管理員注意到命令輸出中的以下行與需要還原的green_set備份相對應(yīng)：

  /prodhbasebackups/backups/backup_1467823988425`

• 管理員恢復(fù)green_set調(diào)用備份ID和-overwrite選項(xiàng)。-overwrite選項(xiàng)截?cái)嗄繕?biāo)中的所有現(xiàn)有數(shù)據(jù)，并使用備份數(shù)據(jù)集中的數(shù)據(jù)填充表。如果沒有此標(biāo)志，備份數(shù)據(jù)將附加到目標(biāo)中的現(xiàn)有數(shù)據(jù)。在這種情況下，管理員決定覆蓋數(shù)據(jù)，因?yàn)樗褤p壞。

  $ sudo -u hbase hbase restore -s green_set \
    s3a://$ACCESS_KEY:$SECRET_KEY@prodhbasebackups/backups backup_1467823988425 \ -overwrite