HBase方案：在Amazon S3上保護應用程序數(shù)據(jù)集

方案：在Amazon S3上保護應用程序數(shù)據(jù)集

此HBase方案描述了假設的零售業(yè)務如何使用備份來保護應用程序數(shù)據(jù), 然后在失敗后還原數(shù)據(jù)集。

HBase 管理團隊使用備份集來存儲一組表中的數(shù)據(jù), 它們具有一個名為綠色的應用程序的相關信息。在此示例中, 一個表包含交易記錄, 另一張包含客戶詳細信息。需要備份這兩個表并作為一個組進行恢復。

管理團隊還希望確保自動進行每日備份。

以下是用于備份綠色應用程序的數(shù)據(jù)并稍后恢復數(shù)據(jù)的命令的步驟和示例的概述。以HBase超級用戶身份登錄時，將運行所有命令。

• 創(chuàng)建名為green_set的備份集作為transactions表和customer表的別名。備份集可用于所有操作，以避免鍵入每個表名。備份集名稱區(qū)分大小寫，應僅使用可打印字符且和不帶空格的格式生成。

  $ hbase backup set add green_set transactions
  $ hbase backup set add green_set customer

• green_set數(shù)據(jù)的第一個備份必須是完整備份。以下命令示例顯示如何將憑據(jù)傳遞到Amazon S3并使用s3a：前綴指定文件系統(tǒng)。

  $ ACCESS_KEY=ABCDEFGHIJKLMNOPQRST
  $ SECRET_KEY=123456789abcdefghijklmnopqrstuvwxyzABCD
  $ sudo -u hbase hbase backup create full\
    s3a://$ACCESS_KEY:SECRET_KEY@prodhbasebackups/backups -s green_set

• 應根據(jù)計劃運行增量備份，以確保在發(fā)生災難時進行必要的數(shù)據(jù)恢復。在這家零售公司，HBase管理團隊決定自動每日備份以充分保護數(shù)據(jù)。團隊決定他們可以通過修改在/etc/crontab中定義的現(xiàn)有Cron作業(yè)來實現(xiàn)此目的。因此，IT通過添加以下行來修改Cron作業(yè)：

  @daily hbase hbase backup create incremental s3a://$ACCESS_KEY:$SECRET_KEY@prodhbasebackups/backups -s green_set

• 失敗性IT事件會禁用綠色應用程序使用的生產(chǎn)群集。備份群集的HBase系統(tǒng)管理員必須將green_set數(shù)據(jù)集還原到最接近恢復目標的時間點。
  如果備份HBase群集的管理員具有可訪問記錄中具有相關詳細信息的備份ID，則可以繞過以下使用該hdfs dfs -ls命令搜索和手動掃描備份ID列表的搜索。請考慮在環(huán)境中的生產(chǎn)群集外部持續(xù)維護和保護備份ID的詳細日志。
  管理員在存儲備份的目錄上運行以下命令，以在控制臺上打印成功備份ID的列表：

• `hdfs dfs -ls -t /prodhbasebackups/backups`

• 管理員掃描列表以查看在最接近恢復目標的日期和時間創(chuàng)建的備份。為此，管理員將恢復時間點的日歷時間戳轉換為Unix時間，因為備份ID是用Unix時間唯一標識的。備份ID按反向時間順序列出，這意味著最先出現(xiàn)的最新成功備份。管理員注意到命令輸出中的以下行與需要還原的green_set備份相對應：

  /prodhbasebackups/backups/backup_1467823988425`

• 管理員恢復green_set調用備份ID和-overwrite選項。-overwrite選項截斷目標中的所有現(xiàn)有數(shù)據(jù)，并使用備份數(shù)據(jù)集中的數(shù)據(jù)填充表。如果沒有此標志，備份數(shù)據(jù)將附加到目標中的現(xiàn)有數(shù)據(jù)。在這種情況下，管理員決定覆蓋數(shù)據(jù)，因為它已損壞。

  $ sudo -u hbase hbase restore -s green_set \
    s3a://$ACCESS_KEY:$SECRET_KEY@prodhbasebackups/backups backup_1467823988425 \ -overwrite