（五）——計(jì)算資源整合模式

云計(jì)算設(shè)計(jì)模式（五）——計(jì)算資源整合模式

合并多個(gè)任務(wù)或操作成一個(gè)單一的計(jì)算單元。這種模式可以提高計(jì)算資源的利用率，并降低與云托管的應(yīng)用程序進(jìn)行計(jì)算處理相關(guān)的成本和管理開銷。

背景和問題

云應(yīng)用程序頻繁執(zhí)行各種操作。在某些解決方案也可能是有意義的最初遵循的關(guān)注點(diǎn)分離的設(shè)計(jì)原則，并把這些操作成托管和獨(dú)立部署（例如，如在微軟的 Azure 云服務(wù)，獨(dú)立 Azure 網(wǎng)站不同的角色獨(dú)立計(jì)算單元或單獨(dú)的虛擬機(jī)）。然而，盡管這種策略可以幫助簡化溶液的邏輯設(shè)計(jì)，部署大量計(jì)算單元作為同一應(yīng)用可以提高運(yùn)行時(shí)的托管成本，使系統(tǒng)的管理更加復(fù)雜的一部分。

作為一個(gè)例子，圖1示出了使用多個(gè)計(jì)算單元被實(shí)現(xiàn)的一個(gè)云托管解決方案的簡化的結(jié)構(gòu)。每個(gè)計(jì)算單元在其自己的虛擬環(huán)境中運(yùn)行。每個(gè)功能已被實(shí)現(xiàn)為一個(gè)單獨(dú)的任務(wù)（通過任務(wù)?標(biāo)任務(wù)A）在自己的計(jì)算設(shè)備上運(yùn)行。

圖1 - 通過使用一組專用計(jì)算單元運(yùn)行在云環(huán)境中的任務(wù)

每個(gè)計(jì)算單元消耗的資源收費(fèi)，即使是閑置或不常使用。因此，這種方法可能不總是最有成本效益的解決方案。

在 Azure 中，這一問題適用于云服務(wù)的角色，網(wǎng)站和虛擬機(jī)。這些產(chǎn)品在他們自己的虛擬環(huán)境中執(zhí)行。運(yùn)行的單獨(dú)作用，網(wǎng)站，或者被設(shè)計(jì)為執(zhí)行一組良好定義的操作的虛擬機(jī)的集合，但是需要進(jìn)行通信和協(xié)作，作為一個(gè)單一的解決方案的一部分，可以是一個(gè)資源利用效率低。

解決方案

為了幫助降低成本，提高利用率，提高通信速度，減輕了管理工作有可能將多個(gè)任務(wù)或操作成一個(gè)單一的計(jì)算單元。

任務(wù)可以根據(jù)各種基于由環(huán)境提供的功能，以及與這些功能相關(guān)的成本的標(biāo)準(zhǔn)進(jìn)行分組。一種常見的方法是尋找具有關(guān)于它們的可擴(kuò)展性，壽命和加工要求具有相似的任務(wù)。分組這些產(chǎn)品一起使它們能夠擴(kuò)展為一個(gè)單元。由許多云環(huán)境所提供的彈性使一個(gè)計(jì)算單元的其他實(shí)例，以根據(jù)業(yè)務(wù)負(fù)載被啟動和停止。例如，Azure提供自動縮放，可以適用于云服務(wù)的角色，網(wǎng)站和虛擬機(jī)。欲了解更多信息，請參閱自動縮放指導(dǎo)。

作為一個(gè)計(jì)數(shù)器的例子來說明如何擴(kuò)展可以被用于確定哪些操作可能不應(yīng)該被分組到一起，考慮以下兩個(gè)任務(wù)：

• 任務(wù) 1 輪詢發(fā)送到隊(duì)列罕見的，對時(shí)間不敏感的信息。
• 任務(wù) 2 處理網(wǎng)絡(luò)流量的高容量陣陣。

第二任務(wù)要求的彈性可能涉及起動和停止的大量的計(jì)算單元的實(shí)例。應(yīng)用相同的縮放到第一任務(wù)只會導(dǎo)致更多的任務(wù)上監(jiān)聽同一隊(duì)列不頻繁的消息，并且是一種資源的浪費(fèi)。

在許多云環(huán)境中，它可以指定在CPU內(nèi)核，存儲器，磁盤空間等的數(shù)量而言，以一個(gè)計(jì)算單元的可用資源。通常，指定的資源越多，就越有成本。對于金融效率，最大限度地工作的一個(gè)昂貴的計(jì)算單元執(zhí)行的數(shù)量，而不是讓它變成無活性在較長時(shí)間內(nèi)是很重要的。

如果存在需要大量的 CPU 功率的短脈沖串的任務(wù)，考慮合并這些成一個(gè)單一的計(jì)算單元，其提供所需的電源。然而，重要的是平衡這種需要保持昂貴資源忙對它們是否過分強(qiáng)調(diào)指出可能發(fā)生了爭用是重要的。長時(shí)間運(yùn)行，計(jì)算密集型任務(wù)可能不應(yīng)該共享相同的計(jì)算單位，例如。

問題和注意事項(xiàng)

實(shí)施該模式時(shí)請考慮以下幾點(diǎn)：

• 可擴(kuò)展性和彈性。許多云解決方案實(shí)現(xiàn)的可擴(kuò)展性和彈性，在運(yùn)算部的通過啟動和停止的情況下，單位的水平。避免了分組在同一計(jì)算單元相互矛盾的可擴(kuò)展性要求的任務(wù)。
• 一生。云計(jì)算基礎(chǔ)架構(gòu)可以定期回收托管的計(jì)算單元的虛擬環(huán)境。當(dāng)執(zhí)行一個(gè)計(jì)算單元內(nèi)許多長期運(yùn)行的任務(wù)，可能需要對設(shè)備進(jìn)行配置，以防止它被回收，直到這些任務(wù)已經(jīng)完成?？商鎿Q地，通過使用一個(gè)檢查指向的方法，使他們停止干凈，并繼續(xù)在在其中，當(dāng)所述計(jì)算單元被重新啟動他們被中斷的點(diǎn)的設(shè)計(jì)的任務(wù)。
• 釋放節(jié)奏。如果一個(gè)任務(wù)的執(zhí)行或配置變化頻繁，則可能需要停止計(jì)算單位主辦的更新的代碼，重新配置和重新部署的單元，然后重新啟動它。此過程也將需要相同的計(jì)算單元中的所有其他任務(wù)被停止，重新部署，并重新啟動。
• 安全性。在相同的計(jì)算單元的任務(wù)可以共享相同的安全上下文，并能夠訪問相同的資源。必須有高度的任務(wù)之間的信任，而且相信，一個(gè)任務(wù)是不會損壞或其他不利的影響。此外，增加了在一個(gè)計(jì)算單元可以增加計(jì)算單元的攻擊面運(yùn)行的任務(wù)的數(shù)目;每個(gè)任務(wù)是否安全的一個(gè)最脆弱性。
• 容錯(cuò)。如果在一個(gè)計(jì)算單元中的一個(gè)任務(wù)失敗或異常情況，它可能會影響在同一單元內(nèi)運(yùn)行的其他任務(wù)。例如，如果有一個(gè)任務(wù)無法正常啟動它可能會導(dǎo)致對計(jì)算單元失敗，整個(gè)啟動邏輯，并且防止在同一單元的其他任務(wù)的運(yùn)行。
• 爭。避免這種情況，在相同的計(jì)算單元爭奪資源的任務(wù)之間引入的爭用。理想情況下，共享相同的計(jì)算單元的任務(wù)應(yīng)該表現(xiàn)出不同的資源利用率??的特征。例如，兩個(gè)計(jì)算密集型任務(wù)可能不應(yīng)該駐留在同一個(gè)計(jì)算單元，而且消耗大量的內(nèi)存也不應(yīng)該兩個(gè)任務(wù)。然而，混合使用需要大量的存儲器可以是一個(gè)可行的組合任務(wù)中計(jì)算密集型的任務(wù)。

注意

你應(yīng)該考慮整合計(jì)算資源只對已在生產(chǎn)用于在一段時(shí)間內(nèi)，使得操作人員和開發(fā)者能夠監(jiān)控系統(tǒng)，并創(chuàng)建熱圖，它標(biāo)識了每個(gè)任務(wù)利用別共資源的系統(tǒng)。此圖可以用于確定哪些任務(wù)是很好的候選共享計(jì)算資源。

• 復(fù)雜性。組合多個(gè)任務(wù)到一個(gè)單一的計(jì)算單元增加了復(fù)雜性中的代碼單元，可能使得更難以進(jìn)行測試，調(diào)試和維護(hù)。
• 穩(wěn)定的邏輯架構(gòu)。設(shè)計(jì)和實(shí)施中的代碼中的每個(gè)任務(wù)，以便它不應(yīng)該需要改變，即使物理環(huán)境中任務(wù)運(yùn)行不會改變。
• 其他策略。整合計(jì)算資源的方法只有一個(gè)，以幫助減少同時(shí)運(yùn)行多個(gè)任務(wù)相關(guān)的成本。這需要仔細(xì)的規(guī)劃和監(jiān)測，以確保它仍然是一個(gè)有效的辦法。其他策略可能更合適，這取決于所執(zhí)行的工作的性質(zhì)和所代表這些任務(wù)正在運(yùn)行的用戶的位置。例如，工作負(fù)荷（如所描述的計(jì)算分區(qū)指南）的功能分解可能是一個(gè)更好的選擇。

當(dāng)使用這個(gè)模式

使用這種模式的任務(wù)，如果他們在自己的計(jì)算單元運(yùn)行不符合成本效益。如果一個(gè)任務(wù)花費(fèi)大量的時(shí)間閑置，運(yùn)行此任務(wù)的專用設(shè)備可以是昂貴的。

這種模式可能不適合于執(zhí)行關(guān)鍵容錯(cuò)操作處理高度敏感的或私有數(shù)據(jù)，并且需要其自身的安全上下文的任務(wù)或任務(wù)。這些任務(wù)應(yīng)該在他們自己的獨(dú)立的環(huán)境中運(yùn)行，在一個(gè)單獨(dú)的計(jì)算單元。

例子

在 Azure 上構(gòu)建一個(gè)云服務(wù)，它可以鞏固多任務(wù)的處理成一個(gè)單一的角色。通常，這是執(zhí)行的背景或異步處理任務(wù)的輔助角色。

注意

在某些情況下它可能會包括在 Web 角色的背景或異步處理任務(wù)。這種技術(shù)可以有助于降低成本和簡化部署，雖然它可以影響由 web 角色所提供的面向公眾的接口的可擴(kuò)展性和響應(yīng)性。該文章合并多個(gè)天青工作者角色成天青 Web 角色包含執(zhí)行背景或異步處理任務(wù)在 Web 角色的詳細(xì)描述。

的作用是負(fù)責(zé)啟動和停止的任務(wù)。當(dāng) Azure 結(jié)構(gòu)控制器加載的作用，它引發(fā)的啟動事件中的作用。您可以覆蓋 WebRole 或 WorkerRole 類的 OnStart 方法來處理這個(gè)事件，也許是為了初始化數(shù)據(jù)和其他資源，在這種方法中，任務(wù)依賴。

當(dāng) OnStart 方法完成后，角色就可以開始響應(yīng)請求。您可以找到有關(guān)使用的 OnStart 和運(yùn)行方式的作用，在 theApplication 啟動進(jìn)程中的模式與實(shí)踐指南移動應(yīng)用程序到云部分的更多信息和指導(dǎo)。

注意

請 OnStart 方法盡量精簡的代碼。 Azure 不上采取這種方法，完成時(shí)間強(qiáng)加任何限制，但作用不能夠啟動響應(yīng)發(fā)送給它，直到此方法完成的網(wǎng)絡(luò)請求。

當(dāng) OnStart 方法完成后，執(zhí)行任務(wù)的運(yùn)行方式。在這一點(diǎn)上，該織物控制器能夠開始發(fā)送請求的作用。 將實(shí)際的運(yùn)行方法創(chuàng)建任務(wù)的代碼。注意，執(zhí)行命令的方法可以有效地定義角色實(shí)例的生命周期。此方法完成，結(jié)構(gòu)控制器將安排的作用被關(guān)閉。

當(dāng)一個(gè)角色關(guān)機(jī)或再循環(huán)，結(jié)構(gòu)控制器可以防止從負(fù)載平衡器接收任何更多的傳入請求，并提高了停止事件。您可以通過覆蓋作用的 onStop 方法捕獲這個(gè)事件和角色終止前需要進(jìn)行任何整理起來。

注意

在的 onStop 方法執(zhí)行的任何操作須在 5 分鐘（或者，如果您使用的是本地計(jì)算機(jī)上的天青模擬器 30 秒）內(nèi)完成;否則 Azure 結(jié)構(gòu)控制器假定的角色已經(jīng)停止，并會迫使它停下來。

圖 2 示出了一個(gè)角色的生命周期，任務(wù)和資源，它承載。該任務(wù)由運(yùn)行方法，該方法然后等待任務(wù)來完成啟動。任務(wù)本身，這實(shí)現(xiàn)云服務(wù)的業(yè)務(wù)邏輯，可以響應(yīng)通過天青負(fù)載平衡器發(fā)布到角色的消息。

圖2 - 任務(wù)和資源的作用，在Azure云服務(wù)的生命周期

在 ComputeResourceConsolidation.Worker 項(xiàng)目 WorkerRole.cs 文件顯示了一個(gè)如何實(shí)現(xiàn)這個(gè)模式在 Azure 云服務(wù)的例子。

注意： 該 ComputeResourceConsolidation.Worker 項(xiàng)目是 ComputeResourceConsolidation 解決方案，可用于下載本指導(dǎo)意見的一部分。 在運(yùn)行時(shí)被初始化的角色創(chuàng)建所需的取消標(biāo)記和任務(wù)來運(yùn)行的一個(gè)列表中的輔助角色，代碼。

public class WorkerRole: RoleEntryPoint  
{  
  // The cancellation token source used to cooperatively cancel running tasks.  
  private readonly CancellationTokenSource cts = new CancellationTokenSource ();  
?
  // List of tasks running on the role instance.  
  private readonly List<Task> tasks = new List<Task>();  
?
  // List of worker tasks to run on this role.  
  private readonly List<Func<CancellationToken, Task>> workerTasks    
                        = new List<Func<CancellationToken, Task>>  
    {  
      MyWorkerTask1,  
      MyWorkerTask2  
    };  
?
  ...  
}

設(shè)置在 MyWorkerTask1 和 MyWorkerTask2 方法來說明如何在同一輔助角色執(zhí)行不同的任務(wù)。下面的代碼顯示 MyWorkerTask1。這是休眠 30 秒，然后輸出一個(gè)跟蹤消息的簡單任務(wù)。重復(fù)這個(gè)過程，直到無限期的任務(wù)被取消。在 MyWorkerTask2 代碼非常相似。

// A sample worker role task.  
private static async Task MyWorkerTask1(CancellationToken ct)  
{  
  // Fixed interval to wake up and check for work and/or do work.  
  var interval = TimeSpan.FromSeconds(30);  
?
  try  
  {  
    while (!ct.IsCancellationRequested)  
    {  
      // Wake up and do some background processing if not canceled.  
      // TASK PROCESSING CODE HERE  
      Trace.TraceInformation("Doing Worker Task 1 Work");  
?
      // Go back to sleep for a period of time unless asked to cancel.  
      // Task.Delay will throw an OperationCanceledException when canceled.  
      await Task.Delay(interval, ct);  
    }  
  }  
  catch (OperationCanceledException)  
  {  
    // Expect this exception to be thrown in normal circumstances or check  
    // the cancellation token. If the role instances are shutting down, a  
    // cancellation request will be signaled.  
    Trace.TraceInformation("Stopping service, cancellation requested");  
?
    // Re-throw the exception.  
    throw;  
  }  
}

注意： 通過示例代碼示出的方法是一個(gè)后臺進(jìn)程的一個(gè)常見的實(shí)現(xiàn)。在現(xiàn)實(shí)世界的應(yīng)用程序，你可以按照這個(gè)結(jié)構(gòu)相同，不同之處在于，你應(yīng)該把自己的處理邏輯在等待取消請求的循環(huán)體。

經(jīng)過工人的角色已初始化它使用的資源，Run 方法啟動兩個(gè)任務(wù)同時(shí)，如下圖所示。

...  
// RoleEntry Run() is called after OnStart().    
// Returning from Run() will cause a role instance to recycle.  
public override void Run()  
{  
  // Start worker tasks and add them to the task list.  
  foreach (var worker in workerTasks)  
    tasks.Add(worker(cts.Token));  
?
  Trace.TraceInformation("Worker host tasks started");  
  // The assumption is that all tasks should remain running and not return,   
  // similar to role entry Run() behavior.  
  try  
  {  
    Task.WaitAny(tasks.ToArray());  
  }  
  catch (AggregateException ex)  
  {  
    Trace.TraceError(ex.Message);  
?
    // If any of the inner exceptions in the aggregate exception   
    // are not cancellation exceptions then re-throw the exception.  
    ex.Handle(innerEx => (innerEx is OperationCanceledException));  
  }  
?
  // If there was not a cancellation request, stop all tasks and return from Run()  
  // An alternative to cancelling and returning when a task exits would be to   
  // restart the task.  
  if (!cts.IsCancellationRequested)  
  {  
    Trace.TraceInformation("Task returned without cancellation request");  
    Stop(TimeSpan.FromMinutes(5));  
  }  
}  
...

在該示例中，執(zhí)行命令方法等待要完成的任務(wù)。如果任務(wù)被取消，運(yùn)行方法假定的角色正在關(guān)閉，并等待剩下的任務(wù)完成（這在終止前等待最多 5 分鐘）之前被取消。如果任務(wù)失敗，由于預(yù)期異常，Run 方法將取消該任務(wù)。

注意： 需要注意的是，你可以實(shí)現(xiàn) Run 方法更全面的監(jiān)測和異常處理策略，如重新啟動已失敗的任務(wù)，或者包括代碼，使角色停止和啟動單個(gè)任務(wù)。 在以下代碼中所示的停止方法時(shí)，網(wǎng)絡(luò)控制器將關(guān)閉角色實(shí)例（它是從的 onStop 方法調(diào)用）被調(diào)用。該代碼通過取消它優(yōu)雅地停止每項(xiàng)任務(wù)。如果有任何的工作時(shí)間超過五分鐘就能完成，在 Stop 方法取消處理真正地停止等待和作用被終止。

// Stop running tasks and wait for tasks to complete before returning   
// unless the timeout expires.  
private void Stop(TimeSpan timeout)  
{  
  Trace.TraceInformation("Stop called. Canceling tasks.");  
  // Cancel running tasks.  
  cts.Cancel();  
?
  Trace.TraceInformation("Waiting for canceled tasks to finish and return");  
?
  // Wait for all the tasks to complete before returning. Note that the   
  // emulator currently allows 30 seconds and Azure allows five  
  // minutes for processing to complete.  
  try  
  {  
    Task.WaitAll(tasks.ToArray(), timeout);  
  }  
  catch (AggregateException ex)  
  {  
    Trace.TraceError(ex.Message);  
?
    // If any of the inner exceptions in the aggregate exception   
    // are not cancellation exceptions then re-throw the exception.  
    ex.Handle(innerEx => (innerEx is OperationCanceledException));  
  }  
}