云計(jì)算設(shè)計(jì)模式（二十三）——Throttling 節(jié)流模式

控制由應(yīng)用程序使用，一個(gè)單獨(dú)的租戶或整個(gè)服務(wù)的一個(gè)實(shí)例的資源的消耗。這種模式可以允許系統(tǒng)繼續(xù)運(yùn)行并滿足服務(wù)水平協(xié)議，即使當(dāng)增加需求的資源放置一個(gè)極端載荷。

背景和問題

在云應(yīng)用負(fù)載通常上變化的基礎(chǔ)上的活動(dòng)用戶的數(shù)量或他們正在執(zhí)行的活動(dòng)類型的時(shí)間。例如，多個(gè)用戶可能會(huì)在工作時(shí)間被激活，否則系統(tǒng)可能被要求在每月結(jié)束時(shí)執(zhí)行計(jì)算昂貴的分析。也有可能是突然和意外的突發(fā)活動(dòng)。如果系統(tǒng)的處理要求超過了可用的資源的能力，其將遭受性能不佳，甚至?xí)?。該系統(tǒng)可能必須滿足的服務(wù)約定的水平，并且這種故障可能是不可接受的。

有許多策略可用于處理可變負(fù)載在云中，根據(jù)業(yè)務(wù)目標(biāo)的應(yīng)用程序。一種策略是使用自動(dòng)縮放來在任何給定時(shí)間相匹配的供應(yīng)資源給用戶的需要。這具有始終如一地滿足用戶需求，同時(shí)優(yōu)化運(yùn)行費(fèi)用的潛力。然而，盡管自動(dòng)縮放可能會(huì)引發(fā)更多的資源配置，這配置是不是瞬間。如果需求快速增長(zhǎng)，有可能是一個(gè)時(shí)間窗口，那里是一個(gè)資源赤字。

解決方案

另一種策略來自動(dòng)縮放是為了讓應(yīng)用程序能夠使用的資源最多只有一些軟限位，然后油門當(dāng)他們達(dá)到此限制。該系統(tǒng)應(yīng)監(jiān)測(cè)它是如何使用的資源，使得當(dāng)使用量超過一些系統(tǒng)定義的閾值時(shí)，它可以調(diào)節(jié)來自一個(gè)或多個(gè)用戶的請(qǐng)求，以使系統(tǒng)繼續(xù)工作，并滿足任何服務(wù)級(jí)別協(xié)議（SLA），該已到位。有關(guān)監(jiān)控資源使用情況的詳細(xì)信息，請(qǐng)參閱儀器和遙測(cè)指導(dǎo)。

該系統(tǒng)可以實(shí)現(xiàn)多種限制策略，其中包括：

• 從誰已經(jīng)訪問系統(tǒng)API超過每秒n次超過給定時(shí)間內(nèi)的個(gè)人用戶拒絕請(qǐng)求。這就要求系統(tǒng)米利用資源用于運(yùn)行應(yīng)用程序的每個(gè)租戶或用戶。欲了解更多信息，請(qǐng)參閱服務(wù)計(jì)量指引。
• 禁用或有辱人格的選擇不必要的服務(wù)的功能，以便必要的服務(wù)可以提供足夠的資源運(yùn)行暢通。例如，如果應(yīng)用程序是視頻流輸出，它可以切換到一個(gè)較低的分辨率。
• 使用負(fù)載均衡來平滑活動(dòng)量（這種方法是覆蓋在由基于隊(duì)列的負(fù)載均衡模式的更多細(xì)節(jié)）。在多租戶環(huán)境中，這種方法將減少為每一個(gè)租戶的性能。如果系統(tǒng)必須支持的住戶有不同的SLA的組合，為高價(jià)值租戶的工作可能會(huì)被立即執(zhí)行。請(qǐng)求其他住戶可以忍住，以及時(shí)處理積壓有所緩解。優(yōu)先級(jí)隊(duì)列模式，可以用來幫助實(shí)現(xiàn)此方法。
• 代表低優(yōu)先級(jí)的應(yīng)用程序或租戶被推遲執(zhí)行的操作。這些操作可以暫?；蛳鳒p，異常生成的通知，該系統(tǒng)正忙，該操作應(yīng)該稍后重試房客。

圖1示出一個(gè)區(qū)域圖進(jìn)行資源利用率（存儲(chǔ)器，CPU，帶寬，以及其它因素的組合）對(duì)時(shí)間對(duì)于正在使用的三個(gè)特征的應(yīng)用程序。一個(gè)特征是功能性的區(qū)域，例如，執(zhí)行特定的任務(wù)集，一個(gè)代碼段，執(zhí)行一個(gè)復(fù)雜的計(jì)算，或者，提供了一個(gè)服務(wù)，例如在內(nèi)存中緩存的元素的組分。這些特征被標(biāo)記為 A，B 和 C。

圖1 - 對(duì)時(shí)間的曲線圖的資源利用率代表三個(gè)用戶運(yùn)行的應(yīng)用程序

注意：

立即行功能下的區(qū)域表示應(yīng)用程序中使用時(shí)，調(diào)用此功能的資源。例如，下面的線為特色的一個(gè)區(qū)域顯示使用的是正在使用的功能 A 的應(yīng)用資源，并為特征 A 和特征 B 線之間的區(qū)域被使用的應(yīng)用程序調(diào)用功能 B.匯總的指示資源對(duì)于每個(gè)特征區(qū)域顯示了系統(tǒng)的總的資源利用率。

在圖1中的曲線示出了延遲操作的效果。只是之前的時(shí)間 T1，分配給使用這些功能的所有應(yīng)用程序的總資源達(dá)到一個(gè)閾值（資源利用的軟限制）。在這一點(diǎn)上，應(yīng)用程序是在用盡可用的資源的危險(xiǎn)。在這個(gè)系統(tǒng)中，特征 B 比特點(diǎn) A 或特征 ? 不太重要，所以它是暫時(shí)禁用，并且它被使用的資源被釋放。之間的時(shí)間 T1，T2，使用功能 A 和功能 C 中的應(yīng)用程序繼續(xù)運(yùn)行正常。最后，資源利用這兩個(gè)功能減退的點(diǎn)時(shí)，在時(shí)間 T2 時(shí)，有足夠的容量，以再次啟用功能 B 中。

該自動(dòng)縮放和調(diào)節(jié)方法也可以結(jié)合，以幫助保持應(yīng)用程序響應(yīng)和 SLA 之內(nèi)。如果需求預(yù)計(jì)將保持高位，節(jié)流可以提供一個(gè)臨時(shí)的解決方案，同時(shí)在系統(tǒng)擴(kuò)展了。在這一點(diǎn)上，該系統(tǒng)的全部功能可以恢復(fù)。

圖 2 示出了整體的資源利用通過在與時(shí)間的系統(tǒng)中運(yùn)行的所有應(yīng)用程序的區(qū)域圖，并示出了如何限制可與自動(dòng)縮放組合。

圖2 - 圖表顯示自動(dòng)縮放與節(jié)流相結(jié)合的效應(yīng)

在時(shí)間T1，門檻指定資源利用的軟限制為止。在這一點(diǎn)上，系統(tǒng)可以開始向外擴(kuò)展。然而，如果新的資源不成為可用的足夠快地再現(xiàn)有的資源可能被耗盡，并且系統(tǒng)可能會(huì)失敗。為了防止這種情況發(fā)生，系統(tǒng)被暫時(shí)限制，如前面所述。何時(shí)自動(dòng)縮放已完成和額外資源，限制可以放寬。

問題和注意事項(xiàng)

在決定如何實(shí)現(xiàn)這個(gè)模式時(shí)，您應(yīng)考慮以下幾點(diǎn)：

• 節(jié)流的應(yīng)用程序，并使用策略，是一個(gè)建筑的決定，影響系統(tǒng)的整體設(shè)計(jì)。節(jié)流應(yīng)在應(yīng)用設(shè)計(jì)之初就被考慮，因?yàn)檫@是不容易的添加它一旦系統(tǒng)已經(jīng)實(shí)施。
• 節(jié)流必須迅速執(zhí)行。系統(tǒng)必須能夠檢測(cè)活性增加，并相應(yīng)地作出反應(yīng)。該系統(tǒng)還必須能夠恢復(fù)到原來的狀態(tài)后快速負(fù)載有所緩和。這需要相應(yīng)的性能數(shù)據(jù)是不斷捕獲和監(jiān)測(cè)。
• 如果一個(gè)服務(wù)需要暫時(shí)拒絕用戶的請(qǐng)求，則它應(yīng)該返回一個(gè)特定的錯(cuò)誤代碼，以使客戶端應(yīng)用程序理解為拒絕執(zhí)行某種操作的原因是由于節(jié)流?？蛻舳藨?yīng)用程序可以等待一段時(shí)間，然后重試該請(qǐng)求。
• 節(jié)流可作為而系統(tǒng) autoscales一項(xiàng)臨時(shí)措施。在某些情況下它可能是更好的簡(jiǎn)單節(jié)流，而不是按比例，如果在活動(dòng)突發(fā)是突然的并且預(yù)計(jì)不會(huì)被長(zhǎng)壽命，因?yàn)榻Y(jié)垢可顯著增加了運(yùn)行成本。
• 如果節(jié)流正在使用的臨時(shí)措施，而一個(gè)系統(tǒng) autoscales，并且如果資源需求迅速增長(zhǎng)，系統(tǒng)可能無法繼續(xù)運(yùn)作，即使在節(jié)流模式中操作時(shí)。如果這是不能接受的，考慮維護(hù)大容量的儲(chǔ)備和配置更積極自動(dòng)縮放。

何時(shí)使用這個(gè)模式

使用這種模式：

• 為了確保系統(tǒng)持續(xù)滿足服務(wù)水平協(xié)議。
• 為了防止單一租戶獨(dú)占由應(yīng)用程序所提供的資源。
• 為了處理突發(fā)活動(dòng)。
• 為了幫助限制需要保持它運(yùn)轉(zhuǎn)的最大資源水平的成本優(yōu)化的系統(tǒng)。

例子

圖3示出了如何限制可以在多租戶系統(tǒng)來實(shí)現(xiàn)。從每個(gè)租戶組織的用戶訪問一個(gè)云托管的應(yīng)用程序，他們填寫并提交調(diào)查。應(yīng)用程序中包含的儀器，用于監(jiān)視在其中這些用戶提交請(qǐng)求給應(yīng)用程序的速度。

為了防止用戶從一個(gè)租戶影響應(yīng)用的所有其他用戶的響應(yīng)性和可用性，限制施加到每秒從任何一個(gè)租戶的用戶可以提交請(qǐng)求的數(shù)目。該應(yīng)用程序塊請(qǐng)求超過此限制

圖3 - 在一個(gè)多租戶應(yīng)用程序中實(shí)現(xiàn)節(jié)流