到目前為止，我們討論了 Kafka 的核心概念。 讓我們現(xiàn)在來看一下 Kafka 的工作流程。

Kafka 只是分為一個或多個分區(qū)的主題的集合。Kafka 分區(qū)是消息的線性有序序列，其中每個消息由它們的索引(稱為偏移)來標識。Kafka 集群中的所有數(shù)據(jù)都是不相連的分區(qū)聯(lián)合。 傳入消息寫在分區(qū)的末尾，消息由消費者順序讀取。 通過將消息復制到不同的代理提供持久性。

Kafka 以快速，可靠，持久，容錯和零停機的方式提供基于pub-sub 和隊列的消息系統(tǒng)。 在這兩種情況下，生產者只需將消息發(fā)送到主題，消費者可以根據(jù)自己的需要選擇任何一種類型的消息傳遞系統(tǒng)。 讓我們按照下一節(jié)中的步驟來了解消費者如何選擇他們選擇的消息系統(tǒng)。

發(fā)布 - 訂閱消息的工作流程

以下是 Pub-Sub 消息的逐步工作流程 -

• 生產者定期向主題發(fā)送消息。
• Kafka 代理存儲為該特定主題配置的分區(qū)中的所有消息。 它確保消息在分區(qū)之間平等共享。 如果生產者發(fā)送兩個消息并且有兩個分區(qū)，Kafka 將在第一分區(qū)中存儲一個消息，在第二分區(qū)中存儲第二消息。
• 消費者訂閱特定主題。
• 一旦消費者訂閱主題，Kafka 將向消費者提供主題的當前偏移，并且還將偏移保存在 Zookeeper 系統(tǒng)中。
• 消費者將定期請求 Kafka (如100 Ms)新消息。
• 一旦 Kafka 收到來自生產者的消息，它將這些消息轉發(fā)給消費者。
• 消費者將收到消息并進行處理。
• 一旦消息被處理，消費者將向 Kafka 代理發(fā)送確認。
• 一旦 Kafka 收到確認，它將偏移更改為新值，并在 Zookeeper 中更新它。 由于偏移在 Zookeeper 中維護，消費者可以正確地讀取下一封郵件，即使在服務器暴力期間。
• 以上流程將重復，直到消費者停止請求。
• 消費者可以隨時回退/跳到所需的主題偏移量，并閱讀所有后續(xù)消息。

隊列消息/用戶組的工作流

在隊列消息傳遞系統(tǒng)而不是單個消費者中，具有相同組 ID 的一組消費者將訂閱主題。 簡單來說，訂閱具有相同 Group ID 的主題的消費者被認為是單個組，并且消息在它們之間共享。 讓我們檢查這個系統(tǒng)的實際工作流程。

• 生產者以固定間隔向某個主題發(fā)送消息。
• Kafka存儲在為該特定主題配置的分區(qū)中的所有消息，類似于前面的方案。
• 單個消費者訂閱特定主題，假設 Topic-01 為 Group ID 為 Group-1 。
• Kafka 以與發(fā)布 - 訂閱消息相同的方式與消費者交互，直到新消費者以相同的組 ID 訂閱相同主題Topic-01  1 。
• 一旦新消費者到達，Kafka 將其操作切換到共享模式，并在兩個消費者之間共享數(shù)據(jù)。 此共享將繼續(xù)，直到用戶數(shù)達到為該特定主題配置的分區(qū)數(shù)。
• 一旦消費者的數(shù)量超過分區(qū)的數(shù)量，新消費者將不會接收任何進一步的消息，直到現(xiàn)有消費者取消訂閱任何一個消費者。 出現(xiàn)這種情況是因為 Kafka 中的每個消費者將被分配至少一個分區(qū)，并且一旦所有分區(qū)被分配給現(xiàn)有消費者，新消費者將必須等待。
• 此功能也稱為使用者組。 同樣，Kafka 將以非常簡單和高效的方式提供兩個系統(tǒng)中最好的。

ZooKeeper 的作用

Apache Kafka 的一個關鍵依賴是 Apache Zookeeper，它是一個分布式配置和同步服務。Zookeeper 是 Kafka 代理和消費者之間的協(xié)調接口。Kafka 服務器通過 Zookeeper 集群共享信息。Kafka 在 Zookeeper 中存儲基本元數(shù)據(jù)，例如關于主題，代理，消費者偏移(隊列讀取器)等的信息。

由于所有關鍵信息存儲在 Zookeeper 中，并且它通常在其整體上復制此數(shù)據(jù)，因此Kafka代理/ Zookeeper 的故障不會影響 Kafka 集群的狀態(tài)。Kafka 將恢復狀態(tài)，一旦 Zookeeper 重新啟動。 這為Kafka帶來了零停機時間。Kafka 代理之間的領導者選舉也通過使用 Zookeeper 在領導者失敗的情況下完成。