Kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫，用于發布、訂閱記錄流和容錯存儲。確切地說，它是一個高吞吐量的分布式發布訂閱消息系統，可以處理消費者規模的網站中的所有動作流數據，包括網頁瀏覽、搜索和其他用戶的相關行為等等，這些數據由于吞吐量的要求通常是通過處理日志和日志聚合來解決。相較于Hadoop這樣的日志數據和離線分析系統，Kafka可以更好地滿足數據實時處理的要求，其目的是通過Hadoop的并行加載機制來統一線上和離線的消息處理，同時通過集群來提供實時的消息。主要具有如下特點：

有如下特性：
通過O(1)的磁盤數據結構提供消息的持久化，這種結構對于數以TB的消息存儲也能夠保持長時間的穩定性能；
高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒數百萬的消息；
支持通過Kafka服務器和消費機集群來分區消息；
支持Hadoop并行數據加載。

Kafka是一種用于構建現代化事件驅動型應用的實用技術，用于提供Hadoop大數據湖的數據流，通常用來為實時流式數據體系結構提供實時分析。主要用于相應不斷變化的事件，可以實現事件流回放，通過復制實現高可用性實現自然水平擴展，最終幫助企業從海量數據中發掘洞察力。簡而言之，Kafka多用于流處理、網站活動跟蹤、度量收集和監控、日志聚合、實時分析、CEP，并將數據導入到Spark中、Hadoop、CQRS等，進行消息重播、錯誤恢復，并保證內存計算（微服務）的分布式日志提交。

Kafka適用于對海量數據流有實時收集、處理或分析的企業。目前全球超過三分之一的財富500強企業都在使用Kafka，包括前十大旅游公司、前十大銀行中的七家、十大保險公司中的八家以及十大電信公司中的九家。此外，LinkedIn、微軟、Twitter和Netflix等企業每天也都在使用Kafka處理四條逗號消息。LinkedIn本身起源于Kafka，并用它來跟蹤活動數據和運營指標；Twitter使用它作為Storm的一部分來提供流處理基礎設施；Square借助Kafka將所有系統事件轉移到各種Square數據中心（日志，自定義事件，度量標準等），輸出到Splunk、Graphite（儀表板）以及Esper-like / CEP警報系統。Spotify、Uber、Tumbler、Goldman Sachs、PayPal、Box、Cisco、CloudFlare和Netflix等企業也使用這種方法。

IBM Event Streams是一個基于開源Apache Kafka項目的事件流平臺。它構建于IBM Cloud Private平臺之上，是一個高吞吐量、容錯的事件管理平臺，可以幫助企業構建用于構建事件驅動的應用程序。它使得Kafka的使用變得更加簡單直觀，而用于災難恢復的地理復制等功能則使其更適合關鍵任務工作負載。此外，它還包括一個UI設計，可以幫助應用程序開發人員更便捷地使用Kafka，并運行相關的生產集群。企業可以使用IBM Cloud提供的完全托管的Event Streams服務，也可以在IBM Cloud Private中安裝和管理自己的Event Streams版本。

在數分鐘內就能將適于在生產中使用的 Apache Kafka 部署到 IBM Cloud Private，消除了配置和部署中間件的復雜性，讓技術人員能夠更專注于編寫事件驅動和響應式應用程序；

專為任務關鍵型用例而設計的災難恢復與安全功能，利用易于配置的地域間復制功能，可以在兩個位置的群集之間備份數據，以便在災后快速恢復。使用服務 ID 進行更安全的應用訪問控制，對用戶及用戶組信息進行集中控制，并使用基于角色的訪問控制策略控制對 Event Streams 資源的訪問；

使Apache易于更直觀地大規模使用，深入了解群集內的數據，以監控系統的運行狀況并有效診斷可能出現的應用程序問題。借助IBM Event Streams，企業可以將流經Kafka的數據從高級吞吐量趨勢隨時間可視化為單個消息內容，即使對于高吞吐量工作負載也是如此；

充分利用現有數據，將自身轉變為真正的事件驅動型企業，IBM Event Streams支持企業與正在使用的系統進行連接，包括IBM MQ和IBM App Connect Enterprise等。讓企業充分利用現有的投資、技術及數據，并使用事件驅動技術提供響應更快，更個性化的體驗。

2015 年，IBM 是在 IBM Cloud 上提供完全托管的 Apache Kafka 云服務的第一家供應商，并在全球運行 Apache Kafka方面擁有多年的豐富經驗在；

IBM Event Streams 打包為一個 Helm Chart，包含一個 3 節點的 Kafka 集群，外加 ZooKeeper、UI、網絡代理等，共有 20 多個容器，非常易于安裝和維護。此外，Kubernetes 和 Helm 也可以確保所有容器的可控性；

具有高可用性、可擴展性并且易于配置。采用高可用性設計，通過單個命令擴展 Kafka 集群，可以輕松推出 Kafka 集群配置的更改；

使得Kafka版本的升級過程更安全和簡化，同時也讓 Kafka 變得更直觀、更易使用，比如實現了工作負載的可視化，集成式反饋和支持

數據分析工具的事件輸入緩沖區：從物聯網、網站跟蹤系統或后臺系統中收集海量事件，并將其反饋輸入到大數據分析工具中；

事件驅動型微服務：使用事件來源范例或被動框架圍繞中央總線構建敏捷的云原生應用；

與云原生應用相銜接：從現有系統中提取事件，為下一代的響應性云原生應用提供助力。

幫助企業抓住時機提前相應事件：比如監測 Web 渠道中“被舍棄的購物車”，從而抓住當時轉瞬即逝的時機與潛在客戶進行交互；

提供極具響應性的個性化客戶體驗：在 API 需要數據之前將數據送至 API，消除加載期，提升 API 的響應性，最終提升用戶體驗水平；

將實時智能引入到應用之中：將情境信息引入到機器學習模型之中，從而幫助企業作出可根據情形變化而不斷演變的實時建議

戳此鏈接：https://ibm.github.io/event-streams/installing/trying-out/ 即可免費試用