[ Big data ] Apache Zookeeper 與 Kafka 安裝教學

上一篇 Apache Kafka 介紹 文章有提到 Kafka 基本介紹以及串接教學,但由於安裝部分是透過 Hortonworks 安裝包直接做安裝,會連同一些額外的套件一起安裝,因此本篇教學主要是以如何只安裝 Zookeeper 用來管理 Kafka 叢集為主。 Apache Zookeeper Zookeeper 介紹 ZooKeeper 是一個開源管理分散式的服務套件,用來處理分散式應用程式協調,以Fast Paxos 演算法為基礎, »

[ Big data ] Apache Kafka 使用 Python 介接

本文章將展示如何使用 Python 串接 Kafka Message Broker,並傳送模擬系統 Log 資料至 Topic,如果對 Kafka 介紹、安裝或使用方式還不了解的朋友,可以參考之前寫的文章 Apache Kafka Message Broker 使用教學。 Kafka 部分 Step 1. 確認目前 Kafka »

[ Big data ] Apache Kafka Message Broker 使用教學

在做工業 4.0 或是物聯網的解決方式案中,使用情境上常會需要蒐集多個產線或是多個場域內的感應器(Sensor)資料,因此需要有一個訊息接受器(Broker)用來處理接收不同通道的訊息。 本篇主要和大家分享如何使用 Apache 生態系中開源的 Kafka 訊息系統。 Apache Kafka Kafka 介紹 Kafka 起源是由 Linkedin 的專業人士社群網站所開發,主要提供分散式的messaging system ,於 »