1、Kafka解析
2、Kafka安裝實(shí)戰(zhàn)

Kafka元數(shù)據(jù)被ZooKeeper管理
Kafka是Scala寫的，所以需要安裝Scala、Java

將slf4j-nop-1.7.6.jar拷貝到kafka的libs目錄下，slf4j用于nohup
配置集群中每臺(tái)機(jī)器：
1、配置.bashrc

export KAFKA_HOME=/usr/local/kafka_2.10-0.9.0.10-0
PATH加入{$KAFKA_HOME}/bin

2、配置屬性
kafka目錄下server.properties
broker.id=0(每臺(tái)機(jī)器不同Worker1設(shè)置為1，Worker2設(shè)置為2)

zookeeper.connect=Master:2181,Worker1:2182,Worker2:2181(zookeeper client默認(rèn)端口)

3、啟動(dòng)（所有機(jī)器都要啟動(dòng)）

nohup ./kafka-server-start.sh ../config/server.properties &

創(chuàng)建topic

./kafka-topics.sh --create --zookeeper Master:2181,Worker1:2181,Worker2:2181 --replication-factor 3 --partitions 1 --topic HelloKafka

查看topic

./kafka-topics.sh --discribe --zookeeper Master:2181,Worker1:2181,Worker2:2181 --topic HelloKafka

配置生產(chǎn)者

./kafka-console-producer.sh --broker-list Master:9092,Worker1:9092,Worker2:9092 --topic HelloKafka

在下面輸入
This is DT_Spark!
I’m Rocky!
Life is short, you need Spark!

消費(fèi)者：

./kafka-console-consumer.sh --zookeeper Master:2181,Worker1:2181,Worker2:2181 --from-beginning --topic HelloKafka