本系列目錄:
一悦即、CentOS集群搭建(2)--CentOS設(shè)置篇
五泳叠、kafka集群搭建
本節(jié)需要的安裝包有:
※kafka_2.11-2.1.0.tgz
※scala-2.11.12.tgz
※slf4j-1.7.25.zip
1.安裝Scala
1.1?將scala-2.11.12.tgz主機Mac的終端分別傳輸?shù)絘1中的/usr/local目錄下
1.2 使用命令進行解壓縮scala-2.11.12.tgz,
命令為:tar -zvxf?scala-2.11.12.tgz
1.3 重命名:mv scala-2.11.12?scala
1.4 配置scala相關(guān)的環(huán)境變量
vi ~/.bashrc
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin
source ~/.bashrc
1.5 查看scala是否安裝成功危纫,命令:scala -version
出現(xiàn)圖5.1.1所示粉洼,即代表安裝成功
1.6 將a1中的scala、~/.bashrc通過scp命令拷貝到a2叶摄,a3中的/usr/local目錄下属韧,并將~/.bashrc生效
2 安裝kafka包
2.1 將kafka_2.11-2.1.0.tgz主機Mac的終端分別傳輸?shù)絘1中的/usr/local目錄下
2.2 使用命令進行解壓縮kafka_2.11-2.1.0.tgz,
命令為:tar -zvxf?kafka_2.11-2.1.0.tgz
2.3 重命名:mv?kafka_2.11-2.1.0?kakfa
2.4 配置kafka
鍵入命令:vi /usr/local/kafka/config/server.properties
修改a1的broker.id=0蛤吓,a2的broker.id=1宵喂,a3的broker.id=2,以此類推会傲,集群中的Broker是唯一id
zookeeper.connect=192.168.43.107:2181,192.168.43.108:2181,192.168.43.109:2181
如圖5.1.2所示
3 安裝slf4j
3.1?將slf4j-1.7.25.zip主機Mac的終端分別傳輸?shù)絘1中的/usr/local目錄下
3.2 使用命令解壓縮slf4j-1.7.25.zip锅棕,命令:unzip slf4j-1.7.25.zip
遇到問題拙泽,如圖5.1.3所示
解決辦法:鍵入命令,下載unzip裸燎,命令:yum install unzip
3.3? 更改slf4j-1.7.25顾瞻,命令:mv?slf4j-1.7.25 slf4j
3.4 將slf4j中的slf4j-nop-1.7.25.jar復(fù)制到kafka的libs目錄下,
命令:cp slf4j-nop-1.7.25.jar /usr/local/kafka/libs
4 搭建kafka集群
4.1 使用scp命令德绿,將a1中的kafka拷貝到a2和a3的/usr/local目錄下
4.2 需要修改/usr/local/kafka/config/server.properties中的broker.id的值(注荷荤,前面已經(jīng)敘述過)
5 啟動kafka集群
5.1 在三臺虛擬機的/usr/local/kafka目錄下分別執(zhí)行
命令:nohup bin/kafka-server-start.sh config/server.properties &
結(jié)果如圖5.1.4所示
錯誤一、如果不在/usr/local/kafka目錄下執(zhí)行命令移稳,則會報錯導(dǎo)致無法啟動蕴纳,如圖5.1.5所示
錯誤二,這個版本的kafka不會出現(xiàn)个粱,如果使用2.9.2-0.8.1版本的kafka會報錯古毛,導(dǎo)致無法啟動,解決方法①更換成本文的版本都许,②如圖5.1.6所示
6 測試kafka集群
首先進入在a1的/usr/local/kafka目錄
6.1 鍵入命令:bin/kafka-topics.sh --zookeeper 192.168.43.107:2181,192.168.43.108:2181,192.168.43.109:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create
報錯稻薇,如圖5.1.7:
解決方法和正確結(jié)果,如圖5.1.8
6.2 鍵入命令:bin/kafka-console-producer.sh --broker-list?192.168.43.107:9092,192.168.43.108:9092,192.168.43.109:9092 --topic TestTopic
然后復(fù)制a1胶征,選擇clone Session塞椎,如圖5.1.9所示
6.3 在克隆出來的a1窗口鍵入命令:bin/kafka-console-consumer.sh --zookeeper 192.168.43.107:2181,192.168.43.108:2181,192.168.43.109:2181 --topic TestTopic --from-beginning
報錯,如圖5.1.10所示
原因和解決辦法:上述命令在0.9版本以下適用弧烤,本文的kafka版本為2.1.0版本忱屑,所以使用命令:bin/kafka-console-consumer.sh --bootstrap-server 192.168.43.107:9092,192.168.43.108:9092,192.168.43.109:9092?--topic TestTopic?--from-beginning
結(jié)果如圖5.1.11、5.1.12所示:
至此kafka集群搭建完成~