五、kafka集群搭建

本系列目錄:

一虱黄、CentOS集群搭建(1)--CentOS安裝篇

一悦即、CentOS集群搭建(2)--CentOS設(shè)置篇

一、CentOS集群搭建(3)

二橱乱、Hadoop集群搭建

三辜梳、Hive搭建(不需要搭建集群)

四、Zookeeper集群搭建

五泳叠、kafka集群搭建

六作瞄、Spark集群搭建

本節(jié)需要的安裝包有:

※kafka_2.11-2.1.0.tgz

※scala-2.11.12.tgz

※slf4j-1.7.25.zip

1.安裝Scala

1.1?將scala-2.11.12.tgz主機Mac的終端分別傳輸?shù)絘1中的/usr/local目錄下

1.2 使用命令進行解壓縮scala-2.11.12.tgz,

命令為:tar -zvxf?scala-2.11.12.tgz

1.3 重命名:mv scala-2.11.12?scala

1.4 配置scala相關(guān)的環(huán)境變量

vi ~/.bashrc

export SCALA_HOME=/usr/local/scala

export PATH=$SCALA_HOME/bin

source ~/.bashrc

1.5 查看scala是否安裝成功危纫,命令:scala -version

出現(xiàn)圖5.1.1所示粉洼,即代表安裝成功

圖5.1.1

1.6 將a1中的scala、~/.bashrc通過scp命令拷貝到a2叶摄,a3中的/usr/local目錄下属韧,并將~/.bashrc生效

2 安裝kafka包

2.1 將kafka_2.11-2.1.0.tgz主機Mac的終端分別傳輸?shù)絘1中的/usr/local目錄下

2.2 使用命令進行解壓縮kafka_2.11-2.1.0.tgz,

命令為:tar -zvxf?kafka_2.11-2.1.0.tgz

2.3 重命名:mv?kafka_2.11-2.1.0?kakfa

2.4 配置kafka

鍵入命令:vi /usr/local/kafka/config/server.properties

修改a1的broker.id=0蛤吓,a2的broker.id=1宵喂,a3的broker.id=2,以此類推会傲,集群中的Broker是唯一id

zookeeper.connect=192.168.43.107:2181,192.168.43.108:2181,192.168.43.109:2181

如圖5.1.2所示

圖5.1.2

3 安裝slf4j

3.1?將slf4j-1.7.25.zip主機Mac的終端分別傳輸?shù)絘1中的/usr/local目錄下

3.2 使用命令解壓縮slf4j-1.7.25.zip锅棕,命令:unzip slf4j-1.7.25.zip

遇到問題拙泽,如圖5.1.3所示

圖5.1.3

解決辦法:鍵入命令,下載unzip裸燎,命令:yum install unzip

3.3? 更改slf4j-1.7.25顾瞻,命令:mv?slf4j-1.7.25 slf4j

3.4 將slf4j中的slf4j-nop-1.7.25.jar復(fù)制到kafka的libs目錄下,

命令:cp slf4j-nop-1.7.25.jar /usr/local/kafka/libs

4 搭建kafka集群

4.1 使用scp命令德绿,將a1中的kafka拷貝到a2和a3的/usr/local目錄下

4.2 需要修改/usr/local/kafka/config/server.properties中的broker.id的值(注荷荤,前面已經(jīng)敘述過)

5 啟動kafka集群

5.1 在三臺虛擬機的/usr/local/kafka目錄下分別執(zhí)行

命令:nohup bin/kafka-server-start.sh config/server.properties &

結(jié)果如圖5.1.4所示

圖5.1.4

錯誤一、如果不在/usr/local/kafka目錄下執(zhí)行命令移稳,則會報錯導(dǎo)致無法啟動蕴纳,如圖5.1.5所示

圖5.1.5

錯誤二,這個版本的kafka不會出現(xiàn)个粱,如果使用2.9.2-0.8.1版本的kafka會報錯古毛,導(dǎo)致無法啟動,解決方法①更換成本文的版本都许,②如圖5.1.6所示

圖5.1.6

6 測試kafka集群

首先進入a1的/usr/local/kafka目錄

6.1 鍵入命令:bin/kafka-topics.sh --zookeeper 192.168.43.107:2181,192.168.43.108:2181,192.168.43.109:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create

報錯稻薇,如圖5.1.7:

圖5.1.7

解決方法和正確結(jié)果,如圖5.1.8

圖5.1.8

6.2 鍵入命令:bin/kafka-console-producer.sh --broker-list?192.168.43.107:9092,192.168.43.108:9092,192.168.43.109:9092 --topic TestTopic

然后復(fù)制a1胶征,選擇clone Session塞椎,如圖5.1.9所示

圖5.1.9

6.3 在克隆出來的a1窗口鍵入命令:bin/kafka-console-consumer.sh --zookeeper 192.168.43.107:2181,192.168.43.108:2181,192.168.43.109:2181 --topic TestTopic --from-beginning

報錯,如圖5.1.10所示

圖5.1.10

原因和解決辦法:上述命令在0.9版本以下適用弧烤,本文的kafka版本為2.1.0版本忱屑,所以使用命令:bin/kafka-console-consumer.sh --bootstrap-server 192.168.43.107:9092,192.168.43.108:9092,192.168.43.109:9092?--topic TestTopic?--from-beginning

結(jié)果如圖5.1.11、5.1.12所示:

圖5.1.11
圖5.1.12

至此kafka集群搭建完成~

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末暇昂,一起剝皮案震驚了整個濱河市莺戒,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌急波,老刑警劉巖从铲,帶你破解...
    沈念sama閱讀 211,290評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異澄暮,居然都是意外死亡名段,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評論 2 385
  • 文/潘曉璐 我一進店門泣懊,熙熙樓的掌柜王于貴愁眉苦臉地迎上來伸辟,“玉大人,你說我怎么就攤上這事馍刮⌒欧颍” “怎么了?”我有些...
    開封第一講書人閱讀 156,872評論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長静稻。 經(jīng)常有香客問我警没,道長,這世上最難降的妖魔是什么振湾? 我笑而不...
    開封第一講書人閱讀 56,415評論 1 283
  • 正文 為了忘掉前任杀迹,我火速辦了婚禮,結(jié)果婚禮上押搪,老公的妹妹穿的比我還像新娘树酪。我一直安慰自己,他們只是感情好嵌言,可當(dāng)我...
    茶點故事閱讀 65,453評論 6 385
  • 文/花漫 我一把揭開白布嗅回。 她就那樣靜靜地躺著及穗,像睡著了一般摧茴。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上埂陆,一...
    開封第一講書人閱讀 49,784評論 1 290
  • 那天苛白,我揣著相機與錄音,去河邊找鬼焚虱。 笑死购裙,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的鹃栽。 我是一名探鬼主播躏率,決...
    沈念sama閱讀 38,927評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼民鼓!你這毒婦竟也來了薇芝?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,691評論 0 266
  • 序言:老撾萬榮一對情侶失蹤丰嘉,失蹤者是張志新(化名)和其女友劉穎夯到,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體饮亏,經(jīng)...
    沈念sama閱讀 44,137評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡耍贾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,472評論 2 326
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了路幸。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片荐开。...
    茶點故事閱讀 38,622評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖简肴,靈堂內(nèi)的尸體忽然破棺而出晃听,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 34,289評論 4 329
  • 正文 年R本政府宣布杂伟,位于F島的核電站移层,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏赫粥。R本人自食惡果不足惜观话,卻給世界環(huán)境...
    茶點故事閱讀 39,887評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望越平。 院中可真熱鬧频蛔,春花似錦、人聲如沸秦叛。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽挣跋。三九已至三圆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間避咆,已是汗流浹背舟肉。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留查库,地道東北人路媚。 一個月前我還...
    沈念sama閱讀 46,316評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像樊销,于是被迫代替她去往敵國和親整慎。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,490評論 2 348

推薦閱讀更多精彩內(nèi)容