知識布局-大數據apache基礎組件安裝文檔-kafka

前言

本人是一枚熱愛新技術的程序猿，想在知乎文藝一下。由於水平有限，如果存在知識點上面的錯誤，請大神明確指出，我會認真聽取，並及時修正自己的錯誤。

目錄

本文包含目錄中 kafka部署的章節。

6. kafka部署

......6.1.linux相應的配置文件

............6.1.1.profile配置

......6.2.kafka配置

......6.3.啟動kafka

6.kafka部署

概述

軟體版本：kafka「2.10-0.10.0.0」

6.1.linux相應的配置文件

6.1.1.profile配置

kafka_2.10-0.10.0.0安裝在/mnt/apps/kafka/kafka_2.10-0.10.0.0下面，所有的配置都是按照這個目錄進行配置的。

我們使用vim /etc/profile，進入進行編輯：

#set Kafka

export KAFKA_HOME=/mnt/apps/kafka/kafka_2.10-0.10.0.0

export PATH=$PATH:$KAFKA_HOME/bin

編輯完成之後，退出編輯，執行 source /ect/profile，即完成profile的配置。

6.2.kafka配置

broker.id=0

port=9092

num.network.threads=2

num.io.threads=8

socket.send.buffer.bytes=1048576

socket.receive.buffer.bytes=1048576

socket.request.max.bytes=104857600

log.dirs=/mnt/apps/kafka/kafka-logs

num.partitions=2

log.retention.hours=168

log.segment.bytes=536870912

log.retention.check.interval.ms=60000

log.cleaner.enable=false

zookeeper.connect=localhost:2181/kafka

zookeeper.connection.timeout.ms=1000000

broker配置參數說明

參數 默認值 描述

broker.id 0 每一個boker都有一個唯一的id作為它們的名字。當該伺服器的IP地址發生改變時，broker.id沒有變化，則不會影響consumers的消息情況

port 9092 broker server服務埠

host.name "" broker的主機地址，若是設置了，那麼會綁定到這個地址上，若是沒有，會綁定到所有的介面上，並將其中之一發送到ZK

log.dirs /tmp/kafka-logs kafka數據的存放地址，多個地址的話用逗號分割,多個目錄分布在不同磁碟上可以提高讀寫性能 /data/kafka-logs-1，/data/kafka-logs-2

message.max.bytes 1000012 表示消息體的最大大小，單位是位元組

num.network.threads 3 broker處理消息的最大線程數，一般情況下數量為cpu核數

num.io.threads 8 處理IO的線程數

log.flush.interval.messages Long.MaxValue 在數據被寫入到硬碟和消費者可用前最大累積的消息的數量

log.flush.interval.ms Long.MaxValue 在數據被寫入到硬碟前的最大時間

log.flush.scheduler.interval.ms Long.MaxValue 檢查數據是否要寫入到硬碟的時間間隔。

log.retention.hours 168 (24*7) 控制一個log保留多長個小時

log.retention.bytes -1 控制log文件最大尺寸

log.cleaner.enable false 是否log cleaning

log.cleanup.policy delete delete還是compat.

log.segment.bytes 1073741824 單一的log segment文件大小

log.roll.hours 168 開始一個新的log文件片段的最大時間

background.threads 10 後台線程序

num.partitions 1 默認分區數

socket.send.buffer.bytes 102400 socket SO_SNDBUFF參數

socket.receive.buffer.bytes 102400 socket SO_RCVBUFF參數

zookeeper.connect 指定zookeeper連接字元串， 格式如hostname:port/chroot。chroot是一個namespace

zookeeper.connection.timeout.ms 6000 指定客戶端連接zookeeper的最大超時時間

zookeeper.session.timeout.ms 6000 連接zk的session超時時間

zookeeper.sync.time.ms 2000 zk follower落後於zk leader的最長時間

6.3.啟動kafka

bin/kafka-server-start.sh config/server.properties &