《Simplifying data pipelines with Apache Kafka》課程第三章Kafka Producer問題集
02-03
1.producer可以控制發送message到哪個partition嗎?發送到leader還是follower?
3.producer有哪些配置項?
4.配置producer的例子?5.KafkaProducer的使用?
推薦閱讀:
2.batching可以看作是什麼的tradeoff?
batching可以看作speed-throughput tradeoff。
bootstrap.servers只用寫一個broker就可以,kafka會自動找到其它的broker。
也可以寫多個,防止寫一個broker而這個broker恰好掛了。
client.id就是一個字元串,比如producer1,主要是看日誌時debug用的,該欄位可選。
ack=0並不等broker確認收到,所以有可能丟失信息。但是這種方式可以得到最大的吞吐量。
ack=1的話只要leader收到消息並寫到磁碟上了就確認,如果在follower replicate之前leader掛了,消息就丟失了。
ack=all的話則可以保證消息不丟失,但吞吐量肯定不行。
所以ack相當於是durability-throughput tradeoff.
推薦閱讀:
※原創乾貨 | Hive與HBase的集成實踐
※Hive中的四種條件語句
※大數據那些事(7):騰飛的拉丁豬
TAG:Hive |