標籤:

《Simplifying data pipelines with Apache Kafka》課程第三章Kafka Producer問題集

1.producer可以控制發送message到哪個partition嗎?發送到leader還是follower?

2.batching可以看作是什麼的tradeoff?

batching可以看作speed-throughput tradeoff。

3.producer有哪些配置項?

bootstrap.servers只用寫一個broker就可以,kafka會自動找到其它的broker。

也可以寫多個,防止寫一個broker而這個broker恰好掛了。

client.id就是一個字元串,比如producer1,主要是看日誌時debug用的,該欄位可選。

ack=0並不等broker確認收到,所以有可能丟失信息。但是這種方式可以得到最大的吞吐量。

ack=1的話只要leader收到消息並寫到磁碟上了就確認,如果在follower replicate之前leader掛了,消息就丟失了。

ack=all的話則可以保證消息不丟失,但吞吐量肯定不行。

所以ack相當於是durability-throughput tradeoff.

4.配置producer的例子?

5.KafkaProducer的使用?


推薦閱讀:

原創乾貨 | Hive與HBase的集成實踐
Hive中的四種條件語句
大數據那些事(7):騰飛的拉丁豬

TAG:Hive |