storm為什麼總是和消息隊列一起用呢？

01-31

storm為什麼總是和消息隊列一起用呢？
storm的一個 spout讀取資料庫時，如果spout是多個線程的話，那麼線程並發讀取數據，數據都是一樣的。應該怎麼處理，讓spout是單線程的嗎？

謝邀

storm的解決問題的scope主要在於流計算，說流計算之前我們先簡單的說下一般數據處理系統的過程。一般數據處理簡單說要有幾個環節：數據採集，數據計算，結果輸出。題主的問題主要是在數據採集和計算之間的對接。

一般來說計算系統（storm）不會自己產生業務數據，業務數據一般來自頁面的埋點，或者對資料庫log的解析，對於storm來說採集系統是個外部系統。採集系統是數據的生產者，流計算（storm）是數據的消費者。二者的速度並不是時時刻刻匹配的，中間就需要需要一個緩衝，這個模型下消息隊列在適合不過了。當然為什麼一般用kafka，這個超出了這個問題，我們暫不討論。如果題主要處理的數據不是實時產生的而是靜態數據那就沒必要使用消息隊列了，當然也沒必要使用storm，使用hadoop MR更合適。

關於spout會不會重複讀取數據的問題，簡單來說消息隊列中數據會分partition支持多並發。題主可以看看kafka的文檔，一般消息隊列，對一份數據（一個topic，對應離線系統的表）會分不同的parition，不同的spout並發可以讀取不同的parition，當然一個並發可以讀取多個parition，但是多個並發讀取一個parition會引起混亂這就是題主的問題。也就是實際應用中一個parition只會有一個並發讀取。

首先，storm 並不一定需要用到消息隊列。只是在大多數應用場景下，不同的處理過程間的速率並不是對等的，比如日誌的瞬時產生速度比 storm 處理速度和入庫的速度要快。速率差當然可以通過付出更大的代價來做到一致，這樣就可以扔掉消息隊列了，但絕大多數情況下並不值得這麼做。

其次，消息隊列只是解決處理速度差異的一種方式，你還可以使用緩存，資料庫，以及一切你可以想到的用來暫時存儲一下的東西。消息隊列出現的頻率高是因為它的特性適合這一場景。

spout 一定是一個多線程的，即使只有一個 executor。如果你不希望並發讀取數據帶來的資源消耗，更好的做法是通過緩存以及外部全局鎖來實現，是否值得就得根據實際情況來確定啦。

順便打個小廣告，布爾財經 是昊讀數據基於十數年的 非結構化大數據NLP數據、演算法積累，基於主題投資及事件驅動的金融大數據模型研發的一款專業投資決策工具，是理性投資者研判市場、選股、擇時、倉位控制的專業投資系統。