請對logstash與flume做比較？

01-28

看了一些文章，發現並沒有直接拿logstash和flume來做全面比較的觀點，相反，反而有拿flume和kafka做比較的，不知是否是我理解有誤，我覺得flume在功能上應該與logstash相同，而kafka在整個架構中負責的僅僅是消息隊列的角色。
那麼不管怎麼說，我想知道，logstash和flume之間的優劣，和各自所適合的場景，希望有這方面的高手給予指教，謝謝大家~

因為logstash內部是沒有一個persist queue的，所以在異常情況下，是可能出現數據丟失的問題的。只是在運維日誌場景下，一般認為這個可能不重要。

而flume是有自己內部機制確保這個問題，所以可以用於一些更重要的業務日誌場景下。

除了這個以外，區別就是logstash有比flume豐富的多的插件可選。所以在擴展功能上比flume全面。

我跟你感覺一樣，正在了解，有想法了，回頭再來補充。

flume kafka sourcesink contributor。12年選型的時候，logstash主要因為是ruby寫的，還要運行在jruby，grok也很麻煩，相比之下，flume的框架比較清晰，比如source，channel，sink的概念。而且是用java開發的，二次開發也很方便（比如java二把刀的我）。flume還有對外暴露的監控埠，有詳細的運行數據。

flume的不足就是jvm佔用內存有點大，目前我已經轉向golang的heka了，但還不是很成熟。

flume扮演的角色是數據的管道。自己試試，看看哪個順手

是的題主說的沒錯，flume跟logstash都作為agent而存在。

關於合不合適我覺得還是要看需求。

比如做日誌收收集，數據最終流向es那麼使用logstash就有很大優勢, 因為緊跟es版本發布。當然也可以用kafka做個個彙集層FLUME--&>kafka--&>logstash--&>es。

性能方面沒有詳細測過，我覺得穩定不丟數據就好。

適合自己的就是好的。也可以試一下seci-log