從頭學習大數據培訓課程 spark 基於內存的分散式計算框架（八）Spark 的 updateStateByKey...

1.updateStateByKey

代碼：

結果：

2.windows

修改代碼：

原理結果：

3.streaming用checkpoint恢復歷史數據

從結果看出可以恢復歷史數據

注意事項：

重新編譯之後在checkpoint里找不到

放在外面時會與要恢復的streaming環境產生衝突，所以初始化失敗

4.updateStateByKey只使用最近更新的值

數據對象

代碼：

結果：

5.SparkStreamingFile

監控目錄的文件並讀入，目錄進入新文件時必須保證原子性

代碼：

結果：

版權聲明:原創作品,允許轉載，轉載時務必以超鏈接的形式表明出處和作者信息。否則將追究法律責任。來自海牛學院－青牛