如何評價spark的機器學習框架 和 tensorflow的機器學習系統?

Spark ML 和 Tensorflow / DMTK有什麼區別和優劣?


現在的深度學習過程是一個計算密集的過程。

然後就是深度學習理論很難也暫時沒有很完美的數學解釋,從2006年開始復甦,才過去十年。

現在的理論解釋很多是用類比的方法,很直覺。舉個例子,dropout的論文里引用了一段生物學的知識,說的是有性生殖,lecun同學為了解釋深度學習不需要顧慮局部最小的問題,因為存在的概率很小,小到可以忽略,用的方法是公式大變形,將深度學習的公式換了個形式,同時加了幾個可能不太嚴格的條件,然後就可以用玻璃的統計物理學解釋來討論問題了!

這兩個系統會互相學習,但是現在看來,用spark來做深度學習訓練有點效率不太好


window下咋安裝呢 用docker安裝不上啊 翻牆也不行

錯誤如下:

哪位能幫我看看嘛

think@dell MINGW64 ~

$ docker run http://b.gcr.io/tensorflow/tensorflow-full

Unable to find image "http://b.gcr.io/tensorflow/tensorflow-full:latest" locally

docker: Error response from daemon: unable to ping registry endpoint https://b.g

http://cr.io/v0/

v2 ping attempt failed with error: Get https://b.gcr.io/v2/: dial tcp 64.233.188

.82:443: i/o timeout

v1 ping attempt failed with error: Get https://b.gcr.io/v1/_ping: dial tcp 64.2

33.188.82:443: i/o timeout.

See "E:Program FilesDocker Toolboxdocker.exe run --help".

think@dell MINGW64 ~

$ docker run -it http://b.gcr.io/tensorflow/tensorflow

Unable to find image "http://b.gcr.io/tensorflow/tensorflow:latest" locally

docker: Error response from daemon: unable to ping registry endpoint https://b.g

http://cr.io/v0/

v2 ping attempt failed with error: Get https://b.gcr.io/v2/: dial tcp 64.233.188

.82:443: i/o timeout

v1 ping attempt failed with error: Get https://b.gcr.io/v1/_ping: dial tcp 64.2

33.188.82:443: i/o timeout.

See "E:Program FilesDocker Toolboxdocker.exe run --help".

think@dell MINGW64 ~

$ docker run -it http://b.gcr.io/tensorflow/tensorflow

Unable to find image "http://b.gcr.io/tensorflow/tensorflow:latest" locally

docker: Error response from daemon: unable to ping registry endpoint https://b.g

http://cr.io/v0/

v2 ping attempt failed with error: Get https://b.gcr.io/v2/: dial tcp 64.233.189

.82:443: i/o timeout

v1 ping attempt failed with error: Get https://b.gcr.io/v1/_ping: dial tcp 64.2

33.189.82:443: i/o timeout.

See "E:Program FilesDocker Toolboxdocker.exe run --help".

think@dell MINGW64 ~

$ docker run -d -p 8888:8888 -v /notebook:/notebook xblaster/tensorflow-jupyter

cbe87996b37ddb1d5dd40cae846f4a1e3f8e2f8c8eaabf569af33e0a663a2620


推薦閱讀:

如何解釋spark mllib中ALS演算法的原理?
關於Spark有哪些大牛們的博客?
有什麼關於 Spark 的書推薦?
想研讀下spark的源碼,怎麼搭閱讀和調試的環境呢?
如何高效閱讀 Spark 和 Hadoop 這類大型開源項目源代碼?有什麼工具可以藉助?

TAG:人工智慧 | 機器學習 | 大數據 | Spark | TensorFlow |