如何評價 2017 年 12 月 5 日發布的 PyTorch 0.3.0？

01-13

PyTorch-v0.3.0

難道以後每個小版本也要出現"看待"問題了？

-------------正文-----------

簡單談一下，比較吸引我的幾點∶

1.更快。softmax和log_softmax提速4x到256x(震驚臉)。分散式的AllReduce提速2.5x到3x。還有framwork的overhead變小了

2.Unreduced Loss. 以前的做法是會sum整個mini batch里的loss，現在可以選擇為每個example返回individual loss了。感覺又可以對loss hack一發了

3.load_state_dict可選擇是否嚴格match key.想當初load model的時候你非得嚴格match key不然就得寫一段代碼來判斷，雖然很短，但是真的反邏輯啊。現在好了，可以選擇了，不嚴格的時候，就只load能對上的parameter，對不上的ignore

4.有個看起來酷酷的 in-built profiler，可以用來查看各個步驟cpu和gpu上的耗時了

暫時這些啦~等用起來再體會體會。

感覺0.4也不遠了吧

有點過了，0.3沒有什麼大的breaking的修改，等variable和tensor合併了再說吧。

（aten的工作量是很大的，但對前端來說沒什麼區別。）

個人覺得沒有0.1到0.2的步子大。但我覺得0.4 可能很快就會出。

最近在寫強化學習的東西。

原先的版本中是內置了Variable.reinforce()這個用於策略梯度的函數，但是讓人感覺沒頭沒腦的，不知道其作用機理。新版本的release list第一條就是修改了這個函數，讓它變得更加直觀了。具體的可以參見release list。

啥時候官方支持windows了，我一定把pytorch吹上天。然而現在還得靠好心人做的第三方windows包，更新速度慢不說，還有各種迷之bug。今天跑wgan跑到176iteration就kernel died，每次如此，哎╮(￣⊿￣)╭

似乎是修復了dataparallel的死鎖……但是我想知道dataparallel的內存泄漏和per-loop效率不斷降低修好沒有………

好像0.3和OPENCV3有衝突

conda opencv之後 pytorch會安裝成低版本的

這有啥可看待的。。。自己看：

https://github.com/pytorch/pytorch/releases

還是等0.4出來，加上JIT，才是脫胎換骨。

pytorch0.3增加了onnx的支持，目前pytorch的模型能夠轉化為onnx的模型，除此之外，onnx支持模型的可視化，也許能解決pytorch模型可視化工具欠缺的問題