當物理和機器學習相遇
01-29
我的研究方向是量子多體，最近正在接觸機器學習。機器學習做物理的確很早就有了。不過真正火起來其實也就是去年的事吧。國內<physics|machine learning>的學術會議也是去年下半年剛剛在北京辦了第一屆。所以這是一個新得不能再新的方向。因此現在談如何看待，如何評價這樣的問題，實在是......很容易被打臉呀(￣ε(#￣)☆╰╮(￣▽￣///)......不過我純粹的個人看法（flag）是：這是一個正在興起，在將來有大概率會給物理領域或（和？）機器學習領域帶來實質影響的方向。
推薦閱讀：
說起來這個方向怎麼就突然火了呢？
從14年下半年的這篇文章開始說吧。"An exact mapping between the Variational Renormalization Group and Deep Learning", Pankaj Mehta, David J. Schwab , arxiv:1410.3831, Oct 2014它證明了kadanoff的塊重整化可以映射成一種特殊的深層玻爾茲曼機。雖然它並沒有給出一個可以真正用來做事情的演算法。但是能夠嚴格地把重整化群這個多體物理領域的重要工具映射到機器學習模型，當時還是吸引了相當多的關注的。緊接著16年3月就發生了眾所周知的alphago戰勝李世石事件，物理學家像所有人一樣，關注了認識了機器學習這個大殺器的強大威力。心有戚戚然。於是他們就用他們聰明的小腦袋瓜想呀：1，能不能讓這個大殺器為我所用？（機器學習在物理學中的應用）2，能不能把這個大殺器收入我大物理麾下？（用物理理論挖掘機器學習能夠成功的原理）3，能不能搞個量子大殺器？（量子機器學習，這一塊知乎上 @Summer Clover 很在行）（嚴格地講，量子機器學習的興起要早於alphago，而1、2稍晚。"Quantum algorithms for supervised and unsupervised machine learning", Seth Lloyd, Masoud Mohseni, Patrick Rebentrost, arxiv:1307.0411, Jul 2013）然後16年5月這篇文章來了
"Machine learning phases of matter", Juan Carrasquilla, Roger G. Melko, arxiv:1605.01735, May 2016它第一次真的用監督學習算了一個統計物理模型：Ising model。 然後發現機器真的可以分類高溫相和低溫相的自旋構型。並且這樣的分類能力對無阻挫系統還有一定的推廣能力（比如你用正方格子的鐵磁Ising model來訓練，訓練出來的神經網路也能分類鐵磁三角格子的數據。 ）這篇文章的意義倒不是說算了一個多難的模型，模型很簡單，但它第一次向人們展示機器學習真的可以用來做物理問題。前方是一片無人踏足的新大陸，物理學家們眼睛都綠了，多好的機會呀！於是在接下來短短半年內就出現了許多不錯的工作："Discovering Phase Transitions with Unsupervised Learning", Lei Wang, arxiv:1606.00318, Jun 2016"Solving the Quantum Many-Body Problem with Artificial Neural Networks", Guiseppe Carleo, Matthias Troyer, arxiv1606.02318, June 2016"Machine learning quantum phases of matter beyond the fermion sign problem", Peter Broecker, Juan Carrasquilla, Roger G. Melko, Simon Trebst, arxiv:1608.07848, Aug 2016"Machine Learning Phases of Strongly Correlated Fermions", Kelvin Chng, Juan Carrasquilla, Roger G. Melko, Ehsan Khatami, arxiv:1609.02552, Sep 2016"Exact Machine Learning Topological States", Dong-Ling Deng, Xiaopeng Li, S. Das Sarma, arxiv:1609.09060, Sep 2016"Accelerate Monte Carlo Simulations with Restricted Boltzmann Machines", Li Huang, Lei Wang, arxiv:1610.02746, Oct 2016
"Self-Learning Monte Carlo Method", Junwei Liu, Yang Qi, Zi Yang Meng, Liang Fu, arxiv:1610.03137, Oct 2016"Learning Thermodynamics with Boltzmann Machines", Giacomo Torlai, Roger G. Melko, arxiv:1606.02718, Jun 2016"Self-Learning Monte Carlo Method", Junwei Liu, Yang Qi, Zi Yang Meng, Liang Fu, arxiv:1610.03137, Oct 2016etc...（那篇投science的預印本也在裡面，另外上述作者中至少有兩位知友(~￣3￣)~）[1606.02318] Solving the Quantum Many-Body Problem with Artificial Neural Networks16年6月出現在arXiv上，最近被science接收。又把一堆物理學家給震了，要知道搞理論搞計算的物理學家要發篇science那難度...這篇文章用限制玻爾茲曼機的網路結構作為基態波函數ansatz來做變分蒙卡求量子模型（橫場Ising和heisenberg）基態。就這麼簡單一弄，出來的結果卻比目前的數值演算法效果好。物理學家們一邊覺得有點毀三觀，一邊想想也對，限制玻爾茲曼機這種ansatz的優勢第一參數相對較少，第二天生適合描述非局域糾纏/相互作用。用來描述基態正合適。於是這篇文章也給人一些想入非非的大餅，那這種ansatz推廣到更複雜更重要的體系效果如何呢？比如spin liquid？比如hubbard模型? 非常值得一試呀！另外物理學家們當然也在嘗試著用物理的武器庫來優化機器學習演算法。比如這篇"Supervised Learning with Quantum-Inspired Tensor Networks", E. Miles Stoudenmire, David J. Schwab, arxiv:1605.05775, May 2016
把DMRG（密度矩陣重整化群）用到監督學習中，將原來的網路svd成矩陣乘積態。不但同樣可以訓練出來，而且很顯著的節省了計算代價。當然我們也要用物理學的思想來探討一下機器學習為什麼這麼成功："Why does deep and cheap learning work so well?", Henry Lin, Max Tegmark, arxiv:1608.08225, Aug 2016幾乎所有的機器學習演算法，都可以看做是在變分擬合某種未知的概率分布。但讓人費解的地方是，這些概率分布的可能取值非常大，遠遠大於宇宙的原子總數（400個像素的黑白圖片的可能取值激素2的400次方，約合10的120次方，宇宙原子數約10的80次方）。為什麼僅用幾萬幾十萬的數據樣本就可以把這些概率分布逼近得如此好？這件在數學上讓人迷惑不解的事實有可能物理學家能夠回答哦。或許我們餵給機器的所有圖片，我們關心的所有圖片，都只是圖片的可能集合中的極小部分（雪花白雜訊的可能取值比任何一種圖片都多，但我們不關心。）換句話說，我們覺得有意義的圖片，都或多或少是現實世界的反映。現實世界是要服從物理定律的。這使得我們認為有意義的圖片信息也往往在旋轉不變性，平移不變性，局域性等等嚴苛的物理定律的限制下極大的縮小了取值範圍。又比如我們在理解圖片的時候並不需要記住每一個像素點，我們看的是大框架。用物理的話說，我們不關心圖片的微觀細節，我們在意的是這些微觀細節重整化完了之後剩下的那些東西。那些微觀模型的「低能」近似。（最接近高能極限的圖片長什麼樣子呢？雪花白雜訊咯，每一個像素點都在劇烈漲落，不過我們不關心這樣的圖片）所以機器學習本質上是一個物理問題嗎？ 我沒有答案。最後安利一下我們自己的一個工作"On the Equivalence of Restricted Boltzmann Machines and Tensor Network States", Jing Chen, Song Cheng, Haidong Xie, Lei Wang, Tao Xiang, arxiv:1701.04831, Jan 2017
在張量網路和限制玻爾茲曼機之間建立了一個嚴格的映射，用張量網路這邊的工具（比方說糾纏熵，約化密度矩陣）討論了限制玻爾茲曼機網路結構的表示能力。總之呢，正如我最開始說的那樣，這是一個正在興起的方向，希望它走得長久，圍棋這個人類智力高峰已經被AI拿下了，前沿物理研究這個智力高峰有生之年能拿下么^ ^~==================================================================我掛一漏萬隻給出了很少的一些工作。有興趣了解更多的同學。我非常推薦Roger Melko 與 Miles Stoudenmire 整理的這個網頁：
Papers
推薦閱讀：
※關於對易力學完全集有沒有比較直觀的理解？
※解讀潘建偉最新工作：量子通信技術實用化飛躍
※百年經典：物理學家的至高目標
※聲源離我10米，我聽到的頻率是440，那麼，當我距離聲源60米的時候，我聽到的頻率是多少？