Infinitely Often

08-13

Infinitely Often

7 人贊了文章打算在知乎開一個專欄寫一寫自己學習概率與隨機的過程。

這其實是一個很機緣巧合的事情，我本人是計算機專業，大學混了四年，稀里糊塗讀了個博士，最常做的事情是後悔自己沒讀數學。其實博士研究的方向是機器學習的優化演算法，做的也是比較偏理論的一個方向，但是由於自己能力有限，感覺很多時候都只能在推公式層面做一些事情，雖然也讀了一些paper卻很難有一個清晰的數學脈絡，感覺自己就是做了一些不等式放縮的事情（證明演算法收斂bound）。

今年年初從日本回來以後就不太想繼續做這樣的事情了，反正老闆也不限制自己的研究方向，就想做一些能夠提高自己數學直覺的東西，然後有不想完全放棄掉現在做的一些事情，在各種機緣巧合之下選了現在的方向——隨機分析與機器學習演算法的結合。其實一直以來都有人用這隨機的一套東西在做機器學習演算法的研究（例如Understanding Global Dynamics of Nonconvex Optimization via Diffusion Processes，Chris Junchi Li, Zhaoran Wang, Han Liu，NIPS2016），而且另外一個想法是自己經過這幾年的折騰，發現自己的興趣點確實也不再碼代碼之上，感覺還是想做一點數學相關的行業，也有同學給我推薦金融工程相關的工作，了解了一下還是覺得這個更佳切合自己的興趣點。綜合這兩點，最近的時間分配上就對這個方面傾斜了很多，從四月份開始斷斷續續看了一些書：

Probability：Theory and Examples by Durret, Chapter 1 - 3：也就是這本書的概率部分，後面關於stochastic process的部分還沒有看。自己的第一本從測度角度看概率的書，作者寫的挺好的，例子也很多。
Real analysis by Folland，Chapter1-3：這本書是自己看的第一本這個系列的書，前後看了三次，對於基本的measure theory和differential with measure有了一個大概80%的掌握程度。這本書講的東西很全，但是第一次自己看的時候很容易lost，因為完全不知道那些定義有什麼意義，為什麼要這麼發展一套理論，最後在和Durret的概率結合起來看的時候才知道很多東西為什麼要這麼來，也是值得好好琢磨的一本書。
Hao Wu-Martingale and Markov process：這個是Hao Wu博士2015年在Unige開給物理系的一個program的課程，主要講了離散時間離散狀態空間Markov Chain，離散時間Martingale，連續時間離散狀態Markov Chain三個方向的東西。課程上的很快，cover 的東西也很多，自己看了一次視頻，看了兩次課件，但感覺很多東西都只知道一個大概，很多理論自己還是沒有辦法自己獨立發展出來
Probability with Martingale：今天剛剛看完這本書，是David Williams在Cambridge開給大三學生的教材，感覺十分適合入門，基本的概念都有了，亮點在於其離散Martingale的部分，基本的理論都包含了。更重要的是作者在書中給了很多小的tips，告訴讀者哪裡重要，為什麼要這麼發展。當然這也是因為自己看過了Durret的書的原因，對很多東西都有了自己的一點點理解，所以收穫還是很大的。

接下來的打算是繼續看一點連續時間martingale和continuous time continuous state Markov chain的過程，然後向隨機積分的一些理論看了。書目大概就是自己圖像里的那幾本了，大致方向也是一下幾個：

分析和偏微分方程：

Folland Real Analysis 後一部分
Functional Analysis。Sobolev Spaces and Partial Differential Equations

高等概率和隨機過程，隨機微積分

A Course in Probability Theory
Foundations of Modern Probability
Introduction to Stochastic Integration
Bronian Motion and Stochastic Calculus
Stochastic Differential Equations
Stochastic Integration and Differential Equation

金融數學相關

Options，futures and other derivatives
Stochastic Calculus for Finance 1&2
金融中的計算方法
金融工程中的蒙特卡洛方法

書單很長，不過根據自己的經驗是開頭最難，中間往往比較輕鬆，但是到後來想要融合的時候又變難了，而且作為應用數學的分支，這些東西肯定是越用越簡單的，在看新知識的過程中對於老的東西也要不斷的溫習，不然到最後就變成一團漿糊了，規劃好合理的學習路線是一個十分考驗自己的事情。

另一個問題是自己在看書的過程中並沒有老師和同學進行交流，這就意味著所有的東西都要自己走一遍，而且自己會懷疑為什麼要學這個，看不清楚脈絡，這個過程也是十分消耗自己能量的。

不過在校學生的一個好處就是自己的時間安排相對充裕，大概每天可以花四個小時來專心學習這個，希望自己能在明年的這個時候有一個大致的了解吧！這樣算一來一年能有1200小時的時間，希望自己能夠看完這些書裡面2/3的內容，看書的時候每本書至少看三遍，第一遍扣細節，所有東西走下來（讀厚），第二遍看脈絡，思考為什麼這麼做（讀薄），第三遍整理自己的思路，整理出一份屬於自己的讀書筆記（讀厚）。

關於專欄的題目自己也想說一下，Infinitely often（i.o.）——第二Borel Cantelli Theorem告訴我們，如果一系列獨立事件發生的概率和趨向無窮，那麼這些事件中無窮多件發生的概率為1，也就是說雖然每一次看書可能取得的效果並不一定是最好，但是只要時間足夠長，最終還是會達到自己想要的效果的，積跬步才能致千里，希望自己能夠戒驕戒躁，踏踏實實的做一些事情。