學習筆記【深度學習】1 : 數學符號、深度學習的概念

04-13

作者：利炳根

數學符號。

數和數組。??，標量(整數或實數)。??，向量。??，矩陣。??，張量。????，??行??列單位矩陣。??，維度蘊含上下文單位矩陣。?????，標準基向量[0,…,0,10,…,0]，其中索引n處值為1。diag(??)，對象方陣，其中對象元素由??給定。a，標量隨機變數。??，向量隨機變數。??，矩陣隨機變數。

集合和圖。??，集合。?，實數集。{0,1}，包含0和1集合。{0,1,…,??}，包含0和??之間所有整數的集合。[??,??]，包含??和??的實數區間。(??,??]，不包含??但包含??的實數區間。????，差集，即其元素包含於??但不包含於??。??，圖。??????(????)，圖??中????的父節點。

索引。????，向量??的第??個元素，其中索引從1開始。?????，除了第??個元素，??的所有元素。????,??，矩陣??的??,??元素。????,:，矩陣??的第??行。??:,??，矩陣??的第??列。????,??,k，3維張量??的(??,??,??)元素。??:,:,??，3維張量??的2維切片。a??，隨機向量??的第??個元素。

線性代數操作。???，矩陣??的轉置。???，??的Moore-Penrose偽造。?????，??和??的逐元素乘積(Hadamard乘積)。??????(??)，??的行列式。

微積分。????/????，y關於x的導數。???/???，y關於x的偏導。?????，y關於x的梯度。?????，y關於??的矩陣導數。?????，y關於??求導後的張量。???/???，??:??->???的Jacobian矩陣??∈??m*n?。??????x???(x)or??(??)(x)，??在點??處的Hessian矩陣。∫??(??)????，??整個域上的定積分。∫????(??)????，集合??上關於??定積分。

概率和資訊理論。a⊥b，a和b相互獨立的隨機變數。a⊥b|c，給定c後條件獨立。P(a)，離散變數上的概率分布。p(a)，連續變數(或變數類型未指定時)上的概率分布。a~P，具有分布P的隨機變數a。Ex~p[??(??)]or????(??)，??(??)關於P(??)的期望。Var(??(??))，??(??)在分布P(??)下的方差。Cov(??(??),??(??))，??(??)和??(??)在分布P(??)下的協方差。??(??)，隨機變數??的香濃熵。??????(??||??)，??和??的????散度。??(??;??,∑)，均值為??，協方差為∑，??上的高斯分布。??:??->??，定義域為??值域為??的函數??。??°??，??和??的組合。??(??:θ)，由θ參數化，關於??的函數(有時為簡化表示，忽略θ，記為??(??))。log??，??的自然對數。σ(??)，Logistic sigmoid，1/(1+exp(-??))。??(??)，Softplus,log(1+exp(??))。||??||p，??的L?p?範數。||??||，??的L?2?範數。???，??的正數部分，max(0,??)。1condition，如果條件為真則為1，否則為0。用函數??，參數是一個標量，應用到一個向量、矩陣或張量:??(??)、??(??)或??(??)。表示逐元素將??應用於數組。??=σ(??)，對於所有合法的i、j和k，??i,j,k=σ(??i,j,k)。

數據集和分布。??data，數據生成分布。??train，由訓練集定義的經驗分布。??，訓練樣本的集合。??????，數據集的第??個樣本(輸入)。??????或??????，監督學習中與??????關聯的目標。??，?? x ??的矩陣，行????,:為輸入樣本??????。

古希臘時期，神話人物皮格馬利翁(Pygmalion)、代達羅斯(Daedalus)和赫淮斯托斯(Hephaestus)傳說發明家。加拉蒂亞(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)人生生命(Ovid and Martin,2004;Sparkes,1996;Tandy,1997)。

人類第一次構思可編程計算機，思考變智能(離造出第一計算機一百年)(Lovelace,1842)。人工智慧(artificial intelligence,AI)眾多實際應用、活躍研究課題領域，蓬勃發展。智能軟體自動處理常規勞動、理解語音圖像、幫助醫學論斷、支持基礎科學研究。

早期，計算機相對簡單問題迅速解決，形式化數學規則描述問題。挑戰，很難形式化描述任務，如人說話、圖中臉。解決方案，計算機從經驗學習，根據層次化概念體系理解世界。概念通過相對簡單概念關係定義。計算從經驗獲取知識，避免人類給計算機形式化指定知識。層次化概念讓計算機構建簡單概念學習複雜概念。概念建立在彼此之上的圖，一張深(多層次)圖。AI深度學習(deep learning)。

參考資料：

《深度學習》

歡迎推薦上海機器學習工作機會，我的微信：qingxingfengzi

學習筆記【深度學習】1 : 數學符號、深度學習的概念

相關閱讀