normalization和regularization

05-07

regularization在數學領域、計算機領域，是指通過在問題中加入額外信息以解決病態問題和過擬合問題。如在loss function中加入正則項防止過擬合，或者在優化目標中加入L1正則項保證其稀疏性，其他領域的含義可以參考Regularization - Wikipedia

normalization 這個含義涵蓋的範圍很廣，在ML中主要是指將相應的數據映射到一個指定的範圍中或者指定的分布上（如歸一到均值為0，或者將數據映射到正態分布z-score），概率份上的normalization主要是指對於一個非負函數乘以一個常數使得其在值域上的積分為0，即將其轉換為概率密度函數，資料庫的normalization主要是指去資料庫的相關性和依賴性，而向量u的normalization是指u = u/||u||，對於數字的normalization即將數字用科學計數法表示，更多的可以參考Normalization - Wikipedia

總的來說 normalization是一種數據處理方式，和regularization是一種解決問題的方法