概念
正則化(Regularization) 是機器學(xué)習中對原始損失函數引入額外信息，以便防止過(guò)擬合和提高模型泛化性能的一類(lèi)方法的統稱(chēng)。正則化是在經(jīng)驗風(fēng)險上面加了一個(gè)正則化項或者懲罰項,正則化函數一般是模型法則度的單調增函數,模型越負責,正則化值就越大.
正則化的一般形式:
\min_{f \in F} \frac{1}{N} \sum^N_{i=1} L(y_i, f(x_i)) + \lambda J(f)
第一項是經(jīng)驗風(fēng)險,第二項就是正則化項,\lambda \ge 0 為調整兩者之間的關(guān)系.
L1正則化和L2正則化可以看做是損失函數的懲罰項。所謂懲罰是指對損失函數中的某些參數做一些限制。對于線(xiàn)性回歸模型，使用L1正則化的模型叫做Lasso回歸，使用L2正則化的模型叫做Ridge回歸（嶺回歸）。
線(xiàn)性回歸L1正則化損失函數：
\min_w [\sum_{i=1}^{N}(w^Tx_i - y_i)^2 + \lambda \|w\|_1 ]........(1)
線(xiàn)性回歸L2正則化損失函數：
\min_w[\sum_{i=1}^{N}(w^Tx_i - y_i)^2 + \lambda\|w\|_2^2] ........(2)
可以看到正則化項是對系數做了限制。L1正則化和L2正則化的說(shuō)明如下:
- L1正則化是指權值向量w中各個(gè)元素的絕對值之和，通常表示為∥w∥^1
- L2正則化是指權值向量w中各個(gè)元素的平方和然后再求平方根（可以看到Ridge回歸的L2正則化項有平方符號），通常表示為∥w∥^2_2。
- 一般都會(huì )在正則化項之前添加一個(gè)系數λ。
未完待續....