生成方法和判別方法
監督學(xué)習方法又分生成方法（Generative approach）和判別方法（Discriminative approach），所學(xué)到的模型分別稱(chēng)為生成模型（Generative Model）和判別模型（Discriminative Model）
判別方法
由數據直接學(xué)習決策函數Y=f(X)或者條件概率分布P(Y|X)作為預測的模型，即判別模型?；舅枷胧怯邢迾颖緱l件下建立判別函數，不考慮樣本的產(chǎn)生模型，直接研究預測模型。典型的判別模型包括k近鄰，感知級，決策樹(shù)，支持向量機等。
判別方法的特點(diǎn):
- 判別方法尋找不同類(lèi)別之間的最優(yōu)分類(lèi)面，反映的是異類(lèi)數據之間的差異;
- 判別方法利用了訓練數據的類(lèi)別標識信息，直接學(xué)習的是條件概率P(Y|X)或者決策函數f(X)，直接面對預測，往往學(xué)習的準確率更高；
- 由于直接學(xué)習條件概率P(Y|X)或者決策函數f(X)，可以對數據進(jìn)行各種程度上的抽象、定義特征并使用特征，因此可以簡(jiǎn)化學(xué)習問(wèn)題。
- 缺點(diǎn)是不能反映訓練數據本身的特性
生成方法
由數據學(xué)習聯(lián)合概率密度分布P(X,Y)，然后求出條件概率分布P(Y|X)作為預測的模型，即生成模型：
P(Y|X)= \frac{P(X,Y)}{P(X)}
基本思想是首先建立樣本的聯(lián)合概率概率密度模型P(X,Y)，然后再得到后驗概率P(Y|X)，再利用它進(jìn)行分類(lèi). 這樣的方法之所以成為生成方法，是因為模型表示了給定輸入X產(chǎn)生輸出Y的生成關(guān)系。用于隨機生成的觀(guān)察值建模，特別是在給定某些隱藏參數情況下。典型的生成模型有：樸素貝葉斯法、馬爾科夫模型、高斯混合模型。這種方法一般建立在統計學(xué)和Bayes理論的基礎之上。
生成方法的特點(diǎn):
- 從統計的角度表示數據的分布情況，能夠反映同類(lèi)數據本身的相似度;
- 生成方法還原出聯(lián)合概率分布，而判別方法不能；
- 生成方法的學(xué)習收斂速度更快、即當樣本容量增加的時(shí)候，學(xué)到的模型可以更快地收斂于真實(shí)模型；
- 當存在隱變量時(shí)，扔可以用生成方法學(xué)習，此時(shí)判別方法不能用