1.人工神經(jīng)網(wǎng)絡(luò)

　　神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。每個節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激勵函數(shù)(activation function)。每兩個節(jié)點(diǎn)間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達(dá)。

　　人工神經(jīng)網(wǎng)絡(luò)(ANN)以大腦處理機(jī)制作為基礎(chǔ)，開發(fā)用于建立復(fù)雜模式和預(yù)測問題的算法。該類型算法在語音、語義、視覺、各類游戲等任務(wù)中表現(xiàn)極好，但需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，且訓(xùn)練要求很高的硬件配置。

　　ANN在圖像和字符識別中起著重要的作用，手寫字符識別在欺詐檢測甚至國家安全評估中有很多應(yīng)用。ANN 的研究為深層神經(jīng)網(wǎng)絡(luò)鋪平了道路，是「深度學(xué)習(xí)」的基礎(chǔ)，現(xiàn)已在計(jì)算機(jī)視覺、語音識別、自然語言處理等方向開創(chuàng)了一系列令人激動的創(chuàng)新。

　　2.決策樹

　　在機(jī)器學(xué)習(xí)中，決策樹是一個預(yù)測模型，他代表的是對象屬性與對象值之間的一種映射關(guān)系。其采用一種樹形結(jié)構(gòu)，其中每個內(nèi)部節(jié)點(diǎn)表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節(jié)點(diǎn)代表一種類別。

　　決策樹算法屬于非參數(shù)型，較為容易解釋，但其趨向過擬合;可能陷入局部最小值中;無法在線學(xué)習(xí)。決策樹的生成主要分為兩步：1.節(jié)點(diǎn)的分裂：當(dāng)一個節(jié)點(diǎn)所代表的屬性無法給出判斷時，則選擇將該節(jié)點(diǎn)分成2個子節(jié)點(diǎn) 2. 閾值的確定：選擇適當(dāng)?shù)拈撝凳沟梅诸愬e誤率最小。

　　分類樹(決策樹)是一種十分常用的分類方法。它是一種監(jiān)督學(xué)習(xí)，所謂監(jiān)督學(xué)習(xí)就是給定一堆樣本，每個樣本都有一組屬性和一個類別，這些類別是事先確定的，那么通過學(xué)習(xí)得到一個分類器，這個分類器能夠?qū)π鲁霈F(xiàn)的對象給出正確的分類。這樣的機(jī)器學(xué)習(xí)就被稱之為監(jiān)督學(xué)習(xí)。

　　3.集成算法

　　簡單算法一般復(fù)雜度低、速度快、易展示結(jié)果，其中的模型可以單獨(dú)進(jìn)行訓(xùn)練，并且它們的預(yù)測能以某種方式結(jié)合起來去做出一個總體預(yù)測。每種算法好像一種專家，集成就是把簡單的算法組織起來，即多個專家共同決定結(jié)果。

　　集成算法比使用單個模型預(yù)測出來的結(jié)果要精確的多，但需要進(jìn)行大量的維護(hù)工作。

　　AdaBoost的實(shí)現(xiàn)是一個漸進(jìn)的過程，從一個最基礎(chǔ)的分類器開始，每次尋找一個最能解決當(dāng)前錯誤樣本的分類器。好處是自帶了特征選擇，只使用在訓(xùn)練集中發(fā)現(xiàn)有效的特征，這樣就降低了分類時需要計(jì)算的特征數(shù)量，也在一定程度上解決了高維數(shù)據(jù)難以理解的問題。

　　4.回歸算法

　　回歸分析是在一系列的已知自變量與因變量之間的相關(guān)關(guān)系的基礎(chǔ)上，建立變量之間的回歸方程，把回歸方程作為算法模型，通過其來實(shí)現(xiàn)對新自變量得出因變量的關(guān)系。因此回歸分析是實(shí)用的預(yù)測模型或分類模型。

　　在線性回歸中，數(shù)據(jù)使用線性預(yù)測函數(shù)來建模，并且未知的模型參數(shù)也是通過數(shù)據(jù)來估計(jì)。這些模型被叫做線性模型。最常用的線性回歸建模是給定X值的y的條件均值是X的仿射函數(shù)。不太一般的情況，線性回歸模型可以是一個中位數(shù)或一些其他的給定X的條件下y的條件分布的分位數(shù)作為X的線性函數(shù)表示。像所有形式的回歸分析一樣，線性回歸也把焦點(diǎn)放在給定X值的y的條件概率分布，而不是X和y的聯(lián)合概率分布(多元分析領(lǐng)域)。

　　線性回歸是回歸分析中第一種經(jīng)過嚴(yán)格研究并在實(shí)際應(yīng)用中廣泛使用的類型。這是因?yàn)榫€性依賴于其未知參數(shù)的模型比非線性依賴于其未知參數(shù)的模型更容易擬合，而且產(chǎn)生的估計(jì)的統(tǒng)計(jì)特性也更容易確定。

　　線性回歸模型經(jīng)常用最小二乘逼近來擬合，但他們也可能用別的方法來擬合，比如用最小化“擬合缺陷”在一些其他規(guī)范里(比如最小絕對誤差回歸)，或者在橋回歸中最小化最小二乘損失函數(shù)的懲罰.相反,最小二乘逼近可以用來擬合那些非線性的模型.因此，盡管“最小二乘法”和“線性模型”是緊密相連的，但他們是不能劃等號的。

　　5.貝葉斯算法

　　樸素貝葉斯分類是一種十分簡單的分類算法：對于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個類別出現(xiàn)的概率，哪個最大，就認(rèn)為此待分類項(xiàng)屬于哪個類別。

　　樸素貝葉斯分類分為三個階段，1.根據(jù)具體情況確定特征屬性，并對每個特征屬性進(jìn)行適當(dāng)劃分，形成訓(xùn)練樣本集合2.計(jì)算每個類別在訓(xùn)練樣本中的出現(xiàn)頻率及每個特征屬性劃分對每個類別的條件概率估計(jì)3.使用分類器對待分類項(xiàng)進(jìn)行分類。

　　分類是數(shù)據(jù)分析和機(jī)器學(xué)習(xí)領(lǐng)域的一個基本問題。文本分類已廣泛應(yīng)用于網(wǎng)絡(luò)信息過濾、信息檢索和信息推薦等多個方面。數(shù)據(jù)驅(qū)動分類器學(xué)習(xí)一直是近年來的熱點(diǎn)，方法很多，比如神經(jīng)網(wǎng)絡(luò)、決策樹、支持向量機(jī)、樸素貝葉斯等。相對于其他精心設(shè)計(jì)的更復(fù)雜的分類算法，樸素貝葉斯分類算法是學(xué)習(xí)效率和分類效果較好的分類器之一。直觀的文本分類算法，也是最簡單的貝葉斯分類器，具有很好的可解釋性，樸素貝葉斯算法特點(diǎn)是假設(shè)所有特征的出現(xiàn)相互獨(dú)立互不影響，每一特征同等重要。但事實(shí)上這個假設(shè)在現(xiàn)實(shí)世界中并不成立：首先，相鄰的兩個詞之間的必然聯(lián)系，不能獨(dú)立;其次，對一篇文章來說，其中的某一些代表詞就確定它的主題，不需要通讀整篇文章、查看所有詞。所以需要采用合適的方法進(jìn)行特征選擇，這樣樸素貝葉斯分類器才能達(dá)到更高的分類效率。