線性回歸 ( Linear Regression )

　　線性回歸中，只包括一個自變量和一個因變量，且二者的關系可用一條直線近似表示，這種回歸稱為一元線性回歸。

　　如果回歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關系，則稱為多元線性回歸。

　　在監(jiān)督學習中，學習樣本為 D = { (x⁽ⁱ⁾, y⁽ⁱ⁾)；i =1, . . . , m } ，預測的結果y⁽ⁱ⁾為連續(xù)值變量，需要學習映射 f：X → Y ，并且假定輸入X和輸出Y之間有線性相關關系。

給出一組數據：

其中x是實數域中的二維向量。比如，xⁱ₁是第i個房子的居住面積，xⁱ₂是這個房子的房間數。 

為了執(zhí)行監(jiān)督學習，我們需要決定怎樣在計算機中表示我們的函數/假設。我們可以近似地使用線性函數來表示。 

（矩陣形式）

現在，有了訓練數據，我們怎么挑選，或者說得知θ的值呢？一個可信的方法是使得h(x)與y更加接近，至少對于我們訓練的例子來說是這樣的。

于是，我們定義一個損失函數 / 成本函數( loss function / cost function )： 

我們把 x 到 y 的映射函數 f 記作 θ 的函數 h_θ(x)

損失函數有很多種類型，根據需求進行選擇。

然后進行最小化損失函數，將函數優(yōu)化成凸函數 (往往只會有一個全局最優(yōu)解，不用過多擔心算法收斂到局部最優(yōu)解) 。

梯度下降 ( Gradient Descent algorithm )

　　最快的速度最小化損失函數，比作如何最快地下山，也就是每一步都應該往坡度最陡的方向往下走，而坡度最陡的方向就是損失函數相應的偏導數。

因此算法迭代的規(guī)則是：

假設現在有n個特征、或者變量x_j (j=1…n)

其中α是算法的參數learning rate，α越大每一步下降的幅度越大，速度也會越快，但過大有可能反復震蕩，導致算法不準確。

欠擬合與過擬合（Underfitting and Overfitting）

　　欠擬合問題：特征值少，模型過于簡單不足與支撐。

　　過擬合問題：有非常多特征，模型很復雜, 我們的假設函數曲線可以對原始數據擬合得非常好， 但喪失了一般性， 從而導致對新給的待預測樣本，預測效果差。

正則項、正則化

　　通過正則項控制參數幅度。

正則項有多種方式選擇，常采用的有：

　　L1正則：|θ_j|

　　L2正則：θ_j²

Logistic 回歸（Logistic Regression）

采用線性回歸解決分類問題時，往往會遇到模型健壯性低，遇到噪聲時，受干擾嚴重。

我們可以對舊的線性回歸算法來進行適當的修改來得到我們想要的函數。

引入sigmoid 函數：

對原函數h_θ(x)進行改寫得到：

觀察函數圖像發(fā)現：當x大于0時，y的值大于0.5，根據這特性可以將線性回歸得到的預測值壓縮在0~1范圍內。

1.線性判定邊界：

假設線性函數為：，

當 h_θ(x) > 0 時，g(h_θ(x)) 的值為大于 0.5；

當 h_θ(x) < 0 時，g(h_θ(x)) 的值為小于 0.5；

2.非線性判定邊界：

假設函數為：

當θ₀=0，θ₁=0，θ₂=0，θ₃=1，θ₄=1，得到函數g(x₁²+x₂²-1)，邊界為一個圓，圓內點的值小于0

定義損失函數：

該函數為非凸函數，有局部最小值，應選擇其他函數。

定義損失函數為：

該函數的圖像如下：

我們可以發(fā)現該函數在：

y=1的正樣本中，h_θ(x)趨向于0.99~9 ，此時我們希望得到的代價越小，而當得到的預測值是0.00~1時，我們希望它的代價越大；

y=0的負樣本中，h_θ(x)趨向于0.00~1 ，此時我們希望得到的代價越小，而當得到的預測值是0.99~9時，我們希望它的代價越大；

損失函數可以改寫成：

加入正則項：

二分類與多分類

one vs one

one vs rest

方法一：

1.先對三角形與叉叉進行分類，得到分類器C1，以及概率值P_c1(x) 和 1-P_c1(x)

2.然后對三角形與正方形進行分類，得到分類器C2，以及概率值P_c2(x) 和 1-P_c2(x)

3.最后對正方形與叉叉進行分類，得到分類器C3，以及概率值P_c3(x) 和 1-P_c3(x)

得到通過3個分類器,6個概率值，概率值最大的判斷為相應的類型！

方法二：

1.先對三角形進行分類，判斷是否為三角形，得到分類器C1，以及概率值P_c1(x)

2.然后對正方形進行分類，判斷是否為正方形，得到分類器C2，以及概率值P_c2(x)

3.最后對叉叉叉進行分類，判斷是否為叉叉叉，得到分類器C3，以及概率值P_c3(x)

得到3個分類器，3個概率值，概率值最大的判斷為相應的類型！

應用一：( Linear Regression )

1、導入相應的包，設置畫圖格式：

2、數據準備：                                                                           ??下載地址

3、畫出數據的散點圖：

4、定義Loss function：

5、定義梯度下降算法：

6、計算&畫圖：

得到θ的變化曲線：

通過計算我們能夠得到 θ 的兩個值，由此我們能畫出一條與預測直線。

7、散點圖中畫出直線 與 sklearn得到的結果進行對比：

可以看出兩條直線是非常接近的！

8、進行數據的預測：

補充：

應用二：( Logistic Regression )

1、導入相應的包，設置畫圖格式：

2、數據準備

3、畫出樣本的散點圖

4、定義sigmoid函數

5、定義損失函數

6、求解剃度函數：

7、最小化損失函數：

8、預測：

9、畫出決策邊界

10、添加正則項：

11、最優(yōu)化：

Kaggle比賽應用：

San Francisco Crime Classification

Predict the category of crimes that occurred in the city by the bay

import pandas as pd
import numpy as np

train = pd.read_csv('\\train.csv')
test = pd.read_csv('\\test.csv')

all_address = list(np.array(train['Address'].tolist() + test['Address'].tolist()))

from sklearn.feature_extraction.text import CountVectorizer
stop_words = ['dr', 'wy', 'bl', 'av', 'st', 'ct', 'ln', 'block', 'of']
vectorizer = CountVectorizer(max_features=300, stop_words=stop_words)
features = vectorizer.fit_transform(all_address).toarray()

X = features[:train.shape[0]]
y = train.Category

#分成80%的訓練集和20%的驗證集
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=44)

from sklearn.linear_model import LogisticRegression
log_model = LogisticRegression()
log_model.fit(X_train,y_train)
results = log_model.predict_proba(X_test)

from sklearn.metrics import log_loss
log_loss_score = log_loss(y_test, results)
print('log loss score: {0}'.format(round(log_loss_score, 3)))
# log loss score: 2.511

# 使用整個train
log_model = LogisticRegression().fit(X=features[:train.shape[0]], y=train.Category)
results = log_model.predict_proba(features[train.shape[0]:])

submission = pd.DataFrame(results)
submission.columns = sorted(train.Category.unique())
submission.set_index(test.Id)
submission.index.name="Id"
submission.to_csv('py_submission_logreg_addr_300.csv')