python 嶺回歸

所求參數(shù)是alpha的函數(shù)，比如記為f(alpha),?f(alpha)隨alpha的改變的軌跡就是嶺跡。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來(lái)自于我們對(duì)這個(gè)行業(yè)的熱愛(ài)。我們立志把好的技術(shù)通過(guò)有效、簡(jiǎn)單的方式提供給客戶，將通過(guò)不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：空間域名、虛擬主機(jī)、營(yíng)銷軟件、網(wǎng)站建設(shè)、旺蒼網(wǎng)站維護(hù)、網(wǎng)站推廣。

實(shí)際計(jì)算中可選非常多的alpha值，做出一個(gè)嶺跡圖，看看這個(gè)圖在取哪個(gè)值的時(shí)候變穩(wěn)定了，

那就確定alpha值了，從而確定參數(shù)。

Ridge(alpha=1.0，?fit_intercept=False)

model.fit(x,y)

這樣就等于你算的，因?yàn)槟鉵umpy是用增廣矩陣算的，所以應(yīng)該將set?fit_intercept=False

model.coef_

array([[?1.06059732,??0.48614918,??0.44596739]])

如何用Python進(jìn)行線性回歸以及誤差分析

線性回歸：

設(shè)x,y分別為一組數(shù)據(jù)，代碼如下

import matplotlib.pyplot as plt

import numpy as np

ro=np.polyfit(x,y,deg=1) #deg為擬合的多項(xiàng)式的次數(shù)（線性回歸就選1）

ry=np.polyval(ro,x) #忘記x和ro哪個(gè)在前哪個(gè)在后了。。。

print ro #輸出的第一個(gè)數(shù)是斜率k，第二個(gè)數(shù)是縱截距b

plt.scatter(x,y)

plt.plot(x,ry)

如何用python作空間自回歸模型

基本形式

線性模型(linear model)就是試圖通過(guò)屬性的線性組合來(lái)進(jìn)行預(yù)測(cè)的函數(shù)，基本形式如下：

f(x)=wTx+b

許多非線性模型可在線性模型的基礎(chǔ)上通過(guò)引入層結(jié)構(gòu)或者高維映射（比如核方法）來(lái)解決。線性模型有很好的解釋性。

線性回歸

線性回歸要求均方誤差最小:

(w?,b?)=argmin∑i=1m(f(xi)?yi)2

均方誤差有很好的幾何意義，它對(duì)應(yīng)了常用的歐式距離(Euclidean distance)。基于均方誤差最小化來(lái)進(jìn)行模型求解稱為最小二乘法(least square method)，線性回歸中，最小二乘發(fā)就是試圖找到一條直線，使得所有樣本到直線的歐式距離之和最小。

我們把上式寫成矩陣的形式：

w?=argmin(y?Xw)T(y?Xw)

這里我們把b融合到w中，X中最后再加一列1。為了求最小值，我們對(duì)w求導(dǎo)并令其為0：

2XT(Xw?y)=0

當(dāng)XTX為滿秩矩陣(full-rank matrix)時(shí)是可逆的。此時(shí)：

w=(XTX)?1XTy

令xi=(xi,1)，可以得到線性回歸模型：

f(xi)=xTi(XTX)?1XTy

python回歸模型保存

1、首先需要使用公式將回歸結(jié)果計(jì)算出來(lái)。

2、其次選擇回歸。

3、最后將其另存為，另存為到word中就可以保存了。Python由荷蘭數(shù)學(xué)和計(jì)算機(jī)科學(xué)研究學(xué)會(huì)的吉多范羅蘇姆于1990年代初設(shè)計(jì)，作為一門叫做ABC語(yǔ)言的替代品。Python提供了高效的高級(jí)數(shù)據(jù)結(jié)構(gòu)，還能簡(jiǎn)單有效地面向?qū)ο缶幊獭?/p>

python中eval的用法

python中eval函數(shù)用法如下：

1、計(jì)算字符串中有效的表達(dá)式，并返回結(jié)果。

2、將字符串轉(zhuǎn)成相應(yīng)的對(duì)象（如list、tuple、dict和string之間的轉(zhuǎn)換）。

3、將利用反引號(hào)轉(zhuǎn)換的字符串再反轉(zhuǎn)回對(duì)象。

函數(shù)作用域：eval()函數(shù)并不會(huì)創(chuàng)建一個(gè)新的作用域，并且它的作用域就是它所在的作用域，有時(shí)候需要將eval()函數(shù)的作用域設(shè)置為全局，當(dāng)然可以將eval()在全局作用域中使用，這個(gè)時(shí)候可以用window.eval()的方式實(shí)現(xiàn)。

參數(shù)情況：

（1）如果參數(shù)是一個(gè)表達(dá)式，eval() 函數(shù)將執(zhí)行表達(dá)式。

（2）如果參數(shù)是Javascript語(yǔ)句，eval()將執(zhí)行 Javascript 語(yǔ)句。

注意：如果執(zhí)行結(jié)果是一個(gè)值就返回，不是就返回undefined，如果參數(shù)不是一個(gè)字符串，則直接返回該參數(shù)。

如何用python實(shí)現(xiàn)含有虛擬自變量的回歸

利用python進(jìn)行線性回歸

理解什么是線性回歸

線性回歸也被稱為最小二乘法回歸（Linear Regression, also called Ordinary Least-Squares (OLS) Regression）。它的數(shù)學(xué)模型是這樣的：

y = a+ b* x＋e

其中，a 被稱為常數(shù)項(xiàng)或截距；b 被稱為模型的回歸系數(shù)或斜率；e 為誤差項(xiàng)。a 和 b 是模型的參數(shù)。

當(dāng)然，模型的參數(shù)只能從樣本數(shù)據(jù)中估計(jì)出來(lái)：

y'= a' + b'* x

我們的目標(biāo)是選擇合適的參數(shù)，讓這一線性模型最好地?cái)M合觀測(cè)值。擬合程度越高，模型越好。

那么，接下來(lái)的問(wèn)題就是，我們?nèi)绾闻袛鄶M合的質(zhì)量呢？

這一線性模型可以用二維平面上的一條直線來(lái)表示，被稱為回歸線。

模型的擬合程度越高，也即意味著樣本點(diǎn)圍繞回歸線越緊密。

如何計(jì)算樣本點(diǎn)與回歸線之間的緊密程度呢？

高斯和勒讓德找到的方法是：被選擇的參數(shù)，應(yīng)該使算出來(lái)的回歸線與觀測(cè)值之差的平房和最小。用函數(shù)表示為：

這被稱為最小二乘法。最小二乘法的原理是這樣的：當(dāng)預(yù)測(cè)值和實(shí)際值距離的平方和最小時(shí)，就選定模型中的兩個(gè)參數(shù)（a 和 b）。這一模型并不一定反映解釋變量和反應(yīng)變量真實(shí)的關(guān)系。但它的計(jì)算成本低；相比復(fù)雜模型更容易解釋。

模型估計(jì)出來(lái)后，我們要回答的問(wèn)題是：

我們的模型擬合程度如何？或者說(shuō)，這個(gè)模型對(duì)因變量的解釋力如何？（R2）

整個(gè)模型是否能顯著預(yù)測(cè)因變量的變化？（F 檢驗(yàn)）

每個(gè)自變量是否能顯著預(yù)測(cè)因變量的變化？（t 檢驗(yàn)）

首先回答第一個(gè)問(wèn)題。為了評(píng)估模型的擬合程度如何，我們必須有一個(gè)可以比較的基線模型。

如果讓你預(yù)測(cè)一個(gè)人的體重是多少？在沒(méi)有任何額外信息的情況下，你可能會(huì)用平均值來(lái)預(yù)測(cè)，盡管會(huì)存在一定誤差，但總比瞎猜好。

現(xiàn)在，如果你知道他的身高信息，你的預(yù)測(cè)值肯定與平均值不一樣。額外信息相比平均值更能準(zhǔn)確地預(yù)測(cè)被預(yù)測(cè)的變量的能力，就代表模型的解釋力大小。

上圖中，SSA 代表由自變量 x 引起的 y 的離差平方和，即回歸平方和，代表回歸模型的解釋力；SSE 代表由隨機(jī)因素引起的 y 的離差平方和，即剩余平方和，代表回歸模型未能解釋的部分；SST 為總的離差平方和，即我們僅憑 y 的平均值去估計(jì) y 時(shí)所產(chǎn)生的誤差。

用模型能夠解釋的變異除以總的變異就是模型的擬合程度：

R2=SSA/SST=1-SSE

R2（R 的平方）也被稱為決定系數(shù)或判定系數(shù)。

第二個(gè)問(wèn)題，我們的模型是否顯著預(yù)測(cè)了 y 的變化？

假設(shè) y 與 x 的線性關(guān)系不明顯，那么 SSA 相對(duì) SSE 占有較大的比例的概率則越小。換句話說(shuō)，在 y 與 x 無(wú)線性關(guān)系的前提下，SSA 相對(duì) SSE 的占比越高的概率是越小的，這會(huì)呈現(xiàn)一定的概率分布。統(tǒng)計(jì)學(xué)家告訴我們它滿足 F 分布，就像這樣：

如果 SSA 相對(duì) SSE 占比較大的情況出現(xiàn)了，比如根據(jù) F 分布，這個(gè)值出現(xiàn)的概率小于 5%。那么，我們最好是拒絕 y 與 x 線性關(guān)系不顯著的原始假設(shè)，認(rèn)為二者存在顯著的線性關(guān)系較為合適。

第三個(gè)問(wèn)題，每個(gè)自變量是否能顯著預(yù)測(cè)因變量的變化？換句話說(shuō)，回歸系數(shù)是否顯著？

回歸系數(shù)的顯著性檢驗(yàn)是圍繞回歸系數(shù)的抽樣分布（t 分布）來(lái)進(jìn)行的，推斷過(guò)程類似于整個(gè)模型的檢驗(yàn)過(guò)程，不贅言。

實(shí)際上，對(duì)于只有一個(gè)自變量的一元線性模型，模型的顯著性檢驗(yàn)和回歸系數(shù)的檢驗(yàn)是一致的，但對(duì)于多元線性模型來(lái)說(shuō)，二者就不能等價(jià)了。

利用 statsmodels 進(jìn)行最小二乘回歸

＃導(dǎo)入相應(yīng)模塊

In [1]: import numpy as np

In [2]: import pandas as pd

In [3]: import statsmodels.api as sm

＃將數(shù)據(jù)導(dǎo)入 pandas 的 dataframe 對(duì)象，第一列（年份）作為行標(biāo)簽

In [4]: df=pd.read_csv('/Users/xiangzhendong/Downloads/vincentarelbundock-Rdatasets-1218370/csv/datasets/longley.csv', index_col=0)

＃查看頭部數(shù)據(jù)

In [5]: df.head()

Out[5]:

GNP.deflator ? ? ?GNP ?Unemployed ?Armed.Forces ?Population ?Year ?\

1947 ? ? ? ? ?83.0 ?234.289 ? ? ? 235.6 ? ? ? ? 159.0 ? ? 107.608 ?1947

1948 ? ? ? ? ?88.5 ?259.426 ? ? ? 232.5 ? ? ? ? 145.6 ? ? 108.632 ?1948

1949 ? ? ? ? ?88.2 ?258.054 ? ? ? 368.2 ? ? ? ? 161.6 ? ? 109.773 ?1949

1950 ? ? ? ? ?89.5 ?284.599 ? ? ? 335.1 ? ? ? ? 165.0 ? ? 110.929 ?1950

1951 ? ? ? ? ?96.2 ?328.975 ? ? ? 209.9 ? ? ? ? 309.9 ? ? 112.075 ?1951

Employed

1947 ? ?60.323

1948 ? ?61.122

1949 ? ?60.171

1950 ? ?61.187

1951 ? ?63.221

＃設(shè)置預(yù)測(cè)變量和結(jié)果變量，用 GNP 預(yù)測(cè) Employed

In [6]: y=df.Employed ＃結(jié)果變量

In [7]: X=df.GNP ＃預(yù)測(cè)變量

＃為模型增加常數(shù)項(xiàng)，即回歸線在 y 軸上的截距

In [8]: X=sm.add_constant(X)

＃執(zhí)行最小二乘回歸，X 可以是 numpy array 或 pandas dataframe（行數(shù)等于數(shù)據(jù)點(diǎn)個(gè)數(shù)，列數(shù)為預(yù)測(cè)變量個(gè)數(shù)），y 可以是一維數(shù)組（numpy array）或 pandas series

In [10]: est=sm.OLS(y,X)

使用 OLS 對(duì)象的 fit() 方法來(lái)進(jìn)行模型擬合

In [11]: est=est.fit()

＃查看模型擬合的結(jié)果

In [12]: est.summary()

Out[12]:

＃查看最終模型的參數(shù)

In [13]: est.params

Out[13]:

const ? ?51.843590

GNP ? ? ? 0.034752

dtype: float64

＃選擇 100 個(gè)從最小值到最大值平均分布（equally spaced）的數(shù)據(jù)點(diǎn)

In [14]: X_prime=np.linspace(X.GNP.min(), X.GNP.max(),100)[:,np.newaxis]

In [15]: X_prime=sm.add_constant(X_prime)

＃計(jì)算預(yù)測(cè)值

In [16]: y_hat=est.predict(X_prime)

In [17]: plt.scatter(X.GNP, y, alpha=0.3) ＃畫出原始數(shù)據(jù)

＃分別給 x 軸和 y 軸命名

In [18]: plt.xlabel("Gross National Product")

In [19]: plt.ylabel("Total Employment")

In [20]: plt.plot(X_prime[:,1], y_hat, 'r', alpha=0.9) ＃添加回歸線，紅色

多元線性回歸（預(yù)測(cè)變量不止一個(gè)）

我們用一條直線來(lái)描述一元線性模型中預(yù)測(cè)變量和結(jié)果變量的關(guān)系，而在多元回歸中，我們將用一個(gè)多維（p）空間來(lái)擬合多個(gè)預(yù)測(cè)變量。下面表現(xiàn)了兩個(gè)預(yù)測(cè)變量的三維圖形：商品的銷量以及在電視和廣播兩種不同媒介的廣告預(yù)算。

數(shù)學(xué)模型是：

Sales = beta_0 + beta_1＊TV + beta_2＊Radio

圖中，白色的數(shù)據(jù)點(diǎn)是平面上的點(diǎn)，黑色的數(shù)據(jù)點(diǎn)事平面下的點(diǎn)。平面的顏色是由對(duì)應(yīng)的商品銷量的高低決定的，高是紅色，低是藍(lán)色。

利用 statsmodels 進(jìn)行多元線性回歸

In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: import statsmodels.api as sm

In [4]: df_adv=pd.read_csv('g.csv',index_col=0)

In [6]: X=df_adv[['TV','Radio']]

In [7]: y=df_adv['Sales']

In [8]: df_adv.head()

Out[8]:

TV ?Radio ?Newspaper ?Sales

1 ?230.1 ? 37.8 ? ? ? 69.2 ? 22.1

2 ? 44.5 ? 39.3 ? ? ? 45.1 ? 10.4

3 ? 17.2 ? 45.9 ? ? ? 69.3 ? ?9.3

4 ?151.5 ? 41.3 ? ? ? 58.5 ? 18.5

5 ?180.8 ? 10.8 ? ? ? 58.4 ? 12.9

In [9]: X=sm.add_constant(X)

In [10]: est=sm.OLS(y,X).fit()

In [11]: est.summary()

Out[11]:

你也可以使用 statsmodels 的 formula 模塊來(lái)建立多元回歸模型

In [12]: import statsmodels.formula.api as smf

In [13]: est=smf.ols(formula='Sales ~ TV + Radio',data=df_adv).fit()

處理分類變量

性別或地域都屬于分類變量。

In [15]: df= pd.read_csv('httd.edu/~tibs/ElemStatLearn/datasets/SAheart.data', index_col=0)

In [16]: X=df.copy()

利用 dataframe 的 pop 方法將 chd 列單獨(dú)提取出來(lái)

In [17]: y=X.pop('chd')

In [18]: df.head()

Out[18]:

sbp ?tobacco ? ldl ?adiposity ?famhist ?typea ?obesity ?alcohol ?\

row.names

1 ? ? ? ? ?160 ? ?12.00 ?5.73 ? ? ?23.11 ?Present ? ? 49 ? ?25.30 ? ?97.20

2 ? ? ? ? ?144 ? ? 0.01 ?4.41 ? ? ?28.61 ? Absent ? ? 55 ? ?28.87 ? ? 2.06

3 ? ? ? ? ?118 ? ? 0.08 ?3.48 ? ? ?32.28 ?Present ? ? 52 ? ?29.14 ? ? 3.81

4 ? ? ? ? ?170 ? ? 7.50 ?6.41 ? ? ?38.03 ?Present ? ? 51 ? ?31.99 ? ?24.26

5 ? ? ? ? ?134 ? ?13.60 ?3.50 ? ? ?27.78 ?Present ? ? 60 ? ?25.99 ? ?57.34

age ?chd

row.names

1 ? ? ? ? ? 52 ? ?1

2 ? ? ? ? ? 63 ? ?1

3 ? ? ? ? ? 46 ? ?0

4 ? ? ? ? ? 58 ? ?1

5 ? ? ? ? ? 49 ? ?1

In [19]: y.groupby(X.famhist).mean()

Out[19]:

famhist

Absent ? ? 0.237037

Present ? ?0.500000

Name: chd, dtype: float64

In [20]: import statsmodels.formula.api as smf

In [21]: df['famhist_ord']=pd.Categorical(df.famhist).labels

In [22]: est=smf.ols(formula="chd ~ famhist_ord", data=df).fit()

分類變量的編碼方式有許多，其中一種編碼方式是虛擬變量編碼（dummy－encoding），就是把一個(gè) k 個(gè)水平的分類變量編碼成 k－1 個(gè)二分變量。在 statsmodels 中使用 C 函數(shù)實(shí)現(xiàn)。

In [24]: est=smf.ols(formula="chd ~ C(famhist)", data=df).fit()

In [26]: est.summary()

Out[26]:

處理交互作用

隨著教育年限（education）的增長(zhǎng)，薪酬 (wage) 會(huì)增加嗎？這種影響對(duì)男性和女性而言是一樣的嗎？

這里的問(wèn)題就涉及性別與教育年限的交互作用。

換言之，教育年限對(duì)薪酬的影響是男女有別的。

＃導(dǎo)入相關(guān)模塊

In [1]: import pandas as pd

In [2]: import numpy as np

In [4]: import statsmodels.api as sm

＃導(dǎo)入數(shù)據(jù)，存入 dataframe 對(duì)象

In [5]: df=pd.read_csv('/Users/xiangzhendong/Downloads/pydatafromweb/wages.csv')

In [6]: df[['Wage','Education','Sex']].tail()

Out[6]:

Wage ?Education ?Sex

529 ?11.36 ? ? ? ? 18 ? ?0

530 ? 6.10 ? ? ? ? 12 ? ?1

531 ?23.25 ? ? ? ? 17 ? ?1

532 ?19.88 ? ? ? ? 12 ? ?0

533 ?15.38 ? ? ? ? 16 ? ?0

由于性別是一個(gè)二分變量，我們可以繪制兩條回歸線，一條是 sex＝0（男性），一條是 sex＝1（女性）

＃繪制散點(diǎn)圖

In [7]: plt.scatter(df.Education,df.Wage, alpha=0.3)

In [9]: plt.xlabel('education')

In [10]: plt.ylabel('wage')

＃linspace 的作用是生成從最小到最大的均勻分布的 n 個(gè)數(shù)

In [17]: education_linspace=np.linspace(df.Education.min(), df.Education.max(),100)

In [12]: import statsmodels.formula.api as smf

In [13]: est=smf.ols(formula='Wage ~ Education + Sex', data=df).fit()

In [18]: plt.plot(education_linspace, est.params[0]+est.params[1]education_linspace+est.params[2]0, 'r')

In [19]: plt.plot(education_linspace, est.params[0]+est.params[1]education_linspace+est.params[2]1, 'g')

以上兩條線是平行的。這是因?yàn)榉诸愖兞恐挥绊懟貧w線的截距，不影響斜率。

接下來(lái)我們可以為回歸模型增加交互項(xiàng)來(lái)探索交互效應(yīng)。也就是說(shuō)，對(duì)于兩個(gè)類別，回歸線的斜率是不一樣的。

In [32]: plt.scatter(df.Education,df.Wage, alpha=0.3)

In [33]: plt.xlabel('education')

In [34]: plt.ylabel('wage')

＃使用＊代表我們的回歸模型中除了交互效應(yīng)，也包括兩個(gè)變量的主效應(yīng)；如果只想看交互效應(yīng)，可以用：代替，但通常不會(huì)只看交互效應(yīng)

In [35]: est=smf.ols(formula='Wage ~ Sex*Education', data=df).fit()

In [36]: plt.plot(education_linspace, est.params[0]+est.params[1]0+est.params[2]education_linspace+est.params[3]0education_linspace, 'r')

In [37]: plt.plot(education_linspace, est.params[0]+est.params[1]1+est.params[2]education_linspace+est.params[3]1education_linspace, 'g')

參考資料：

DataRobot | Ordinary Least Squares in Python

DataRoboe | Multiple Regression using Statsmodels

AnalyticsVidhya | 7 Types of Regression Techniques you should know!

新聞標(biāo)題：python回歸評(píng)價(jià)函數(shù) python 均值回歸
本文地址：http://m.newbst.com/article19/hihpdh.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、企業(yè)網(wǎng)站制作、網(wǎng)站制作、關(guān)鍵詞優(yōu)化、、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)