《《統(tǒng)計學》線性回歸模型》由會員分享，可在線閱讀，更多相關(guān)《《統(tǒng)計學》線性回歸模型（92頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標題樣式,,單擊此處編輯母版文本樣式,,第二級,,第三級,,第四級,,第五級,,,*,*,,,,,,,,第八章　回歸和相關(guān)分析,,,,,1,,,,,§1 　導(dǎo)　言,,2,,,在自然界和人類社會中，經(jīng)常會遇到一些變量共處于一個統(tǒng)一體中，他們相互聯(lián)系，相互制約，在一定條件下相互轉(zhuǎn)化。社會經(jīng)濟現(xiàn)象尤其如此。例如某生產(chǎn)廠家的生產(chǎn)費用由所生產(chǎn)的產(chǎn)品數(shù)量和各種生產(chǎn)投入要素的價格等因素所決定。,,,3,,,,在社會經(jīng)濟現(xiàn)象中，變量之間的關(guān)系大致可以分為兩種：,,1).函數(shù)關(guān)系,,2).統(tǒng)計關(guān)系。,,4,,,,函數(shù)關(guān)系：變量之間依一定的函數(shù)形式形成的一一對應(yīng)關(guān)系稱為函數(shù)關(guān)系。若兩個變量分別記作

2、y和x，則當y 與x之間存在函數(shù)關(guān)系時，x值一旦被指定，y值就是唯一確定的。函數(shù)關(guān)系可以用公式確切的反映出來，一般記為y=f(x)。,,5,,,,例如，某種商品的銷售額(y)與銷售量(x)之間的關(guān)系，在銷售價格(p)一定的條件下，只要給定一個商品銷售量，就有一個唯一確定的商品銷售額與之對應(yīng)，用公式表示為y=p(x)。,,,6,,,統(tǒng)計關(guān)系：兩個變量之間存在某種依存關(guān)系，但變量Y并不是由變量X唯一確定的，它們之間沒有嚴格的一一對應(yīng)關(guān)系。兩個變量之間的這種關(guān)系就是統(tǒng)計關(guān)系，也稱為相關(guān)關(guān)系。,,7,,,,相關(guān)關(guān)系與函數(shù)關(guān)系有十分密切的聯(lián)系。在實際中，由于觀察和測量誤差等原因，函數(shù)關(guān)系往往是通過相關(guān)關(guān)

3、系表現(xiàn)的，而在研究相關(guān)關(guān)系時，又常用函數(shù)關(guān)系作為工具，以相應(yīng)的函數(shù)關(guān)系數(shù)學表達式表現(xiàn)相關(guān)關(guān)系的一般數(shù)量關(guān)系。,,8,,,,例如：同樣收入的家庭，用于食品的消費支出往往并不相同。因為對家庭食品費用的影響，不僅有家庭收入的多少，還有家庭人口，生活習慣等因素，所以，家庭食品費用支出與家庭收入之間不是函數(shù)關(guān)系，而是相關(guān)關(guān)系。,,,9,,,,在含有變量的系統(tǒng)中，考察一些變量對另一些變量的影響，它們之間可能存在一種簡單的函數(shù)關(guān)系，也可能存在一種非常復(fù)雜的函數(shù)關(guān)系。有些變量之間的關(guān)系是非確定性的關(guān)系，這種關(guān)系無法用一個精確的數(shù)學來表示。,,10,,,,我們需要區(qū)分兩種主要類型的變量。一種變量相當于通常函數(shù)關(guān)

4、系中的自變量，它或者能控制或者雖不能控制但可觀測，這種變量稱為自變量。自變量的變化能波及另一些變量，這樣的變量稱為因變量。人們通常感興趣的問題是自變量的變化對因變量的取值有什么樣的影響。,,11,,,,回歸分析正是研究自變量的變動對因變量的變動的影響程度，其目的在于根據(jù)已知自變量的變化來估計或預(yù)測因變量的變化情況。,,12,,,,回歸的內(nèi)容包括如何確定因變量與自變量之間的回歸模型；如何根據(jù)樣本觀測數(shù)據(jù)估計并檢驗回歸模型及未知參數(shù)；在眾多的自變量中，判斷哪些變量對因變量的影響是顯著的，哪些變量的影響是不顯著的；根據(jù)自變量的已知值或給定值來估計和預(yù)測因變量的平均值等等。,,,13,,,,線性回歸分

5、析是研究變量與變量之間的線性相關(guān)關(guān)系。從分析的內(nèi)容上看，線性回歸是建立變量間的擬合線性相關(guān)模型，主要用于估計和預(yù)測。線性回歸模型應(yīng)用領(lǐng)域極為廣泛，在許多領(lǐng)域里都有應(yīng)用非常成功的例子，它是現(xiàn)代應(yīng)用統(tǒng)計分析方法中的重要內(nèi)容之一。,,14,,,,,,,§２　 一元線性回歸模型,,15,,8.2.1 一元線性回歸模型的數(shù)學表示式,,如果兩個變量之間存在相關(guān)關(guān)系，并且一個變量的變化會引起另一個變量按某一線性關(guān)系變化，則兩個變量間的關(guān)系可以用一元線性回歸模型描述。,,16,,,其數(shù)學模型為：,,y= …(8-1),,其中，y 為因變量， x為自變量， 為模

6、型參數(shù)，,,為回歸截距， 為回歸系數(shù) ，,,為隨機誤差項，且～N(0, ).,,17,,,,在實際問題中，(8-1)中的模型參數(shù) 是未知的，通常只能在自變量的一些點上對因變量進行觀測，得到一定量的數(shù)據(jù)，由數(shù)據(jù)出發(fā)對模型進行推斷。,,18,,8.2.2 回歸系數(shù) 的最小二乘估計。,,假定（ ）, （ ）, …,（ ）為n次獨立試驗所得到的樣本觀測值，則有,,， i=1,2,…,n …(8-2),,其中i ,i=1,2,…,n為隨機誤差項，對i ,i=1,2,…,n的基本假定是i ,i=1,2,…,n相互獨立，服從N(0, )

7、分布。,,19,,,記 Q( )=,,Q( )是直線y= 對于所有數(shù)據(jù)點的偏差平方和。,,取直線y= 使得 Q( )達到最小,,即 Q( )=Q( )，z用y=來估計回歸直線，這種方法稱為,最小二乘法,。,,20,,,為求與 分別對應(yīng)的最小二乘估計 ，注意到Q( )是 的非負二次函數(shù)，因此最小值點存在且唯一，應(yīng)滿足以下方程組：,,21,,,求解方程組得：,,,,,,,其中 ，,,22,,利用最小二乘法所得到的估計量

8、有如下性質(zhì)：,(1） 分別是 的無偏估計。,,（2） 和 的最小二乘估計 和 為“方差最小”線性無偏估計,,（3） 的無偏估計為 :,,,,23,,,在實際中，方差 是未知的，因此，可用估計量,,,,,,來估計 。,,24,,,,例題1、,在某類企業(yè)中隨機抽取10個企業(yè)，搜集它們的產(chǎn)量和生產(chǎn)費用情況，獲得數(shù)據(jù)如表1所示：,,25,,,表1 企業(yè)產(chǎn)量和生產(chǎn)費用,,26,,,,我們可作出散點圖，易看出變量x與y之間的關(guān)系近似可看作是線性關(guān)系，根據(jù)表1的數(shù)據(jù)，利用最小二乘法，求一元線性回歸方程，,,,,27,,,以下列出的為計算表,,,

9、28,,,,,29,,,,,,,,,,= =134.7909+0.3978x為所求的一元回歸模型。,,30,,8.2.4 一元線性回歸模型的檢驗,,我們根據(jù)樣本觀測值，利用最小二乘法建立起一元線性回歸模型 = ，該模型是否滿足回歸模型的基本假設(shè)，還需要進行統(tǒng)計檢驗。,,31,,,,統(tǒng)計檢驗應(yīng)包括兩方面的內(nèi)容：一是回歸方程的顯著性檢驗，即反映回歸模型 = 對樣本觀測值的擬合程度如何;一是回歸系數(shù)的顯著性檢驗，即檢驗變量y與變量x之間是否能用線性關(guān)系來描述；以下介紹三種檢驗的方法：,,32,,（1）回歸模型的擬合程度的測度,,變

10、量y的各個觀測點聚集在回歸直線 = 周圍的緊密程度，稱為回歸直線對樣本數(shù)據(jù)點的擬合程度，常用可決系數(shù)R2來表示。,,33,,,總的離差平方和,,SST=,,=,,=,,+,,34,,,因為,,=0,,故 SST=,,記 SSR= ，SSE= 則 SST=SSR+SSE …… (8-5),,SSR稱為回歸平方和， SSE稱為殘差平方和,,35,,,(8-5)可作如下解釋：因變量的總變化量（有SST表示）可分成兩部分之和，其中一部分是由自變量所引起的變化（由SSR刻畫），

11、另一部分是隨機誤差所引起的變化（由SSE刻畫）。變量y的各個觀測值點與回歸直線越靠近，SSR在SST中所占的比重越大，可見，比值SSR/SST的大小，能反映回歸模型擬合程度的優(yōu)劣。,,36,,,由此，可定義統(tǒng)計量： R2=,,R2稱為“可決系數(shù)”,顯然，0≤R2≤1。當R2接近于1時，回歸平方和SSR在總的平方和SST中所占的比重大，說明自變量對因變量的影響較大；反之，當R2接近與0時，回歸平方和SSR在總的平方和SST中所占的比重小，說明自變量對因變量的影響較小。綜上所述，R2越接近與1，說明模型越有效，R2越接近與0，說明模型越無效。應(yīng)該注意的是，R2通常只用于模型有效性的一個大致的判斷。

12、,,37,,,R2稱為“可決系數(shù)”,顯然，0≤R2≤1。當R2接近于1時，回歸平方和SSR在總的平方和SST中所占的比重大，說明自變量對因變量的影響較大；反之，當R2接近與0時，回歸平方和SSR在總的平方和SST中所占的比重小，說明自變量對因變量的影響較小。綜上所述，R2越接近與1，說明模型越有效，R2越接近與0，說明模型越無效。應(yīng)該注意的是，R2通常只用于模型有效性的一個大致的判斷。,,38,,,可決系數(shù)R2只說明了回歸方程對樣本觀察值擬合程度的好壞，卻不能表示回歸直線估計值與變量y的各實際觀察值的絕對離差的數(shù)額。估計標準誤差則是反映回歸估計值與樣本實際觀察值的平均差異程度的指標，用S,yx

13、,表示估計標準誤差，其計算公式為：,,S,yx,=,,39,,,若估計標準誤差S,yx,小，表示各實際觀察值與回歸估計值平均差異小，實際觀察點靠近回歸直線，回歸直線的擬合程度好，代表性高；若樣本觀察點全部落在直線上，則S,yx,=0，說明樣本實際值與估計值沒有差別。若S,yx,大，則說明回歸直線擬合不好，代表性差。,,40,,,估計標準誤差也可化簡為,,,,,,S,yx,=,,41,,（2）回歸系數(shù)的顯著性檢驗,,一元線性回歸模型中，一次項系數(shù) 是一個關(guān)鍵的量，通過 可反映自變量x的變動對因變量y的影響。若 =0意味著y不隨x變動而變動，因此y與x之間不存在線性關(guān)系；若 0，說明

14、變量y與x之間存在線性關(guān)系；當 >0時，x對y的影響為正效應(yīng)；當 <0時x對y的影響為負效應(yīng)，影響的大小由的絕對值來反映。,,42,,,回歸系數(shù)的顯著性檢驗通常是 通過回歸系 數(shù)的t值檢驗，檢驗步驟如下:,,統(tǒng)計假設(shè)：H0: =0,,H1: 0,,43,,,計算回歸系數(shù) 的t值：,,,t=,,,,其中 :,,44,,,在原假設(shè)成立的條件下，t 服從自由度為 n-2的t分布，即t～t(n-2).,,若給定的顯著性水平為 ，（通常取=0.05），查t分布表，得到臨界值,,使得 P{|t|> }=,,45,,,假設(shè)的檢驗決策規(guī)則是：,,若|t|

15、> , 則拒絕接受原假設(shè)H,0,;,,若|t|< ，則接受原假設(shè)H,0,。,,也就是說，|t|> 時說明變量y與x之間存在線性關(guān)系；；|t|< 時，意味著y不隨x變動而變動。,,46,,,雖然在回歸函數(shù)中常數(shù)項 的作用不如 重要，但有時也要對它作區(qū)間估計或假設(shè)檢驗，例如有時要檢驗假設(shè) =0，這相當于要檢驗回歸直線是否通過原點，下面介紹以下關(guān)于 的統(tǒng)計假設(shè)檢驗。,,47,,,檢驗步驟如下：,,統(tǒng)計假設(shè)：H,0,： =0 H,1,: 0,,計算回歸系數(shù) 的t值,,,t=,,,,,在原假設(shè)

16、H0成立時，t服從自由度為n-2的t分布。,,48,,,對給定的顯著性水平 ，決策規(guī)則是：,,若|t|> , 則拒絕接受原假設(shè)H,0,;,,若|t|< ，則接受原假設(shè)H,0,。,,49,,（3）回歸方程線性關(guān)系的顯著性檢驗,,該檢驗是以方差分析方法為基礎(chǔ)，反映y與x之間是否存在線性相關(guān)關(guān)系的檢驗，也被稱為回歸方程的F檢驗。,,其檢驗步驟如下：,,50,,,統(tǒng)計假設(shè) H,0,： =0 H,1,： 0,,計算回歸方程的F統(tǒng)計量：,,,F=,,,,可證明，在原假設(shè)H,0,成立時，有F～F（1，n-2）,,51,,,根據(jù)給定的顯

17、著性水平 ，查F分布表，,,對于給定的顯著性水平 ，假設(shè)檢驗決策的規(guī)則為：,,若F > （1，n-2）時， 則拒絕接受原假設(shè)H,0,,若F < （1，n-2）時， 則接受原假設(shè) H,0,。,,52,,,也就是說，F(xiàn) > （1，n-2）時，回歸方程的回歸效果是顯著的；,,F < （1，n-2）時，回歸方程的回歸效果是不顯著的。,,53,,,例題2、,利用例題1的結(jié)果，檢驗生產(chǎn)費用和產(chǎn)量之間存在著線性關(guān)系的假設(shè)是否成立。,,解：(1) F檢驗,,統(tǒng)計假設(shè)：H,0,： =0,,H,1,： 0,,54,,,,SSR=

18、 =1666.3577,,,SST= =887.7423,,,統(tǒng)計量F= = =15.0166,,55,,,給定的顯著性水平 =0.01，查F分布表，得,,(1，8)=11.26,,由于F=15.0166> (1，8)=11.26，,,所以，拒絕接受H,0,，即生產(chǎn)費用和參量之間存在著十分顯著的線性關(guān)系。,,56,,8．2．5 一元線性回歸模型的應(yīng)用,回歸模型在應(yīng)用領(lǐng)域里一項重要的研究內(nèi)容是如何利用回歸模型進行預(yù)測，預(yù)測就是在確定自變量的某一個值時，求相應(yīng)的因變量y

19、的估計值，其中可分為點預(yù)測和區(qū)間預(yù)測。,,57,,,（1）點預(yù)測,,點預(yù)測是將自變量的預(yù)測值代入回歸模型=，所得到的因變量y的值作為與相對應(yīng)的的預(yù)測，不難驗證，是無偏預(yù)測。,,58,,,（2）區(qū)間預(yù)測,,類似于對參數(shù)作置信區(qū)間估計，可對預(yù)測作指定置信水平的預(yù)測區(qū)間，這樣可以以相當大的概率保證預(yù)測的“方向”及精度。,,59,,,對于與 相對應(yīng)的值為 ，由于樣本的不得到的回歸模型的 ， 會不同，通過 =,,預(yù)測的 ，這個 與 之間總存在一定的抽樣誤差，可證明,,（ — )～ N[0,,,60,,,其中 ，因此，

20、 的概率為1- 的,,預(yù)測區(qū)間為,,61,,,因而，對于給定的置信水平1- ，有,,,,,,,,,,為 的置信水平100(1 - )%的預(yù)測區(qū)間。,,62,,,例題3、,依據(jù)例題1中所建立的回歸模型，給定x,0,=50（千個）時，試預(yù)測y,0,,并求 =0.05時y,0,的預(yù)測區(qū)間。,,63,,,解：當x,0,=50時， =134.7909+0.397850=154.6809 （千元）,,= （8）=2.306,,,=26.3301,,,所以，（128.3607，181.0209）為y,0,的置信水平95%的預(yù)測區(qū)間。,,64,,

21、§3 多元線性回歸模型及其應(yīng)用,一元線性回歸將影響因變量的自變量限制在一個，但在實際中，社會經(jīng)濟現(xiàn)象的復(fù)雜性決定了某一現(xiàn)象的變動往往受多種因素的影響。如某種產(chǎn)品單位成本的高低受產(chǎn)品原材料消耗量，原材料價格，產(chǎn)品產(chǎn)量等多種因素影響；企業(yè)的利潤受產(chǎn)品銷售收入，產(chǎn)品銷售成本，期間費用等因素影響，這就需要研究兩個或兩個以上自變量對因變量的影響。一個因變量與多個自變量之間的線性相關(guān)關(guān)系稱為多元線性回歸。,,65,,多元線性回歸模型的數(shù)學表示式為,：,y= ……(8-6),,其中，y為因變量 ， ，i=1,2,…,n為自變 量.,,，i=

22、0，1，…,k為回歸參數(shù)， 為隨機變量，且 ～,,66,,8.3.2 參數(shù)的最小二乘估計,實際上，回歸參數(shù) , ,…, 通常是未知的，需要對其進行估計。,,假定對于自變量 ,… , +和因變量y已得到n次觀測，第i 次觀測值為（ ），i=1,2,…,n,,,67,,,于是有,,= i=1,2,…,n,,其中， 為相互獨立的隨機變量，且 ～ 。,,68,,,回歸參數(shù) , ,…, 常用最小二乘法來估計，,,,,記 Q(

23、 , ,…, )=,,69,,,求它的最小值點（ ），即,,,,Q( )= Q( , ,…, ),,,,則 就是 , ,…, 的最小二乘估計。,,70,,,令 Q對 , ,…, 的一階偏導(dǎo)數(shù)為零，即可求出最小二乘估計。,,,,,,(j=1,2,…n),,71,,,將上述方程組整理可得到,,,,(8-7),,,,方程組（8-7）稱為“正規(guī)方程組”。,,72,,,,記,,73,,,則模型（8-6）可表示為,,Y=X +,,正規(guī)方程組（8-7）可表示為,,（X,T,X）

24、 =X,T,Y,,,74,,,當k+1階方陣X,T,X滿秩時，（即等價于r(X)=k+1）,可解出 的唯一最小二乘估計,,這樣就得到了y的估計式,,,可以看出，最小二乘估計是y的觀測值的線性函數(shù)，且是 的無偏估計。,,75,,,因為 E( )=(X,T,X)-1X,T,E(y),,=(X,T,X)-1X,T,X =,,類似于一元線性模型，可證明最小二乘估計 為 的“方差最小”線性無偏估計，“方差最小”可理解為：對 的每個分量，最小二乘估計的方差最小。,,76,,8.3.3 多元線性回歸模型的檢驗,,多元線性回歸模型的檢驗包括兩個方面：對回歸模型的擬合程度的評價

25、，和回歸線性相關(guān)關(guān)系的檢驗，方法和一元線性回歸類同,。,,77,,8.3.4 多元線性回歸模型的應(yīng)用,在多元線性回歸模型中，預(yù)測的方法與一元線性回歸模型的情況非常類似，建立了線性回歸模型,,,之后，便可用它對有關(guān)變量進行預(yù)測。,,78,,,給定 ， ，… ， 對應(yīng)的因變量記為y,0,，則y,0,的點估計可由模型,,,求得。,,79,,,若記 ，則,,可證明 ～N,,于是 ～N(0,1),,用 代替 ，便有,,,,～t(n-k-1),,80,,,對于給定的 ，的置信度為1

26、00（1- ）%的置信區(qū)間為,,81,,,,,,§4 回歸分析中的一些特殊問題,,82,,,,前面我們介紹了線性回歸模型的建立和應(yīng)用，一元線性回歸分析在實際中應(yīng)用并不廣泛，而更多的是多元線性回歸模型，但在實際中，正確應(yīng)用線性回歸模型分析實際問題并不是一件容易的事。由于有多個自變量，以下我們來介紹回歸分析中的一些特殊問題。,,83,,8.4.1 自變量的選擇問題,在建立一個回歸模型時，我們要將所有可能對因變量產(chǎn)生影響的自變量考慮到模型中去，而通常在所有備選的自變量中，只有一部分真正對因變量有影響，這樣的變量稱為有效變量，而其它的則可能對因變量沒有影響，稱為無效變量。因此需要將有效變量保留在模

27、型中，而無效變量應(yīng)從模型中去掉，這樣就產(chǎn)生了自變量的篩選問題，具體方法略。,,84,,多重共線型問題,在許多場合，如社會研究，時常分析等領(lǐng)域中，自變量是隨機的，在這種情況下，自變量之間就會有很強的統(tǒng)計相關(guān)性，即多重共線性。由于樣本數(shù)據(jù)間存在著線性相關(guān)關(guān)系而產(chǎn)生的問題就稱為多重共線性問題。因此檢驗多重共線型問題是必要的，具體方法略。,,85,,,在多重共線性現(xiàn)象中，一種極端情況是自變量間的相關(guān)系數(shù)為１，這種情況稱為完全的多重共線性現(xiàn)象。此時，某個自變量可表示為其它自變量的線性組合，則有X的秩小于k+1, X,T,X的逆不存在。,,86,,,而在建立線性回歸接近于零，這時雖然XTX的逆存在且可求出

28、回歸參數(shù)的唯一的最小二乘估計量，但對應(yīng)的估計量方差將會隨著相關(guān)程度的不斷增強而增大，回歸參數(shù)的估計量的方差不斷地增加，使得其置信區(qū)間不斷增大，從而回歸系數(shù)估計值的精度下降，我們便不能準確的分析有關(guān)自變量對因變量的真正影響。另外，估計量的方差增大，也使我們在回歸系數(shù)檢驗中容易得到不顯著的結(jié)果。,,87,,8.4.3 自相關(guān)問題,在研究線性模型,,i=1,2,…,n,,其中假定了隨機誤差項之間是相互獨立的,,即: ～N(0, ),,,,=,,,,88,,,但在實際中，特別是在經(jīng)濟分析中，大多數(shù)時間序列的資料都具有時滯性，如投資，收入，消費，就業(yè)等，這樣的時間序列資料中順

29、序觀測數(shù)據(jù)之間存在著相關(guān)現(xiàn)象，這種相關(guān)現(xiàn)象又將反映到 中去，使得隨機誤差項 之間存在著一定程度的相關(guān)關(guān)系。隨機誤差項 與 ， ，…相關(guān)稱為自相關(guān)， 與 相關(guān)稱為r階自相關(guān)，而最常見的是一階自相關(guān)，即 與 相關(guān)。,,89,,,以下我們討論的是一階自相關(guān)問題:,,設(shè)模型為　 (8-8),,＝　　 i=1,2,…,n,,其中　滿足 <１， 稱為一階自相關(guān)系數(shù),,,i,是獨立的隨機變量且,i,～N(0, ),,90,,,若 ＝０，則 之間不存在自相關(guān)現(xiàn)象；若 >0，則 之間存在正自相關(guān)現(xiàn)象；若 <0，則 之間存在負相關(guān)現(xiàn)象。,,91,,,隨機誤差項 的自相關(guān)現(xiàn)象將使得回歸參數(shù) 不再是最小方差估計量，估計量的方差增大，估計精度將會下降；估計量 不能準確地估計 ，從而會引起與 有關(guān)的結(jié)論產(chǎn)生錯誤。,,因此，需要弄清隨機誤差項之間是否存在 自相關(guān)現(xiàn)象，具體方法略。,,92,,