《最小二乘法的基本屬性.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《最小二乘法的基本屬性.ppt（36頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第二章 最小二乘法和線性回歸模型,1、 的條件分布 當(dāng)解釋變量 取某固定值時(shí)（條件）， 的值不確定， 的不同取值形成一定的分布，即 的條件分布。 2、 的條件期望 對(duì)于 的每一個(gè)取值， 對(duì) 所形成的分布確 定其期望或均值，稱(chēng) 為 的條件期望或條 件均值,第一節(jié) 最小二乘法的屬性 一、有關(guān)回歸的基本介紹,回歸函數(shù)：被解釋變量 的條件期望 隨解釋變量 的的變化而有規(guī)律的變化，如果把 的條件期望 表現(xiàn)為 的某種函數(shù) 這個(gè)函數(shù)稱(chēng)為回歸函數(shù)。 回歸函數(shù)分為：總體回歸函數(shù)和樣本回歸函數(shù),,,1 、總體回歸函數(shù)的概念 前提：假如已知所研究的經(jīng)濟(jì)現(xiàn)象的總體被解釋變量 和解

2、釋變量 的每個(gè)觀測(cè)值, 可以計(jì)算出總體被解釋變量 的條件均值 ，并將其表現(xiàn)為解釋變量 的某種函數(shù) 這個(gè)函數(shù)稱(chēng)為總體回歸函數(shù)（PRF）,二、參數(shù)的最小二乘估計(jì) （一）基本概念,3、隨機(jī)擾動(dòng)項(xiàng),概念: 隨機(jī)項(xiàng) 是指各個(gè) 值與 條件均值 的偏差 隨機(jī)擾動(dòng)項(xiàng)包括以下內(nèi)容 模型中沒(méi)有列出的影響因素 模型的設(shè)定誤差 變量的觀測(cè)誤差 變量?jī)?nèi)在隨機(jī)性,,,,,,,4、樣本回歸函數(shù)（SRF）,,,,,,,,樣本回歸線： 對(duì)于 的一定值，取得 的樣本觀測(cè)值，可計(jì)算其條件均值，樣本觀測(cè)值條件均值的軌跡稱(chēng)為樣本回歸線。 樣本回歸函數(shù)： 如果把被解釋變量 的樣本條件均值表示為解釋變量

3、 的某種函數(shù)，這個(gè)函數(shù)稱(chēng)為樣本回歸函數(shù)（SRF）。,,,,SRF 的特點(diǎn),每次抽樣都能獲得一個(gè)樣本，就可以擬合一條樣本回 歸線，所以樣本回歸線隨抽樣波動(dòng)而變化，可以有許多條（SRF不唯一）。,SRF2,樣本回歸函數(shù)如果為線性函數(shù)，可表示為 其中： 是與 相對(duì)應(yīng)的 的樣本條件均值 和 分別是樣本回歸函數(shù)的參數(shù) 被解釋變量 的實(shí)際觀測(cè)值 不完全等于樣本條件 均值，二者之差用 表示, 稱(chēng)為剩余項(xiàng)或殘差項(xiàng)： 或者,樣本回歸函數(shù)的表現(xiàn)形式,對(duì)樣本回歸的理解,如果能夠獲得 和 的數(shù)值，顯然: 和 是對(duì)總體回歸函數(shù)參數(shù) 和 的估計(jì) 是對(duì)總體條件期望

4、 的估計(jì) 在概念上類(lèi)似總體回歸函數(shù)中的 ，可 視為對(duì) 的估計(jì)。,5、 回歸分析的目的,用樣本回歸函數(shù)SRF去估計(jì)總體回歸函數(shù)PRF。 由于樣本對(duì)總體總是存在代表性誤差，SRF 總會(huì)過(guò)高或過(guò)低估計(jì)PRF。 要解決的問(wèn)題： 尋求一種規(guī)則和方法，使得到的SRF的參數(shù) 和 盡可能“接近”總體回歸函數(shù)中的參數(shù) 和 。 這樣的“規(guī)則和方法”有多種，最常用的是最小二乘法,,OLS的基本思想 不同的估計(jì)方法可得到不同的樣本回歸參數(shù) 和 ，所估計(jì)的 也不同。 理想的估計(jì)方法應(yīng)使 與 的差即剩余 越小越好 因 可正可負(fù)，所以可以取 最小 即,（二）方法介紹（普通最小二乘法

5、） （rdinary Least Squares ）,正規(guī)方程和估計(jì)式,用克萊姆法則求解得觀測(cè)值形式的OLS估計(jì)式：,取偏導(dǎo)數(shù)為0，得正規(guī)方程,為表達(dá)得更簡(jiǎn)潔，或者用離差形式OLS估計(jì)式： 注意其中：,用離差表現(xiàn)的OLS估計(jì)式,（1）對(duì)模型和變量的假定 如 假定解釋變量 是非隨機(jī)的，或者雖然是隨機(jī)的，但與擾動(dòng) 項(xiàng) 是不相關(guān)的,三、最小二乘估計(jì)量的性質(zhì)和分布 （一）經(jīng)典現(xiàn)行回歸模型的基本假定,,又稱(chēng)高斯假定、古典假定 假定1：零均值假定 在給定 的條件下 ， 的條件期望為零 假定2：同方差假定 在給定 的條件下， 的條件方差為某個(gè)常數(shù),（2）對(duì)隨機(jī)擾動(dòng)項(xiàng) 的假定,假定3：無(wú)自相

6、關(guān)假定 隨機(jī)擾動(dòng)項(xiàng) 的逐次值互不相關(guān) 假定4：隨機(jī)擾動(dòng) 與解釋變量 不相關(guān),,假定5：對(duì)隨機(jī)擾動(dòng)項(xiàng)分布的正態(tài)性假定 即假定 服從均值為零、方差為 的正態(tài)分布 （說(shuō)明：正態(tài)性假定不影響對(duì)參數(shù)的點(diǎn)估計(jì)，但對(duì)確定所估計(jì)參數(shù)的分布性質(zhì)是需要的。且根據(jù)中心極限定理，當(dāng)樣本容量趨于無(wú)窮大時(shí)， 的分布會(huì)趨近于正態(tài)分布。所以正態(tài)性假定是合理的）,的分布性質(zhì),由于 的分布性質(zhì)決定了 的分布性質(zhì)。 對(duì) 的一些假定可以等價(jià)地表示為對(duì) 的假定： 假定1：零均值假定 假定2：同方差假定 假定3：無(wú)自相關(guān)假定 假定5：正態(tài)性假定,（二）參數(shù)估計(jì)量的性質(zhì),(一)參數(shù)估計(jì)式的評(píng)價(jià)標(biāo)準(zhǔn)

7、 1. 無(wú)偏性 前提：重復(fù)抽樣中估計(jì)方法固定、樣本數(shù)不變、經(jīng) 重復(fù)抽樣的觀測(cè)值，可得一系列參數(shù)估計(jì)值 參數(shù)估計(jì)值 的分布稱(chēng)為 的抽樣分布，密度函 數(shù)記為 如果 ，稱(chēng) 是參數(shù) 的無(wú)偏估計(jì)式，否 則稱(chēng) 是有偏的，其偏倚為 （見(jiàn)圖1.2）,,,,,圖 1 . 2,前提：樣本相同、用不同的方法估計(jì)參數(shù)， 可以找到若干個(gè)不同的估計(jì)式 目標(biāo)：努力尋求其抽樣分布具有最小方差的 估計(jì)式 最小方差準(zhǔn)則，或稱(chēng)最佳 性準(zhǔn)則（見(jiàn)圖1.3） 既是無(wú)偏的同時(shí)又具有最小方差的估計(jì)式，稱(chēng)為 最佳無(wú)偏估計(jì)式。,2. 最小方差性,4. 漸近性質(zhì)（大樣本性質(zhì)）,思想:當(dāng)樣本容量較小時(shí)，

8、有時(shí)很難找到最佳無(wú)偏估計(jì)，需要考慮樣本擴(kuò)大后的性質(zhì) 一致性： 當(dāng)樣本容量 n 趨于無(wú)窮大時(shí)，如果估計(jì)式 依概率收斂于總體參數(shù)的真實(shí)值，就稱(chēng)這個(gè)估計(jì)式 是 的一致估計(jì)式。即 或 漸近有效性：當(dāng)樣本容量 n 趨于無(wú)窮大時(shí)，在所有的一致估計(jì)式中，具有最小的漸近方差。 (見(jiàn)圖1.4),（二）OLS估計(jì)式的統(tǒng)計(jì)性質(zhì),由OLS估計(jì)式可以看出 由可觀測(cè)的樣本值 和 唯一表示。 因存在抽樣波動(dòng)，OLS估計(jì) 是隨機(jī)變量 OLS估計(jì)式是點(diǎn)估計(jì)式,1. 線性特征 是 的線性函數(shù),2. 無(wú)偏特性 3. 最小方差特性 在所有的線性無(wú)偏

9、估計(jì)中，OLS估計(jì) 具有最小方差 結(jié)論：在古典假定條件下,OLS估計(jì)式是最佳線性無(wú) 偏估計(jì)式（BLUE）,OLS估計(jì)式的統(tǒng)計(jì)性質(zhì)高斯定理,, 期望： (無(wú)偏估計(jì)） 方差和標(biāo)準(zhǔn)差 注意：以上各式中 未知，其余均是樣本觀測(cè)值,（三）OLS估計(jì)量的方差、標(biāo)準(zhǔn)差及概率分布,,可以證明 的無(wú)偏估計(jì)為 (n-2為自由度,即可自由變化的樣本觀測(cè)值個(gè)數(shù)),對(duì)隨機(jī)擾動(dòng)項(xiàng)方差 的估計(jì),在 已知時(shí),,估計(jì)量的概率分布,,（1）當(dāng)樣本為大樣本時(shí)，用估計(jì)的參數(shù)標(biāo)準(zhǔn)差對(duì) 作標(biāo)準(zhǔn)化變換，所得Z 統(tǒng)計(jì)量仍可視為標(biāo)準(zhǔn)正 態(tài)變量（根據(jù)中心極限定理） （2）當(dāng)樣本為小樣本時(shí)，可用 代替 ， 去估 計(jì)參數(shù)的標(biāo)準(zhǔn)誤差，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對(duì) 作標(biāo)準(zhǔn)化變換，所得的 t 統(tǒng)計(jì)量不再服從正態(tài)分布 （這時(shí)分母也是隨機(jī)變量），而是服從 t 分布：,當(dāng) 未知時(shí),,一般情況下, 總體方差 未知，用無(wú)偏估計(jì) 去代替 ，由于樣本容量較小，統(tǒng)計(jì)量 t 不再服從正態(tài)分布，而服從 t 分布?？捎?t 分布去建立參數(shù)估計(jì)的置信區(qū)間。,回歸系數(shù)區(qū)間估計(jì)的方法,選定，查 t 分布表得顯著性水平為 ，自 由度為 的臨界值 ，則有 即,