《最小二乘法的基本屬性.ppt》由會員分享，可在線閱讀，更多相關(guān)《最小二乘法的基本屬性.ppt（36頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、第二章 最小二乘法和線性回歸模型,1、 的條件分布 當(dāng)解釋變量 取某固定值時（條件）， 的值不確定， 的不同取值形成一定的分布，即 的條件分布。 2、 的條件期望 對于 的每一個取值， 對 所形成的分布確 定其期望或均值，稱 為 的條件期望或條 件均值,第一節(jié) 最小二乘法的屬性 一、有關(guān)回歸的基本介紹,回歸函數(shù)：被解釋變量 的條件期望 隨解釋變量 的的變化而有規(guī)律的變化，如果把 的條件期望 表現(xiàn)為 的某種函數(shù) 這個函數(shù)稱為回歸函數(shù)。 回歸函數(shù)分為：總體回歸函數(shù)和樣本回歸函數(shù),,,1 、總體回歸函數(shù)的概念 前提：假如已知所研究的經(jīng)濟(jì)現(xiàn)象的總體被解釋變量 和解

2、釋變量 的每個觀測值, 可以計(jì)算出總體被解釋變量 的條件均值 ，并將其表現(xiàn)為解釋變量 的某種函數(shù) 這個函數(shù)稱為總體回歸函數(shù)（PRF）,二、參數(shù)的最小二乘估計(jì) （一）基本概念,3、隨機(jī)擾動項(xiàng),概念: 隨機(jī)項(xiàng) 是指各個 值與 條件均值 的偏差 隨機(jī)擾動項(xiàng)包括以下內(nèi)容 模型中沒有列出的影響因素 模型的設(shè)定誤差 變量的觀測誤差 變量內(nèi)在隨機(jī)性,,,,,,,4、樣本回歸函數(shù)（SRF）,,,,,,,,樣本回歸線： 對于 的一定值，取得 的樣本觀測值，可計(jì)算其條件均值，樣本觀測值條件均值的軌跡稱為樣本回歸線。 樣本回歸函數(shù)： 如果把被解釋變量 的樣本條件均值表示為解釋變量

3、 的某種函數(shù)，這個函數(shù)稱為樣本回歸函數(shù)（SRF）。,,,,SRF 的特點(diǎn),每次抽樣都能獲得一個樣本，就可以擬合一條樣本回 歸線，所以樣本回歸線隨抽樣波動而變化，可以有許多條（SRF不唯一）。,SRF2,樣本回歸函數(shù)如果為線性函數(shù)，可表示為 其中： 是與 相對應(yīng)的 的樣本條件均值 和 分別是樣本回歸函數(shù)的參數(shù) 被解釋變量 的實(shí)際觀測值 不完全等于樣本條件 均值，二者之差用 表示, 稱為剩余項(xiàng)或殘差項(xiàng)： 或者,樣本回歸函數(shù)的表現(xiàn)形式,對樣本回歸的理解,如果能夠獲得 和 的數(shù)值，顯然: 和 是對總體回歸函數(shù)參數(shù) 和 的估計(jì) 是對總體條件期望

4、 的估計(jì) 在概念上類似總體回歸函數(shù)中的 ，可 視為對 的估計(jì)。,5、 回歸分析的目的,用樣本回歸函數(shù)SRF去估計(jì)總體回歸函數(shù)PRF。 由于樣本對總體總是存在代表性誤差，SRF 總會過高或過低估計(jì)PRF。 要解決的問題： 尋求一種規(guī)則和方法，使得到的SRF的參數(shù) 和 盡可能“接近”總體回歸函數(shù)中的參數(shù) 和 。 這樣的“規(guī)則和方法”有多種，最常用的是最小二乘法,,OLS的基本思想 不同的估計(jì)方法可得到不同的樣本回歸參數(shù) 和 ，所估計(jì)的 也不同。 理想的估計(jì)方法應(yīng)使 與 的差即剩余 越小越好 因 可正可負(fù)，所以可以取 最小 即,（二）方法介紹（普通最小二乘法

5、） （rdinary Least Squares ）,正規(guī)方程和估計(jì)式,用克萊姆法則求解得觀測值形式的OLS估計(jì)式：,取偏導(dǎo)數(shù)為0，得正規(guī)方程,為表達(dá)得更簡潔，或者用離差形式OLS估計(jì)式： 注意其中：,用離差表現(xiàn)的OLS估計(jì)式,（1）對模型和變量的假定 如 假定解釋變量 是非隨機(jī)的，或者雖然是隨機(jī)的，但與擾動 項(xiàng) 是不相關(guān)的,三、最小二乘估計(jì)量的性質(zhì)和分布 （一）經(jīng)典現(xiàn)行回歸模型的基本假定,,又稱高斯假定、古典假定 假定1：零均值假定 在給定 的條件下 ， 的條件期望為零 假定2：同方差假定 在給定 的條件下， 的條件方差為某個常數(shù),（2）對隨機(jī)擾動項(xiàng) 的假定,假定3：無自相

6、關(guān)假定 隨機(jī)擾動項(xiàng) 的逐次值互不相關(guān) 假定4：隨機(jī)擾動 與解釋變量 不相關(guān),,假定5：對隨機(jī)擾動項(xiàng)分布的正態(tài)性假定 即假定 服從均值為零、方差為 的正態(tài)分布 （說明：正態(tài)性假定不影響對參數(shù)的點(diǎn)估計(jì)，但對確定所估計(jì)參數(shù)的分布性質(zhì)是需要的。且根據(jù)中心極限定理，當(dāng)樣本容量趨于無窮大時， 的分布會趨近于正態(tài)分布。所以正態(tài)性假定是合理的）,的分布性質(zhì),由于 的分布性質(zhì)決定了 的分布性質(zhì)。 對 的一些假定可以等價地表示為對 的假定： 假定1：零均值假定 假定2：同方差假定 假定3：無自相關(guān)假定 假定5：正態(tài)性假定,（二）參數(shù)估計(jì)量的性質(zhì),(一)參數(shù)估計(jì)式的評價標(biāo)準(zhǔn)

7、 1. 無偏性 前提：重復(fù)抽樣中估計(jì)方法固定、樣本數(shù)不變、經(jīng) 重復(fù)抽樣的觀測值，可得一系列參數(shù)估計(jì)值 參數(shù)估計(jì)值 的分布稱為 的抽樣分布，密度函 數(shù)記為 如果 ，稱 是參數(shù) 的無偏估計(jì)式，否 則稱 是有偏的，其偏倚為 （見圖1.2）,,,,,圖 1 . 2,前提：樣本相同、用不同的方法估計(jì)參數(shù)， 可以找到若干個不同的估計(jì)式 目標(biāo)：努力尋求其抽樣分布具有最小方差的 估計(jì)式 最小方差準(zhǔn)則，或稱最佳 性準(zhǔn)則（見圖1.3） 既是無偏的同時又具有最小方差的估計(jì)式，稱為 最佳無偏估計(jì)式。,2. 最小方差性,4. 漸近性質(zhì)（大樣本性質(zhì)）,思想:當(dāng)樣本容量較小時，

8、有時很難找到最佳無偏估計(jì)，需要考慮樣本擴(kuò)大后的性質(zhì) 一致性： 當(dāng)樣本容量 n 趨于無窮大時，如果估計(jì)式 依概率收斂于總體參數(shù)的真實(shí)值，就稱這個估計(jì)式 是 的一致估計(jì)式。即 或 漸近有效性：當(dāng)樣本容量 n 趨于無窮大時，在所有的一致估計(jì)式中，具有最小的漸近方差。 (見圖1.4),（二）OLS估計(jì)式的統(tǒng)計(jì)性質(zhì),由OLS估計(jì)式可以看出 由可觀測的樣本值 和 唯一表示。 因存在抽樣波動，OLS估計(jì) 是隨機(jī)變量 OLS估計(jì)式是點(diǎn)估計(jì)式,1. 線性特征 是 的線性函數(shù),2. 無偏特性 3. 最小方差特性 在所有的線性無偏

9、估計(jì)中，OLS估計(jì) 具有最小方差 結(jié)論：在古典假定條件下,OLS估計(jì)式是最佳線性無 偏估計(jì)式（BLUE）,OLS估計(jì)式的統(tǒng)計(jì)性質(zhì)高斯定理,, 期望： (無偏估計(jì)） 方差和標(biāo)準(zhǔn)差 注意：以上各式中 未知，其余均是樣本觀測值,（三）OLS估計(jì)量的方差、標(biāo)準(zhǔn)差及概率分布,,可以證明 的無偏估計(jì)為 (n-2為自由度,即可自由變化的樣本觀測值個數(shù)),對隨機(jī)擾動項(xiàng)方差 的估計(jì),在 已知時,,估計(jì)量的概率分布,,（1）當(dāng)樣本為大樣本時，用估計(jì)的參數(shù)標(biāo)準(zhǔn)差對 作標(biāo)準(zhǔn)化變換，所得Z 統(tǒng)計(jì)量仍可視為標(biāo)準(zhǔn)正 態(tài)變量（根據(jù)中心極限定理） （2）當(dāng)樣本為小樣本時，可用 代替 ， 去估 計(jì)參數(shù)的標(biāo)準(zhǔn)誤差，用估計(jì)的參數(shù)標(biāo)準(zhǔn)誤差對 作標(biāo)準(zhǔn)化變換，所得的 t 統(tǒng)計(jì)量不再服從正態(tài)分布 （這時分母也是隨機(jī)變量），而是服從 t 分布：,當(dāng) 未知時,,一般情況下, 總體方差 未知，用無偏估計(jì) 去代替 ，由于樣本容量較小，統(tǒng)計(jì)量 t 不再服從正態(tài)分布，而服從 t 分布。可用 t 分布去建立參數(shù)估計(jì)的置信區(qū)間。,回歸系數(shù)區(qū)間估計(jì)的方法,選定，查 t 分布表得顯著性水平為 ，自 由度為 的臨界值 ，則有 即,