線性回歸分析的基本步驟要點

《線性回歸分析的基本步驟要點》由會員分享，可在線閱讀，更多相關《線性回歸分析的基本步驟要點（15頁珍藏版）》請在裝配圖網上搜索。

1、步驟一、建立模型知識點：1、總體回歸模型、總體回歸方程、樣本回歸模型、樣本回歸方程 總體回歸模型：研究總體之中自變量和因變量之間某種非確定依賴關系 的計量模型。Y = X卩+ U特點：由于隨機誤差項 U 的存在，使得 Y 和 X 不在一條直線/平面上。例1某鎮共有60個家庭，經普查，60個家庭的每周收入（X）與每周 消費（Y）數據如下：每周收入（X）每周消費支出（Y）8055606570751006570748085881207984909498140809395103108113115160102107110116118125180110115120130135140200120136140

2、144145220135137140152157160162240137145155165175189260150152175178180185191作出其散點圖如下：200 -|180 - ；O-&160 -婁:* * 8140 -： I IY 120 -宮；：I :100 - 、: ?80-D氐:60 -40 111114080120160200240280 總體回歸方程（線）：由于假定EU = 0，因此因變量的均值與自變量總處于一條直線上，這條直線E（XIX）= X卩就稱為總體回歸線（方程）?？傮w回歸方程的求法：以例 1的數據為例1）對第一個X.,求出E（YX.）。ii每周收入（X）每周

3、消費支出（Y）E(YIX.)8055606570756510065707480858877120798490949889140809395103108113115101160102107110116118125113180110115120130135140125200120136140144145137220135137140152157160162149240137145155165175189161260150152175178180185191173由于E（X I Xj）=卩。+片X）,因此任意帶入兩個兀和其對應的（啓）值,即可求出卩。和片，并進而得到總體回歸方程。如將 X = 100

4、,E（X IX ）= 77和X = 200,E（X IX ）= 137 代 入222777E(X IX )=卩 +p X 可得:i i 01 i77 =p +100 卩01137 邛 + 200卩01卩=170卩=0.61以上求出卩。和p1反映了 E（YIX.）和X.之間的真實關系，即所求的總體回歸 方程為：i i = 17+06X,其圖形為：i ii 樣本回歸模型：總體通常難以得到，因此只能通過抽樣得到樣本數據。如在例1中，通過抽樣考察，我們得到了 20個家庭的樣本數據：每周收入（X）每周消費支出（Y）805510065701207984140809316010210711018011020

5、0120136220135137240137145260150152175那么描述樣本數據中因變量 Y 和自變量 X 之間非確定依賴關系的模型Y = X+ e就稱為樣本回歸模型。 樣本回歸方程（線：通過樣本數據估計出Q，得到樣本觀測值的擬合 值與解釋變量之間的關系方程Y = XP稱為樣本回歸方程。如下圖所示: 四者之間的關系：i：總體回歸模型建立在總體數據之上，它描述的是因變量Y和自變量X 之間的真實的非確定型依賴關系；樣本回歸模型建立在抽樣數據基礎之 上，它描述的是因變量 Y 和自變量 X 之間的近似于真實的非確定型依賴 關系。這種近似表現在兩個方面：一是結構參數0是其真實值卩的一種 近似估

6、計；二是殘差e是隨機誤差項U的一個近似估計；ii:總體回歸方程是根據總體數據得到的，它描述的是因變量的條件均值E(y)與自變量x之間的線性關系；樣本回歸方程是根據抽樣數據得到 的，它描述的是因變量y樣本預測值的擬合值值Y與自變量X之間的線性 關系。逍：回歸分析的目的是試圖通過樣本數據得到真實結構參數卩的估計值, 并要求估計結果0足夠接近真實值卩。由于抽樣數據有多種可能，每一 次抽樣所得到的估計值0都不會相同，即卩的估計量B是一個隨機變量。 因此必須選擇合適的參數估計方法，使其具有良好的統計性質。2、隨機誤差項U存在的原因： 非重要解釋變量的省略 人的隨機行為 數學模型形式欠妥 歸并誤差(如一國

7、GDP的計算) 測量誤差等 3、多元回歸模型的基本假定 隨機誤差項的期望值為零E(U ) = 0i 隨機誤差項具有同方差性Var(u ) = o 2 i = 1,2,ni 隨機誤差項彼此之間不相關Cov(u ,u ) = 0 i工j ; i,j = 1,2ni j 解釋就變量xX，x為確定型變量，與隨機誤差項彼此不相關。Cov(X ,u ) = 0 i = 1,2k j = 1,2ni j 解釋就變量耳 之間不存在精確的（完全的）線性關系，即解 釋變量的樣本觀測值矩陣X為滿秩矩陣：rank（X）=k+1 F (k,n -k -1)a4、計算統計量值，并判斷是否拒絕原假設例3：就例2中的數據，給

8、定顯著性水平a= 1%，對回歸方程進行顯著性檢驗。解：由于統計量值 f =RS /k= 65965/2 = 5140.13，ESS / n 一 k -177/12又 F (2,12 )= 6.93，而 F = 5140.13 F (2,12 )= 6.930.01 0.01故拒絕原假設，即在1%的顯著性水平下可以認為回歸方程存在顯著的線性關系。2 =空由于 TSS附：R2與F檢驗的關系：a F =RSS a RSS = R ESS ESS + RSS1 一 R2又F =RSS /kESS / n - k 一 1 J 解釋變量的顯著性檢驗&檢驗) 目的：檢驗模型中的自變量是否對因變量存在顯著影響

9、。多元回歸： Spi知識點：，其中c為(XX丄1中位于第i+1行i+1,i+1和 i+1 列的元素；元回歸：I 刀e 2Aj(n - 2)xS x 2變量顯著性檢驗的基本步驟：1、 提出假設：H : p = 0 H :卩豐00 i 1 i2、構造統計量：t = Sj- t(n - k-1)P3、給定顯著性水平a，確定拒絕域t町(n - k -1)4、計算統計量值，并判斷是否拒絕原假設 例 4：根據 19個樣本數據得到某一回歸方程如下：Y = -58.9+0.2X 一 0.1X12se (0.0092) (0.084)試在5%的顯著性水平下對變量X 和X的顯著性進行檢驗。12解：由于ta/2(n

10、 - k-1) = t0 025(16) = 212，故t檢驗的拒絕域為t 2.12。對自變量X而言，其t統計量值為t =俗=02 = 21.74 2.12，落入1S 0.0092P1拒絕域，故拒絕p = 0的原假設，即在5%的顯著性水平下，可以認為自變1量x對因變量有顯著影響；1對自變量x而言，其t統計量值為|t| =h =- 1 =119 V 2.12， 未落入拒 21 1 S 0.084P2絕域，故不能拒絕P = 0的原假設，即在5%的顯著性水平下，可以認為2自變量x 2對因變量Y的影響并不顯著。 回歸系數的置信區間目的：給定某一置信水平1 -a，構造某一回歸參數p的一個置信區間，使ip

11、落在該區間內的概率為1 -ai基本步驟：1、 構造統計量t =円 t(n - k -1)2、給定置信水平i-a，查表求出a水平的雙側分位數 t ( n - k - 1)a/23、 求出p的置信度為1-a的置信區間(3 -1 xS ,0 +1 xS )ii a/2 p i a/2 pii例5：根據例4的數據，求出p的置信度為95%的置信區間。1解：由于t (16) = 2.12，故p的置信度為95%的置信區間為：0.0251(0.2 - 2.12x0.0092,0.2 + 212x 00092)=(0.18,0.22 )3、經濟意義檢驗目的：檢驗回歸參數的符號及數值是否與經濟理論的預期相符。例

12、6：根據 26 個樣本數據建立了以下回歸方程用于解釋美國居民的個人消費支出：Y = -10.96+0.93X 一 2.09 X12t(-3.33) (249.06) (-3.09)R2 = 0.9996其中：Y為個人消費支出(億元)；為居民可支配收入(億元)；X2為 利率(%)1) 先驗估計p和0的符號；12解：由于居民可支配收入越高，其個人消費水平也會越高，因此預期自變 量 X1 回歸系數的符號為正；而利率越高，居民儲蓄意愿越強，消費意愿 相應越低，因此個從消費支出與利率應該存在負相關關系，即Q應為負。22) 解釋兩個自變量回歸系數的經濟含義； 解：Q = 0.93表示，居民可支配收入每增加

13、1億元，其個人消費支出相應1會增加093億元，即居民的邊際消費傾向MPC=093；Q = -2.09表示，利率提高1個百分點，個人消費支出將減少2.09億元。2截距項表示居民可支配收入和利率為零時的個人消費支出為 -10.96 億元，它沒有明確的經濟含義。3) 檢驗p是否顯著不為1； (a = 5%)1 解：1)提出假設： H :p =1 H :p 豐10 1 1 12) 構造統計量：t =Pi_Pi t(n-k-1)Pi3) 給定顯著性水平a = 5% ，(n-k-1)=t (23) = 2.07 ， 故拒絕a / 20.025域為 |t| 2.074) 計算統計量值：由于“0 ) = a

14、S =衛-=0.93 = 0.003734S 2.07， 落入拒絕域。故拒絕 P =1 的原假設。1 S 0.003734iPi即在5%的顯著性水平下，可認為邊際消費傾向MPC顯著不為1。4) 檢驗p顯否顯著不為零；(a = 5%)2解：1)提出假設：h : P = 0 H : P豐002i 22) 構造統計量：t = t(n - k -1)P23) 給定顯著性水平口 = 5%， 查表得 t (n - k -1) = t (23) = 2.07， 故拒絕a / 20.025域為 |t| 2.074) 計算統計量值：由于 |t(P2) = 3.09 2.07， 落入拒絕域，故拒絕原假 設。即在5

15、%的顯著性水平下，可以認為p顯著異于零。25) 計算R值；2R2 = 1 - ESS/n-k-1 = i-ESSx上L = 1-C-R2)x上1_解：由于TSS / n -1TSS n - k 1n - k 1=1-G - 09996)x 26 -1 = 0.9995726 - 2 -16) 計算每個回歸系數的標準差；一1096-3.33解：由于t(0 )=邑n S 二-0- / S00i t(0 )0iS =X-0。t (卩)0S = 0.00373久t(0 ) 249.061A.S =戈 =-209 = 0.6764 02t(0 ) -3.092=3.290.93-2.097) 給出 0

16、置信水平為 95%的置信區間；2解：由于0 =-2.09 , S =0.6764 , t (23) = 2.07，故0置信水平為95%的置信 2020.0252區間為(-2.09- 2.07x0.6764 , -2.09 + 2.07x0.6764)= (-3.49 , -0.69)8) 對回歸方程進行顯著性檢驗； 解：提出假設：H : 0=0= 0 H : 0或0工00 1 2 1 1 2構造統計量-=eRS F(k,n-k -1)確定拒絕域： F F (k .n 一 k 一 1) = F(2,23) = 3.42a0.05計算統計量并進行判斷：由于F =X =気=28738.5 3.42故

17、拒絕原假設，即在5%的顯著性水平下認為回歸方程的線性關系顯 著成立。步驟四：經濟預測點預測：Y = X 0可以看著是Y的條件均值E(y | X )和個別值Y的預測值，0 0 0 0 0分別稱為均值預測和個值預測；性質：Y = X 0是E(Y IX )和Y的一個無偏估計量。0 0 0 0 0區間預測：均值E(Y IX )的區間預測00預測步驟:1)確定統計量：t = Y -爭1 X0) t(n -k -1)Y 0其中 sYX X(XXA Xn 一 k -1002)給定置信水平1 -a，確定E(Y IX )的預測區間為:C0 0)W -1 (n - k -1) X s ,Y +1 (n - k -

18、1) x S f0 a/2亍 0 a/2P00個值Y的區間預測0預測步驟：1)確定統計量：t = S0 t (nk 1)e0e0其中sE e2e0i nk 12)給定置信水平1 -a，確定Y的預測區間為： 0(Y -1 (n -k -1)x S ,Y +1 (n 一k 一 1)x S )0 a /2e0 0 a /2e0作業：為解釋某地對酒的消費，根據20年的樣本數據得到了如下回歸方程：Y = -0.014 一 0.354X + 0.018X + 0.657X + 0.059X 1234其中：y :每一成年人每年對酒的消費量（升）X ：酒類的平均價格（元）；X ：個人可支配收入（元）12X :

19、酒類經營許可證數量（張） X :酒類廣告投入（萬元） 34已知R2 = 0.689，（XXA對角線上的元素分別為C =0.0576，C = 28.9014，1,1 2,2C = 0.01 ， C = 28.3042 ， C =0.4624， 回歸方程的殘差平方和 ESS = 0.0375 3,34,45,51）先驗地，你認為各自變量回歸系數的符號為什么？2）請完成以下方差分析表:方差來源平方和（SS）自由度均方值離差平方和TSS回歸平方和RSS殘差平方和ESS0.03753）計算R 2值4）對4個自變量進行顯著性檢驗，并分析其經濟含義5）給出p置信水平為95%的區間估計；26）對方程進行顯著性檢驗；