Bài giảng Hồi quy đa biến: Kiểm định giả thuyết và lựa chọn mô hình

"Bài giảng Hồi quy đa biến: Kiểm định giả thuyết và lựa chọn mô hình" thông tin đến các bạn những kiến thức về giả thiết về qui luật chuẩn; kiểm định hệ số hồi qui riêng; kiểm định ý nghĩa thống kê của các hệ số hồi qui; lựa chọn mô hình; lựa chọn dạng hàm hồi qui...
Nội dung trích xuất từ tài liệu:
Bài giảng Hồi quy đa biến: Kiểm định giả thuyết và lựa chọn mô hình 11/29/2012 HỒI QUY ĐA BIẾN: KIỂM ĐỊNH GIẢ THUYẾT VÀ LỰA CHỌN MÔ HÌNH GV : Đinh Công Khải – FETP Môn: Các Phương Pháp Định Lượng – MPP5 Giả thiết về qui luật chuẩn  Giả thiết ui ~ N(0, σ2)  Các tính chất của ước lượng OLS trong hồi qui đa biến theo giả thiết phân phối chuẩn ˆk ~ N (  k , 2ˆ ) k  Ước lượng  2ˆ trong hàm hồi qui với 2 biến độc lập k Yi = β1 + β2 X2i+ β3 X3i+ ui var( ˆ2 )  x 2 3i 2  x 2 2i  x  -  x 2 3i 2i x3i  2 var( ˆ3 )  x 2 2i 2  x 2 2i  x  -  x 2 3i 2i x3i  2 ˆ   uˆ 2 i n3 1 11/29/2012 Kiểm định hệ số hồi qui riêng  Phương pháp kiểm định ý nghĩa: Kiểm định t  Kiểm định 2 phía H0: βk = a Ha: βk ≠ a Trị kiểm định thống kê ˆk   k t sˆ k Kiểm định hệ số hồi qui riêng Qui tắc bác bỏ  Bác bỏ nếu |t| > tα/2 với t α/2 dựa trên phân phối t với bậc tự do là (n-K)  Hoặc pvalue < α.  Kiểm định 1 phía H0: βk ≥ a H0: βk ≤ a Ha: βk < a Ha: βk > a Qui tắc bác bỏ  Bác bỏ nếu t < - tα t > tα  Hoặc pvalue < α pvalue < α 2 11/29/2012 Kiểm định hệ số hồi qui riêng  Phương pháp kiểm định dựa trên khoảng tin cậy (1-α)100% ˆk  t / 2 sˆ k Qui tắc bác bỏ Bác bỏ H0 nếu 0 không nằm trong khoảng tin cậy (1-α)100% của βk Kiểm định ý nghĩa thống kê của các hệ số hồi qui  Phương pháp kiểm định ý nghĩa: Kiểm định F (Kiểm định Wald) Giả thuyết H0: β2 = β3 = ….. = βK = 0 Ha: Ít nhất có một tham số βk khác 0 Trị kiểm định F: MSE ESS /( K  1) F  ~ F( K 1,n K , ) MSR RSS /( n  K ) Qui tắc bác bỏ: Bác bỏ H0 nếu F ≥ F (K-1, n-K,α) hoặc pvalue ≤ α 3 11/29/2012 Kiểm định ý nghĩa thống kê của các hệ số hồi qui  Mối quan hệ giữa R2 và F R 2 /( K  1) F (1  R 2 ) /( n  K )  Khi R2 càng lớn thì F càng lớn.  Kiểm định F là thước đo ý nghĩa chung của mô hình hồi qui và cũng là kiểm định ý nghĩa của R2.  Kiểm định H0: β2 = β3 = ….. = βK = 0 tương đương kiểm định H0 : R2 = 0 Lựa chọn mô hình  Phương pháp “từ tổng quát đến đơn giản” (Hendry/LSE) Sử dụng các kiểm định để loại bỏ biến  Kiểm tra xem dấu của các hệ số hồi qui ước lượng có đúng kỳ vọng không  Sử dụng kiểm định t và kiểm định Wald  Sử dụng R2 điều chỉnh 4 11/29/2012 Lựa chọn mô hình  Phương pháp “từ đơn giản đến tổng quát”  Liệu đưa thêm 1 hay nhiều biến giải thích có làm tăng mức ý nghĩa chung của mô hình hay không?  Giả sử chúng ta có một mô hình với m biến (mô hình cũ) (R): Yi = β1 + β2 X2i+…+ βm Xmi+ ui Sau đó chúng ta bổ sung thêm (K – m) biến giải thích (mô hình mới) (U): Yi = β1 + β2 X2i+…+ βm Xmi+ βm+1 Xm+1+…+ βK XKi + vi Lựa chọn mô hình  Dùng kiểm định Wald H0: βm+1 = βm+2 = ….. = βK = 0 Ha: Ít nhất có một tham số βk ở trên khác 0 Trị kiểm định [ ESSU  ESS R ] /( K  m) ( RU2  RR2 ) /( K  m) F  RSSU /( n  K ) (1  RU2 ) /( n  K ) Qui luật bác bỏ H0: F > F(α, K-m, n-K) hoặc pvalue < α  bổ sung các biến vào mô hình làm tăng một cách ý nghĩa ESS và R2. 5 11/29/2012 Lựa chọn mô hình  Kiểm định nhân tử Lagrance (R): Yi = β1 + β2 X2i+…+ βm Xmi+ ui (U): Yi = β1 + β2 X2i+…+ βm Xmi+ βm+1 Xm+1+…+ βK XKi + vi Kiểm định giả thuyết H0: βm+1 = βm+2 = ….. = βK = 0 Ha: Ít nhất có một tham số βk ở trên khác 0 Lựa chọn mô hình  Bước 1: Ước lượng mô hình (R)  Bước 2: Tính phần dư, uˆ R  Bước 3: Ước lượng mô hình uˆRi  1   2 X 2  ...   m X m   m1 X ...