Bài giảng Hồi quy tuyến tính - PGS. TS. Ngô Hoàng Long

Bài giảng Hồi quy tuyến tính gồm có những nội dung chính sau: Hàm hợp lý, ước lượng bình phương tối thiểu, ước lượng hợp lý cực đại, ước lượng bình phương tối thiểu, tỉ lệ độ biến động được giải thích, phân phối của các ước lượng, khoảng dự báo. Mời các bạn cùng tham khảo để biết thêm chi tiết!
Nội dung trích xuất từ tài liệu:
Bài giảng Hồi quy tuyến tính - PGS. TS. Ngô Hoàng Long HỒI QUY TUYẾN TÍNH PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội 2018PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 1 / 21 Mô hình Giả sử ta có một cặp bnn (X , Y ) và bnn Y là phụ thuộc tuyến tính với X và một nhiễu ngẫu nhiên Y = f (X ) + = β0 + β1 X + , nhiễu có phân phối chuẩn N (0, σ 2 ). X được gọi là biến độc lập, Y là biến phụ thuộc hay biến đáp ứng hàm f (x) = β0 + β1 x là hàm hồi quy tuyến tính.PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 2 / 21 Mẫu ngẫu nhiên (X1 , Y1 ), . . . , (Xn , Yn ) quan sát được từ cặp bnn (X , Y ), khi đó Yi = β0 + β1 Xi + i , với 1, . . . , n là dãy bnn độc lập có cùng phân phối chuẩn N (0, σ 2 ). Ta có ba tham số chưa biết là β0 , β1 và σ 2 và ta sẽ dựa vào mẫu quan sát được (X1 , Y1 ), . . . , (Xn , Yn ) để ước lượng chúng.PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 3 / 21 Ví dụ Chiều cao của cha và chiều cao của con Số lượng trẻ sinh ra theo từng năm Thời gian học và điểm số Điểm trung bình đầu vào và điểm trung bình đầu raPGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 4 / 21 Hàm hợp lý Các đại lượng X1 , . . . , Xn có thể là ngẫu nhiên hoặc tất định. Tuy nhiên trong chương này ta sẽ giả sử X1 , . . . , Xn là các đại lượng không ngẫu nhiên. Khi đó Yi là bnn có phân phối chuẩn N (f (Xi ), σ 2 ). Do đó hàm hợp lý của dãy (Y1 , . . . , Yn ) là 1 n 2 L(Y1 , . . . , Yn ; β0 , β1 , σ 2 ) = (2πσ)−n/2 e − 2σ2 i=1 (Yi −f (Xi )) . ˆ ˆ ˆ Ta đi tìm β0 , β1 , σ 2 làm cực đại hàm hợp lý L.PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 5 / 21 Ước lượng bình phương tối thiểu ˆ ˆ Dễ thấy (β0 , β1 ) cũng là giá trị của (β0 , β1 ) sao cho biểu thức n ∗ L (β0 , β1 ) := (Yi − β0 − β1 Xi )2 i=1 ˆ ˆ đạt giá trị nhỏ nhất, tức là β0 , β1 là nghiệm của hệ  ∗  ∂L = − n 2(Yi − (β0 + β1 Xi )) = 0  i=1 ∂β0 ∂L∗   = − n 2(Yi − (β0 + β1 Xi ))Xi = 0. i=1 ∂β1PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 6 / 21 Ước lượng hợp lý cực đại ≡ Ước lượng bình phương tối thiểu Đặt ¯ 1 ¯ 1 1 1 X = Xi , Y = Yi , X2 = Xi2 , XY = Xi Yi , n n n n i ta giải được ¯¯ XY − X Y ˆ ¯ ˆ ¯ β0 = Y − β1 X , và ˆ β1 = . ¯ X2 − X2 Cuối cùng ta tìm được ước lượng hợp lý cực đại cho σ 2 là n 1 ˆ ˆ σ2 = ˆ (Yi − β0 − β1 Xi )2 . n i=1PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 7 / 21 Tỉ lệ độ biến động đ ...