Luận văn Thạc sĩ Khoa học: Một số tiêu chuẩn lựa chọn mô hình

Việc lựa chọn một mô hình phù hợp là trung tâm cho tất cả các công tác thống kê với dữ liệu. Lựa chọn các biến để sử dụng trong một mô hình hồi quy là một trong những ví dụ quan trọng. Luận văn trình bày hai tiêu chuẩn thông tin quan trọng đó là tiêu chuẩn thông tin của Akaike và tiêu chuẩn thông tin của Bayesian. Luận văn được chia làm ba chương. Mời các bạn tham khảo.
Nội dung trích xuất từ tài liệu:
Luận văn Thạc sĩ Khoa học: Một số tiêu chuẩn lựa chọn mô hình ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOAMỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNH LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2013 ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNHChuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số : 60 46 15 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS. TRẦN MẠNH CƯỜNG Hà Nội - 2013 MỞ ĐẦU Lựa chọn mô hình (Model selection) là một bài toán cơ bản của thống kêcũng như nhiều ngành khoa học khác như học máy (machine learning), kinh tếlượng (econometrics), ... Theo R. A. Fisher có 3 bài toán chính trong thống kêsuy luận và dự báo gồm- Xác định mô hình (model specification)- Ước lượng tham số (estimation of model parameters)- Dự báo (prediction) Trước những năm 1970 hầu hết các nghiên cứu tập trung vào hai bài toánsau với giả thiết là mô hình đã biết. Sau khi xuất hiện công trình của Akaike(1973) thì bài toán lựa chọn mô hình thu hút được sự quan tâm của cộng đồnglàm thống kê. Với một bộ dữ liệu đưa ra, có thể đặt vào nó rất nhiều mô hình và với cácmô hình đưa ra, mô hình nào là tốt nhất? Để trả lời cho câu hỏi trên, người tađã đưa ra các tiêu chuẩn thông tin để lựa chọn mô hình phù hợp như tiêu chuẩnthông tin của Akaike (AIC) và tiêu chuẩn thông tin của Bayesian (BIC)... Việclựa chọn một mô hình phù hợp là trung tâm cho tất cả các công tác thống kêvới dữ liệu. Lựa chọn các biến để sử dụng trong một mô hình hồi quy là mộttrong những ví dụ quan trọng. Luận văn của tôi trình bày hai tiêu chuẩn thôngtin quan trọng đó là tiêu chuẩn thông tin của Akaike và tiêu chuẩn thông tincủa Bayesian. Luận văn được chia làm ba chương Chương 1. Kiến thức chuẩn bịTrong chương này, tôi trình bày các kiến thức cơ bản về lượng thông tin Fisher,ước lượng hợp lí cực đại, và các dạng của phân tích hồi quy như hồi quy tuyếntính, hồi quy Poisson và hồi quy logistic. Chương 2. Một số tiêu chuẩn lựa chọn mô hìnhChương này, trình bày khoảng cách Kullback- Leibler, mối liên hệ giữa ước lượnghợp lí cực đại và khoảng cách Kullback-Leibler, định nghĩa AIC và mối liên hệgiữa AIC và khoảng cách Kullback-Leibler, tiêu chuẩn Takeuchi, AIC hiệu chỉnhcho hồi quy tuyến tính và chuỗi thời gian tự hồi quy, trình bày nguồn gốc vàđịnh nghĩa của BIC. Chương 3. Áp dụngTrong chương này giới thiệu về phần mềm R, đưa ra một bộ dữ liệu cụ thể về bốnphép đo trên hộp sọ của người Ai cập ở năm thời kỳ khác nhau và được lấy trongwebsite: ”www.econ.kuleuven.be/gerda.claeskens/public/modelselection.”, iáp dụng với năm mô hình ứng cử viên và dùng phần mềm R chạy để tìm giátrị AIC và BIC cho mỗi trong số năm mô hình ứng cử viên để tìm ra mô hìnhtốt nhất theo AIC và BIC đối với bộ dữ liệu này, code R cũng được tham khảotrong website trên . Do thời gian và trình độ còn hạn chế nên luận văn không tránh khỏi nhữngthiếu sót, tác giả hy vọng sẽ nhận được nhiều ý kiến đóng góp từ các thầy côgiáo và bạn đọc để luận văn được hoàn chỉnh hơn. ii LỜI CẢM ƠN Sau một thời gian học tập tại khoa Toán - Cơ - Tin học, Trường Đại họcKhoa học Tự nhiên, dưới sự hướng dẫn và chỉ bảo tận tình của TS. Trần MạnhCường, tôi đã hoàn thành luận văn tốt nghiệp với đề tài: “Một số tiêu chuẩn lựachọn mô hình”. Trong suốt quá trình học tập, triển khai nghiên cứu đề tài, tôi đã nhận đượcrất nhiều sự giúp đỡ của các thầy cô trong bộ môn Xác suất thống kê, các thầycô trong khoa Toán - Cơ - Tin học, trường Đại học Khoa học Tự nhiên, Đại họcQuốc gia Hà Nội, đặc biệt là TS. Trần Mạnh Cường. Tôi xin bày tỏ lòng biết ơn chân thành và sâu sắc tới TS. Trần Mạnh Cường– người đã tận tình chỉ bảo, giúp đỡ tôi trong quá trình nghiên cứu đề tài. Tôixin gửi lời cảm ơn tới Ban giám hiệu, Phòng sau đại học, các thầy cô trong khoaToán - Cơ - Tin học nói chung và các thầy cô trong bộ môn xác suất thống kê -Trường Đại học Khoa học Tự nhiên nói riêng đã tạo những điều kiện thuận lợinhất để tôi có thể hoàn thành luận văn này. Hà nội, tháng 02 năm 2013 iiiDanh mục các kí hiệuAIC Tiêu chuẩn thông tin của AkaikeAICc AIC hiệu chỉnha.s. hầu chắc chắnBIC tiêu chuẩn thông tin BayesianBIC∗ xấp xỉ của BICBICexact BIC chính xách(.) tỷ lệ nguy hiểmH(.) tỷ lệ nguy hiểm tích lũyKL khoảng cách kullback - LeiblerL, Ln hàm hợp lý`, `n loga hàm hợp lý PNp (ξ, ) ph ...