Bài giảng Thống kê máy tính: Phân tích dữ liệu - Đặc trưng mẫu và ước lượng tham số quần thể - Lê Phong

Trong bài giảng này trình bày về phân tích dữ liệu - Đặc trưng mẫu và ước lượng tham số quần thể. Các nội dung chính trong bài giảng gồm có: Một số đặc trưng của tập mẫu (Trung bình mẫu, phương sai mẫu, moment mẫu), một số phương pháp ước lượng tham số quần thể (Maximum Likelihood, phương pháp moments).
Nội dung trích xuất từ tài liệu:
Bài giảng Thống kê máy tính: Phân tích dữ liệu - Đặc trưng mẫu và ước lượng tham số quần thể - Lê PhongPhân tích dữ liệu - Đặc trưng mẫu & ướclượng tham số quần thểDàn bài Giới thiệu Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp momentsGiới thiệu Các công cụ trực quan giúp có được cái nhìn tổng thể để ước đoán mô hình phân bố hoặc quan sát sự phân tách các tập dữ liệu không áp dụng được cho quá trình tính toán Cần phải xác định các đặc trưng (số) của tập dữ liệu Cần phải ước lượng các đặc trưng đó sao cho ‘tốt nhất’Giới thiệu (tt) Về mặt thống kê, các đặc trưng cần quan tâm liên quan đến mô hình phân bố xác suất của quần thể ◦ Trung bình ◦ Phương sai ◦ Các moment ◦ Các tham số đầu vào của mô hình phân bố ◦ …Dàn bài Giới thiệu Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp momentsMột số đặc trưng mẫu Cho tập mẫu {X1,…,Xn} Các Xi là biến ngẫu nhiên có cùng phân bố là phân bố của tập quần thể Giả sử các Xi độc lập xác suất từng đôi một p( X1 ,..., X n ) = p( X1 )... p( X n ) Định lý Monte Carlo 1 n ∑ n i =1 n →∞ f (xi )  → E[ f ( X)] = ∫ f (x) p (x)dxvới xi là thể hiện của XiTrung bình mẫu Trung bình mẫu được cho bởi 1 n X = ∑ Xi n i =1là một biến ngẫu nhiên có phân bố ‘gần’ chuẩn với E[ X] = E[ X] var[ X] var[ X] = n (theo định lý hội tụ trung tâm)Trung bình mẫu (tt) Từ định lý Monte Carlo 1 n x = ∑ xi  n →∞ → E[ X] n i =1(chú ý: xi là thể hiện của Xi)Phương sai mẫu Phương sai mẫu được cho bởi 1 n S= ∑ n − 1 i =1 ( Xi − X)( Xi − X) Từ định lý Monte Carlo 1 n ∑ n − 1 i =1 ( x i − x )( x i − x ) n →∞  → cov( X)Moment mẫu Ở đây chỉ xét đến 1 chiều Moment mẫu bậc r được cho bởi 1 n r Mr = ∑ Xi n i =1 Từ định lý Monte Carlo 1 n r n→∞ ∑ n i =1 xi  → E[ X r ]Dàn bài Giới thiệu Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp momentsƯớc lượng tham số quần thể Các đặc trưng ở trên có tính chất mô tả tập mẫu. Để mô tả cả một quần thể, thông thường người ta đi tìm một mô hình nào đó cho quần thể. Mỗi mô hình như vậy cần có tham số cần phải ước lượng những tham số đó Vấn đề: tìm ước lượng tham số ‘tốt nhất’ từ tập mẫu hữu hạnƯớc lượng tham số (tt) Một ước lượng là một hàm từ không gian dữ liệu vào không gian tham số T = t(X1,…,Xn) chú ý rằng T là một biến ngẫu nhiên. Để đánh giá một ước lượng có tốt hay không, thông thường có 3 vấn đề cần quan tâm ◦ Lệch (bias) ◦ Trung bình bình phương mẫu (mean squared error) ◦ Standard errorBias Gọi θ là giá trị đúng của tham số cần ước lượng Bias được định nghĩa bởi Bias(T) = E[T] - θ Nếu Bias(T) = 0 thì ta nói đó là ước lượng không lệch (unbias)Standard error Standard error của một ước lượng được cho bởi SE(T) = sqrt(var(T))Mean squared error Mean squared error được định nghĩa bởi MSE(T) = E[ (T - θ)2 ] MSE(T) càng nhỏ càng cho thấy ước lượng T càng hiệu quả, điều đó có nghĩa là nếu MSE(T1) < MSE(T2) thì ước lượng T1 hiệu quả hơn T2 Cực tiểu hóa MSE là một tiêu chí phổ biếnMSE (tt) Một điều lưu ý MSE(T) = SE(T)2 + Bias(T)2 Nếu ước lượng là không lệch thì cực tiểu hóa MSE tương đương với cực tiểu hóa SEMaximum Likelihood Estimator(MLE) Giả sử θ = [θ1,…, θm] là vector tham số cần ước lượng Ý tưởng của MLE là sẽ tìm θˆ MLE = arg max p (x1 ,..., x n | θ) θ Hướng giải tổng quát là đi tìm nghiệm dp (x1 ,..., x n | θ) =0 dθ MLE (tt) Ví dụ: ◦ X ~ N(µ,σ2) với µ chưa biết, σ đã biết ◦ Tập mẫu (X1,…,Xn) thỏa các Xi đôi một độc lập xác su ...