Phương pháp giá trị tối ưu trong ước lượng tham số

Trong bài viết "Phương pháp giá trị tối ưu trong ước lượng tham số" sẽ giải thích rõ nội dung và vai trò của phương pháp MLE trong việc ước lượng tham số thông qua các ví dụ điển hình. Một số nội dung sử dụng kiến thức căn bản về xác suất, cũng như các định nghĩa, định lý của xác suất có điều kiện và các biến cố độc lập. MLE là một phương pháp khá hiệu quả và đơn giản được áp dụng trong hầu hết các bài toán ước lượng tham số. Mời các bạn cùng tham khảo chi tiết nội dung bài viết!
Nội dung trích xuất từ tài liệu:
Phương pháp giá trị tối ưu trong ước lượng tham số PHƯƠNG PHÁP GIÁ TRỊ TỐI ƯU TRONG ƯỚC LƯỢNG THAM SỐ Nguyễn Thị Hương Trường Đại Học Hà Nội Tóm tắt - Ước lượng giá trị tối ưu là phương pháp nhằm chọn ra một công cụ ước lượngtham số mà không cần sử dụng đến các hàm phân bố. Phương pháp này được xem như việcước lượng các giá trị lớn nhất của hàm. Nói cách khác, MLE là phương pháp xác định các giá trịtyham số của một mô hình thống kê. Các giá trị tham số được tìm có thể làm tối ưu hoá các quytrình mô tả các mẫu dữ liệu thực tế được khảo sát. Trong bài báo này, tôi sẽ giải thích rõ nội dung và vai trò của phương pháp MLE trongviệc ước lượng tham số thông qua các ví dụ điển hình. Một số nội dung sử dụng kiến thức cănbản về xác suất, cũng như các định nghĩa, định lý của xác suất có điều kiện và các biến cố độclập. MLE là một phương pháp khá hiệu quả và đơn giản được áp dụng trong hầu hết các bàitoán ước lượng tham số. Hơn thế nữa, với các bài toán có không gian mẫu lớn, thì MLE làphương pháp ước lượng đạt hiệu quả và độ tin cậy cao. Do đó, MLE được sử dụng rộng rãitrong các vấn đề liên quan đến thống kê. Từ khóa - Ước tính khả năng tối đa (MLE), phân phối Bernoulli, phân phối Poisson, chứcnăng khả năng. Abstract: Maximum likelihood estimation is a method for choosing estimators ofparameters that avoids using prior distributions and loss functions. It chooses as the estimate of? the value of ? that provides the largest value of the likelihood function. In other words,maximum likelihood estimation is a method that determines values for the parameters of amodel. The parameter values are found such that they maximize the likelihood that the processdescribe by the model produced the data that were actually observed. Keywords: Maximum likelihood estimation (MLE), Bernoulli distribution, Poissondistribution, likelihood function. MAXIMUM LIKELIHOOD METHOD FOR PARAMETER ESTIMATION I. INTRODUCTION In this paper I’ll explain what the maximum likelihood method for parameterestimation is and go through a simple example to demonstrate the method. Some of thecontent requires knowledge of fundamental probability concepts such as the definitionof joint probability and independence of events. MLE is a simple method ofconstructing an estimator without having to specify a loss function and a priordistribution, and it was introduced by R.A. Fisher in 1912. Maximum likelihoodestimation can be applied in most problems, it has a strong intuitive appeal, and it will 79often yield a reasonable estimator of θ. Furthermore, if the sample is large, the methodwill typically yield an excellent estimator of θ. For these reasons, the method ofmaximum likelihood is probably the most widely used method of estimation instatistics. II. MAXIMUM LIKELIHOOD METHOD 1) DefinitionLet the random variables ?1 , ?2 , ?3 , … , ?? have joint density denoted ?? (?1 , ?2 , … , ?? ) = ?(?1 , ?2 , … , ?? |?)Given observed values ?1 = ?1 , ?2 = ?1 , … , ?? = ?? , the likelihood of ? is the function ??? (?) = ? (?1 , ?2 , … , ?? |? ) = ?? (?|?)considered as a function of ?.If the distribution is discrete, f will be the frequency distribution function.In words: ??? (?) =??????????? ?? ????????? ?ℎ? ????? ???? ?? ? ???????? ?? ???(?). The maximum likelihood estimate (MLE) of ? is that value of ? that maximize???(?): it is the value that makes the observed data the “most probable”. Likelihood Function: When the joint probability density function (p.d.f) or thejoint probability mass function (p.m.f) ?? (?|?) of the observations in a random sampleis regarded as a function of ? for given values of ?1 , ?2 , … , ?? , it is called the likelihoodfunction. What are parameter? Often in machine learning we use a model to describe the process that results in thedata that are observed. For example, we may use a random forest model to classifywhether customers may cancel a subscription from a service (known as churnmodelling ) or we may use a linear model to predict the revenue that will be generatedfor a company depending on how much they may spend on advertising (this would be anexample of linear regression). Each model contains its own set of parameters thatultimately defines what the model looks like. For a linear model we can write this as y = mx + c. In this example x couldrepresent the advertising spend and y might be the revenue generated. m and c areparameters for this model Different values for these parameters will give different lines( ...