Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 1

Chương 1. Quá trình Markov Đặng Hùng ThắngQuá trình ngẫu nhiên và tính toán ngẫu nhiên. NXB Đại học quốc gia Hà Nội 2007, Tr 5 - 63. Từ khoá: Quá trình ngẫu nhiên, Quá trình Markov, Xích Markov, Trạng thái hữu han, Trạng thái vô hạn đếm được.
Nội dung trích xuất từ tài liệu:
Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 1Chương 1. Quá trình Markov Đặng Hùng Thắng Quá trình ngẫu nhiên và tính toán ngẫu nhiên. NXB Đại học quốc gia Hà Nội 2007, Tr 5 - 63.Từ khoá: Quá trình ngẫu nhiên, Quá trình Markov, Xích Markov, Trạng thái hữuhan, Trạng thái vô hạn đếm được.Tài liệu trong Thư viện điện tử ĐH Khoa học Tự nhiên có thể sử dụng cho mụcđích học tập và nghiên cứu cá nhân. Nghiêm cấm mọi hình thức sao chép, in ấnphục vụ các mục đích khác nếu không được sự chấp thuận của nhà xuất bản vàtác giả.Chương 1Quá trình Markov 1.1 Xích Markov . . . . . . . . . . . . . . . . . . . . . 5 1.2 Phân lo i tr ng thái xích Markov . . . . . . . . . 20 1.3 Quá trình Markov . . . . . . . . . . . . . . . . . . 34 1.3.1 Trư ng h p không gian tr ng thái h u h n . . . . 36 1.3.2 Trư ng h p không gian tr ng thái vô h n đ m đư c 42 1.3.3 Trư ng h p t ng quát . . . . . . . . . . . . . . . . 54 1.4 Bài t p . . . . . . . . . . . . . . . . . . . . . . . . . 581.1 Xích MarkovXét m t h nào đó đư c quan sát t i các th i đi m r i r c 0, 1, 2, ... Gi scác quan sát đó là X0 , X1 , ..., Xn, ... Khi đó ta có m t dãy các đ i lư ng ng unhiên (ĐLNN) (Xn ) trong đó Xn lg thái c a h t i th i đi m n. Gi thi tr ng m i Xn , n = 0, 1, ... là m t ĐLNN r i r c. Ký hi u E là t p giá tr c acác (Xn ). Khi đó E là m t t p h u h n hay đ m đư c, các ph n t c a nóđư c ký hi u là i, j, k... Ta g i E là không gian tr ng thái c a dãy.6 Chương 1. Quá trình MarkovĐ nh nghĩa 1.1. Ta nói r ng dãy các ĐLNN (Xn ) là m t xích Markov n uv i m i n1 < ... < nk < nk+1 và v i m i i1 , i2, ...ik+1 ∈ E P {Xnk+1 = ik+1 |Xn1 = i1 .Xn2 = i2..., Xnk = ik } = P {Xnk+1 = ik+1 |Xnk = ik }. Ta coi th i đi m nk+1 là tương lai, nk là hi n t i còn n1,...,nk−1 là quákh . Như v y, xác su t có đi u ki n c a m t s ki n B nào đó trong tươnglai n u bi t hi n t i và quá kh c a h cũng gi ng như xác su t có đi u ki nc a B n u ch bi t tr ng thái hi n t i c a h . Đó chính là tính Markov c ah . Đôi khi tính Markov c a h còn phát bi u dư i d ng: N u bi t tr ng tháihi n t i c a h thì quá kh và tương lai đ c l p v i nhau. Gi s P {Xm+n = j |Xm = i} là xác su t đ xích t i th i đi m m tr ngthái i sau n bư c, t i th i đi m m + n chuy n sang tr ng thái j . Đây là m tcon s nói chung ph thu c vào i, j, m, n. N u đ i lư ng này không ph thu cm ta nói xích là thu n nh t. Trong giáo trình này ta ch xét xích Markovthu n nh t. Ký hi u Pij = P {Xn+1 = j |Xn = i} Pij (n) = P {Xm+n = j |Xm = i}.Ta g i (Pij , i, j ∈ E ) là xác su t chuy n sau m t bư c hay xác su t chuy ncòn (Pij (n), i, j ∈ E ) là xác su t chuy n sau n bư c. Chú ý r ng Pij = 1 j ∈E Pij (n) = 1. j ∈EPhân b c a X0 đư c g i là phân b ban đ u. Ta ký hi u ui = P (X0 = i).Đ nh lý 1.1. Phân b đ ng th i c a (X0 , X1 , ..., Xn ) đư c hoàn toàn xácđ nh t phân b ban đ u và xác su t chuy n. C th ta có P (X0 = i0 , X1 = i1 , ..., Xn = in ) = ui0 Pi0 i1 ...Pin−1in .1.1. Xích Markov 7Th t v y theo công th c nhân xác su t ta có P (X0 = i0 , X1 = i1 , ..., Xn = in ) = = P (X0 = i0)P (X1 = i1 |X0 = i0 ) × ... × P (Xk = ik |X0 = i0 , ..., Xk−1 = ik−1 ) × ... × P (Xn = in |X0 = i0, ..., Xn−1 = in−1 ).S d ng tính Markov ta có P (Xk = ik |X0 = i0 , ..., Xk−1 = ik−1 ) = P (Xk = ik |Xk−1 = ik−1 ) = Pik−1 ik .Thành th P (X0 = i0 , X1 = i1 , ..., Xn = in ) = ui0 Pi0 i1 ...Pin−1inĐ nh lý 1.2. (Phương trình C - K (Chapman-Kolmogorov)) Pij (n + m) = Pik (n)Pkj (m). k ∈ECh ng minh. Theo công th c xác su t đ y đ và tính Markov ta có Pij (n + m) = P (Xn+m = j |X0 = i) = P (Xn = k |X0 = i)P (Xn+m = j |Xn = k, X0 = i) k ∈E = Pik (n)Pkj (m). k ∈E Trong trư ng h p E có d ph n t , ta ký hi u P = (Pij ), P (n) = (Pij (n))là các ma tr n vuông c p d × d. P đư c g i là ma tr n xác su t chuy n, P (n)đư c g i là ma tr n xác su t chuy n sau n bư c. Khi đó t phương trìnhChapman-Kolmogorov tương đương v i P ( n + m ) = P ( n) P ( m ) .8 ...