Giáo trình xác suất: Quá trình ngẫu nhiên và tính toán ngẫu nhiên

Tham khảo sách giáo trình xác suất: quá trình ngẫu nhiên và tính toán ngẫu nhiên, khoa học tự nhiên, toán học phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả
Nội dung trích xuất từ tài liệu:
Giáo trình xác suất: Quá trình ngẫu nhiên và tính toán ngẫu nhiên GIÁO TRÌNH XÁC SUẤT Quá trình ngẫu nhiên và tính toán ngẫu nhiên Đặng Hùng Thắng NXB ĐHQG Hà Nội Simpo PDF Merge and Split Unregistered Version - http://www.simpopdf.com Chương 1. Quá trình Markov Đặng Hùng Thắng Quá trình ngẫu nhiên và tính toán ngẫu nhiên. NXB Đại học quốc gia Hà Nội 2007, Tr 5 - 63. Từ khoá: Quá trình ngẫu nhiên, Quá trình Markov, Xích Markov, Trạng thái hữu han, Trạng thái vô hạn đếm được. Tài liệu trong Thư viện điện tử ĐH Khoa học Tự nhiên có thể sử dụng cho mục đích học tập và nghiên cứu cá nhân. Nghiêm cấm mọi hình thức sao chép, in ấn phục vụ các mục đích khác nếu không được sự chấp thuận của nhà xuất bản và tác giả. Simpo PDF Merge and Split Unregistered Version - http://www.simpopdf.com Chương 1 Quá trình Markov 1.1 Xích Markov . . . . . . . . . . . . . . . . . . . . . 5 1.2 Phân lo i tr ng thái xích Markov . . . . . . . . . 20 1.3 Quá trình Markov . . . . . . . . . . . . . . . . . . 34 1.3.1 Trư ng h p không gian tr ng thái h u h n . . . . 36 1.3.2 Trư ng h p không gian tr ng thái vô h n đ m đư c 42 1.3.3 Trư ng h p t ng quát . . . . . . . . . . . . . . . . 54 1.4 Bài t p . . . . . . . . . . . . . . . . . . . . . . . . . 58 1.1 Xích Markov Xét m t h nào đó đư c quan sát t i các th i đi m r i r c 0, 1, 2, ... Gi s các quan sát đó là X0 , X1 , ..., Xn, ... Khi đó ta có m t dãy các đ i lư ng ng u nhiên (ĐLNN) (Xn ) trong đó Xn lg thái c a h t i th i đi m n. Gi thi t r ng m i Xn , n = 0, 1, ... là m t ĐLNN r i r c. Ký hi u E là t p giá tr c a các (Xn ). Khi đó E là m t t p h u h n hay đ m đư c, các ph n t c a nó đư c ký hi u là i, j, k... Ta g i E là không gian tr ng thái c a dãy. Simpo PDF Merge and Split Unregistered Version - http://www.simpopdf.com 6 Chương 1. Quá trình Markov Đ nh nghĩa 1.1. Ta nói r ng dãy các ĐLNN (Xn ) là m t xích Markov n u v i m i n1 < ... < nk < nk+1 và v i m i i1 , i2, ...ik+1 ∈ E P {Xnk+1 = ik+1 |Xn1 = i1 .Xn2 = i2..., Xnk = ik } = P {Xnk+1 = ik+1 |Xnk = ik }. Ta coi th i đi m nk+1 là tương lai, nk là hi n t i còn n1,...,nk−1 là quá kh . Như v y, xác su t có đi u ki n c a m t s ki n B nào đó trong tương lai n u bi t hi n t i và quá kh c a h cũng gi ng như xác su t có đi u ki n c a B n u ch bi t tr ng thái hi n t i c a h . Đó chính là tính Markov c a h . Đôi khi tính Markov c a h còn phát bi u dư i d ng: N u bi t tr ng thái hi n t i c a h thì quá kh và tương lai đ c l p v i nhau. Gi s P {Xm+n = j |Xm = i} là xác su t đ xích t i th i đi m m tr ng thái i sau n bư c, t i th i đi m m + n chuy n sang tr ng thái j . Đây là m t con s nói chung ph thu c vào i, j, m, n. N u đ i lư ng này không ph thu c m ta nói xích là thu n nh t. Trong giáo trình này ta ch xét xích Markov thu n nh t. Ký hi u Pij = P {Xn+1 = j |Xn = i} Pij (n) = P {Xm+n = j |Xm = i}. Ta g i (Pij , i, j ∈ E ) là xác su t chuy n sau m t bư c hay xác su t chuy n còn (Pij (n), i, j ∈ E ) là xác su t chuy n sau n bư c. Chú ý r ng Pij = 1 j ∈E Pij (n) = 1. j ∈E Phân b c a X0 đư c g i là phân b ban đ u. Ta ký hi u ui = P (X0 = i). Đ nh lý 1.1. Phân b đ ng th i c a (X0 , X1 , ..., Xn ) đư c hoàn toàn xác đ nh t phân b ban đ u và xác su t chuy n. C th ta có P (X0 = i0 , X1 = i1 , ..., Xn = in ) = ui0 Pi0 i1 ...Pin−1in . Simpo PDF Merge and Split Unregistered Version - http://www.simpopdf.com 1.1. Xích Markov 7 Th t v y theo công th c nhân xác su t ta có P (X0 = i0 , X1 = i1 , ..., Xn = in ) = = P (X0 = i0)P (X1 = i1 |X0 = i0 ) × ... × P (Xk = ik |X0 = i0 , ..., Xk−1 = ik−1 ) × ... ...