Giáo trình Các mô hình xác suất và ứng dụng - Phần I: Xích Markov và ứng dụng (Phần 2)

Phần 2 Giáo trình Các mô hình xác suất và ứng dụng - Phần I: Xích Markov và ứng dụng trình bày chương 2 - Phân loại trạng thái xích Markov. Nội dung chương này trình bày mục đích, các trạng thái liên thông và sự phân lớp, chu kỳ của trạng thái, trạng thái hồi quy và không hồi quy,... Mời các bạn cùng tham khảo.
Nội dung trích xuất từ tài liệu:
Giáo trình Các mô hình xác suất và ứng dụng - Phần I: Xích Markov và ứng dụng (Phần 2) Chương 2 P H Â N LOẠI T R Ạ N G T H Á I XÍCH M A R K O V 2.1 Mục đíchG i à sử (A ) ri là x í c h M a r k o v r ờ i rạc. t h u ầ n n h ấ t v ớ i k h ô n g gian t r ạ n g thái E v à m a t r ậ n x á c s u ấ t c h u y ê n là p -- (pij). T ừ c á c k ế t q u à ờ c h ư ơ n g trước,t a c ó t h ể nói r ằ n g n h ữ n g v ấ n đ ồ c h í n h c ầ n n g h i ê n c ứ u đ ố i v ớ i x í c h Markovlà: • S ư tồn tai các giới han 7Tj lim k h ô n g phu t h u ô c v à o íđ ố i v ớ i m ọ i j €E E. • Sư t ồ n tai phân phối giới han, tức l à c á c gióri h a n (ĩĩj) lậpt h à n h p h â n phối x á c suất: 7Tj > 0 , J2 ĩ ĩ j = 1. • T í n h ergodic c ủ a x í c h Markov, tức là, 7Tj > 0 , Ỵ^Tĩị = 1. • Sự tồn tai và duy nhất phân phối dừng Q - sao chớ 0 , £ Ọi = Ì v à Qj = Y^q p j t t v ớ i m ọ i j € E. í V ớ i m ụ c đ í c h n h ư t h ế , t a c à n p h á n l o ạ i c á c t r ạ n g t h á i c a x í c h M a r k o v .2.2 Các trang thái liên t h ô n g v à sư p h â n lớp2.2.1 Đinh nghĩa. Ta nói rằng trạng thái j đại. đuợc từ trạng thái inếu ton tại ri > 0 sao cho > 0 (ta quy ước ] p® = Ì nếu ì — í và —0 nếu ỉ Ỷ í)- Trong trường hợp nhu thế ta ký hiệu là ỉ —> j . Hai trạng thái í và j được gọi là liên thông với nhau nếu ì —> ị vàj i- Trong trường hợp đó ta ký hiệu là i 70 1) i i (VÌ pỴị =-- ì), 2) i j thì j í, 3) ĩ j và j 71 X í c h n à y c ó 5 t r ạ n g t h á i : E ----- { 1 , 2 , 3 , 4 , 5 } . Theo c á c h p h à n l ớ p t r ê n t h ìE -- E U í i , B i = ( 1 , 2 ) , £ 2 = { 3 , 4 , 5 } v à t a c ó t h ể xem Eị v à E 2 làk h ô n g gian t r ạ n g t h á i c i ì a x í c h M a r k o v v ớ i n i a t r ậ n x á c s u ấ t c h u y ể n t ư ơ n gứ n g là Px v à p 2 N h ư v ậ v v i ệ c n g h i ê n c ứ u x í c h M a r k o v c ó t h ể q u i v ề việc n g h i ê n c ứ u c á cxích Markov t ố i giản.V í d u 2. Cho xích Markov v ớ i ma t r ậ n x á c suất c h u y ê n Xích n à y c ó 4 t r ạ n g t h á i : E = { 1 , 2 , 3 , 4 } v à h a i t r ạ n g t h á i b ấ t k ỳ c ủ a n ólà liên t h ô n g v ớ i n h a u . V ậ y đ â y là x í c h t ố i g i ả n . Đặt, Co =• { 1 , 2 } , C — { 3 , 4 } . K h i đ ó t a t h ấ y r ằ n g sau Ì b ư ớ c h ệ c h u y ể nt ừ Co sang c r ồ i c h u y ể n t ừ c sang Co, t ứ c l à , xích ( d ù t ố i g i ả n ) l ạ i đ ư ợ ct á c h t h à n h c á c l ớ p con v à s t i ế n t r i ể n của x í c h l à s (lịch c h u y ể n t u ầ n t t ừlíýp con n à y sang l ợ p con k ế t i ế p ( l ớ p c u ố i c ù n g c h u y ế n về l ớ p đ ầ u t i ê n ) .72 V í d ụ n à y l à ý t ư ở n g t á c h c á c l ớ p t ố i g i ả n t h à n h các: l ớ p con chu t r ì n h .D ư ớ i đ â y t a sẽ t i ế n h à n h chi t i ế t ý t ư ờ n g n à y .2.3 C h u kỳ của trang thái2.3.1 Đ i n h nghĩa. Chu kỳ d(i) của trạng thái ỉ là ước. chung lớn nhấtcủa tất cả các số nguyên n > Ì thoa mãn điêu kiện p j > 0 . Nếu pị — 0đối vói tất cả TI > Ì thì đặt d(i) = ồ. Trong ví d ụ Ì ả t r ê n t h ì d(ĩ) = d{2) = Ì , d(3) = d(4) = d(5) - 2 . T r o n g ví d ụ 2 ờ t r ê n t h ì cả b ố n t r ạ n g t h á i đ ề u có c h u k ỳ b ằ n g 2.2.3.2 Đ ị n h l ý . Nếu thỉ d(i) = d(j).Chứng minh. Theo g i ả t h i ế t ì «-» j n ê n t ồ n t ạ i k,l sao cho ...