"Вероятность и статистика в примерах и задачах. Том 2. Марковские цепи как отправная точка теории случайных процессов и их приложения" - читать интересную книгу автора (Кельберт М.Я., Сухов Ю.М.)