Лекция: Дискретные цепи Маркова с дискретным временем

Марковских случайных процессы с дискретным временем нашли применение для прогноза множества показателей, которые меняются щ года в год одновременно, но непосредственно связи между ними не установлены ввиду отсутствия информации или крайней сложности этих связей. Примером может служить прогноз потребностей народного хозяйства в ресурсах. При этом, однако, при реализации данного прогноза устанавливается на перспективу сама структура потребления ресурсов различными отраслями.

Марковский случайный процесс с дискретным временем задается графом состояний элементов системы и матрицей вероятностей Кодов элементов системы из состояния в состояние. Обычно при исследовании такого процесса интересуются вероятностями пребывания системы в j-м состоянии.

Для вычисления вероятности перехода в j-oe состояние Pj — на к-м шаге существует соотношение Колмогорова — Чепмена:

,

Где – вероятность пребывания элементов системы в j-ом состоянии на k-ом шаге (в k-й дискретный интервал времени), — вероятности перехода системы из состояния i в состояние j на k-м шаге, образующих матрицу вероятностей перехода, задаваемую соответствующим графом переходов системы из состояния в состояние.

Переход из состояния в состояние зависит от того, в каком состоянии находилась система на предыдущем шаге и от Рij(K) — матрицы вероятности переходов на k-ом шаге, и эти вероятности могут меняться. Если матрица вероятности переходов не зависит от номера шага, то цепь Маркова называется однородной.

В основе же прогноза лежит вычисление матрицы переходов, элементами которой являются вероятности перехода прогнозируемых параметров из одного состояния в другое, от одного значения к другому.