Цепь Маркова
Цепь Маркова — это последовательность событий, в которой вероятность будущего зависит только от настоящего. Другими словами, по человеческой аналогии, если подумать, ваше будущее точно так же зависит от вашего настоящего, а не прошлого.
На изображении выше показан пример того, как выглядит базовая цепь Маркова.
Давайте разберем это с некоторыми пунктами:
Вероятность того, что состояние А находится в состоянии А, равна 0,6.
Вероятность перехода в состояние B из состояния A равна 0,4.
Вероятность того, что состояние B находится в состоянии B, равна 0,2.
Вероятность перехода в состояние А из состояния В равна 0,8.
На изображении выше внутри матрицы перехода P, P(AA) означает вероятность того, что состояние A находится в состоянии A, P(AB) означает вероятность перехода в состояние B из состояния A и так далее.
Матрица перехода
Матрица перехода — это квадратная (n x n) матрица, содержащая вероятности перехода состояний.
Итак, из приведенного выше обсуждения я теперь убежден, что у вас есть представление о том, что такое цепь Маркова и как мы можем сделать из нее переходную матрицу.
В следующей части мы увидим более сложные математические определения, а затем пару примеров из реальной жизни.
