В случае невозвратного множества система не может покинуть это множество:
Граф состояний - направленный граф, каждый узел которого обозначает состояние системы, а направленные дуги с указанными на них вероятностями - переходы в системе:
Детерминированные системы - такие системы, поведение которых однозначно определяется заданным внешним воздействием:
Единичная матрица - матрица, все элементы которой равны единице:
Каждый элемент фундаментальной матрицы соответствует среднему числу раз попадания системы в то или иное состояние до остановки процесса (поглощения):
Марковские случайные процессы относятся к частным случаям детерминированных процессов:
Марковский процесс можно назвать процессом без последствий:
Поглощающее состояние - такое состояние, в которое система никогда не попадает:
Полумарковские случайные последовательности - последовательности, если вероятность перехода системы в новое состояние определяется от предыстории процесса:
Процессом без последствий называется такой процесс, в котором вероятность перехода системы в каждое последующее состояние зависит не только от предыдущего состояния, но и от более ранних:
Случайная функция - функция, значение которой при любом значении аргумента является случайной величиной:
Стохастические системы - системы, состояние которых меняется случайным образом с неизвестными законами распределения:
Стратеги в задачах принятия решений для процессов Марковского типа полностью определяется матрицей переходных вероятностей:
Уравнение Колмогорова-Чепмена позволяет вычислить вероятность состояний марковского случайного процесса на любом шаге при наличии информации о предшествующих состояниях:
Цепь Маркова считается заданной, если заданы два условия: матрица переходных вероятностей и вектор начального состояния:
Часть системы, имеющая свойства аналогичные свойствам всей системы, называется подсистемой:
Эргодической цепью называется цепь, не имеющая невозвратных состояний: