Все выпуски

В статье рассматриваются приближенные решения неантагонистических дифференциальных игр. Приближенное равновесие по Нэшу может быть построено по заданному решению вспомогательной стохастической игры с непрерывным временем. Мы рассматриваем случай, когда динамика вспомогательной игры задается марковской цепью с непрерывным временем. Для этой игры функция цены определяется решением системы обыкновенных дифференциальных включений. Таким образом, мы получаем конструкцию приближенного равновесия по Нэшу с выигрышами игроков, близкими к решениям системы обыкновенных дифференциальных включений. Также предложен способ построения марковской игры с непрерывным временем, аппроксимирующей исходную игру.

The paper is concerned with approximate solutions of nonzero-sum differential games. An approximate Nash equilibrium can be designed by a given solution of an auxiliary continuous-time dynamic game. We consider the case when dynamics is determined by a Markov chain. For this game the value function is determined by an ordinary differential inclusion. Thus, we obtain a construction of approximate equilibria with the players' outcome close to the solution of the differential inclusion. Additionally, we propose a way of designing a continuous-time Markov game approximating the original dynamics.

Рассматривается задача оптимального управления системой бесконечного числа однотипных агентов. Пространство допустимых для агентов состояний является конечным. В рассматриваемой постановке имеется общий для всех агентов оптимизируемый функционал и общий центр управления, выбирающий стратегию для агентов. Предполагается, что выбираемая стратегия является позиционной. В настоящей работе рассматривается случай, когда динамика состояний агентов задается некоторой марковской цепью с непрерывным временем. Предполагается, что матрица Колмогорова этой цепи в каждом состоянии зависит от текущего состояния, выбранного управления и распределения всех агентов. Для такой задачи в работе показано, что решение в классе позиционных стратегий может быть построено на основе решения детерминированной задачи оптимального управления в конечномерном фазовом пространстве.

We consider an optimal control problem for an infinite amount of agents of the same type. We assume that agents have a finite state space. The given formulation of the problem involves an objective functional that is common for all agents and a common control center that chooses a strategy for agents. A chosen strategy is supposed to be positional. In this paper we consider a case when the dynamics of agents is given by a Markov chain with continuous time. It is assumed that the Kolmogorov matrix of this chain in each state depends on the current state, the chosen control and the distribution of all agents. For the original problem, it is shown that concerning positional strategies the solution can be obtained through the solution of the deterministic control problem in a finite-dimensional phase space.

Настоящая работа посвящена исследованию асимптотических свойств числа серий в последовательности дискретных случайных величин, управляемых цепью Маркова с конечным числом состояний. Состояние цепи на каждом шаге определяет закон распределения знаков в управляемой последовательности на этом шаге. Такая случайная последовательность представляет собой модель скрытой марковской цепи. При помощи метода Чена-Стена получена оценка расстояния по вариации между распределением числа серий длины не меньше заданной в случайной последовательности, управляемой цепью Маркова, и сопровождающим распределением Пуассона. Для ее вывода сначала рассматривалась последовательность из независимых неоднородных полиномиальных случайных величин, а затем использован прием, позволяющий получить оценку расстояния по вариации между смешанным пуассоновским распределением и пуассоновским распределением с параметром, равным среднему числу серий длины не меньше заданной. Эта оценка строится на основе дисперсии параметра смешанного пуассоновского распределения и выведенной ранее оценки для расстояния по вариации для полиномиальной схемы. Отдельно рассмотрен случай стационарной цепи Маркова. При помощи полученных оценок доказаны пуассоновская и нормальная предельные теоремы для числа серий длины не меньше заданной, а также найдено предельное распределение для наибольшей длины серии в управляемой случайной последовательности.

The present paper is devoted to studying the asymptotic properties of a number of runs in the sequence of discrete random variables controlled by Markov chain with a finite number of states. A chain state at each step determines the law of characters distribution in the controlled sequence at this step. This random sequence represents a model of hidden Markov chain. Using Chen-Stein method we estimate the total variation distance between the distribution of the number of runs with length not less than predetermined length in the random sequence controlled by Markov chain and the accompanying Poisson distribution. For this purpose we first consider the sequence of independent inhomogeneous polynomial random variables, and then we use an approach which allows to get the estimate for total variation distance between mixed Poisson distribution and Poisson distribution with the parameter which equals to an average number of runs with length not less than predetermined. The estimate is based on both the variance of the mixed Poisson distribution parameter and the estimate obtained earlier for the total variation distance for the polynomial scheme. Separately we consider the case of a stationary Markov chain. Using derived estimates we investigate Poisson and normal limit theorems for the number of runs with length not less than predetermined, as well as the limit distribution for the maximal run length in a controlled sequence.

В работе дан обзор проблем, приводящих к необходимости анализа моделей линейных и нелинейных динамических систем в форме стохастических дифференциальных уравнений со случайными запаздываниями различного типа, а также представлены некоторые известные методы решения этих задач. Далее в статье предлагаются новые подходы к приближенному анализу линейных и нелинейных стохастических динамических систем, изменения запаздываний которых описываются дискретной марковской цепью с непрерывным временем. Используемые подходы базируются на сочетании классического метода шагов, расширения пространства состояния стохастической системы и метода статистического моделирования (Монте-Карло). В рассматриваемом случае такой подход позволил упростить задачу и привести исходные уравнения к системам стохастических дифференциальных уравнений без запаздывания. Более того, для линейных систем получена замкнутая последовательность систем обыкновенных дифференциальных уравнений увеличивающейся размерности относительно функций условных математических ожиданий и ковариаций вектора состояния. Изложенная схема демонстрируется на примере стохастической системы второго порядка, изменения запаздывания которой описываются марковской цепью с пятью состояниями. Все расчеты и построение графиков проводились в среде математического пакета Mathematica с помощью программы, написанной на входном языке этого пакета.

The paper provides an overview of the problems that lead to a necessity for analyzing models of linear and nonlinear dynamic systems in the form of stochastic differential equations with random delays of various types as well as some well-known methods for solving these problems. In addition, the author proposes some new approaches to the approximate analysis of linear and nonlinear stochastic dynamic systems. Changes of delays in these systems are governed by discrete Markov chains with continuous time. The proposed techniques for the analysis of systems are based on a combination of the classical steps method, an extension of the state space of a stochastic system under examination, and the method of statistical modeling (Monte Carlo). In this case the techniques allow to simplify the task and to transfer the source equations to systems of stochastic differential equations without delay. Moreover, for the case of linear systems the author has obtained a closed sequence of systems with increasing dimensions of ordinary differential equations satisfied by the functions of conditional expectations and covariances for the state vector. The above scheme is demonstrated by the example of a second-order stochastic system. Changes of the delay in this system are controlled by the Markov chain with five states. All calculations and graphics were performed in the environment of the mathematical package Mathematica by means of a program written in the source language of the package.