Об одном детерминированном подходе к решению задач стохастического оптимального управления с управляемой диффузией

 pdf (244K)

В работе рассматривается задача оптимального управления одномерным процессом, заданным стохастическим дифференциальным уравнением, в котором управление воздействует как на коэффициент сноса, так и на коэффициент диффузии, при этом диффузионная составляющая линейна по управлению $$dx(t) = b(t,x(t),u(t))dt +\sigma(t,x(t))u(t)dW(t),\qquad x(0) = x_0.$$ Здесь $x(t)$ - фазовая координата, $u(t)$ - управляющая функция, $W(t)$ - винеровский процесс. Доказана теорема, которая предоставляет структуру решения рассматриваемого уравнения в виде суперпозиции функций $x(t)=Φ(t,u(t)W(t)+y(t))$, в котором $Φ(t,v)$ - известная функция, полностью определяющаяся коэффициентом $σ(t,x)$, и не зависит от управления, а $y(t)$ - решение потраекторно-детерминированного дифференциального уравнения с мерой вида

$$dy(t) = B(t,y(t),u(t))dt - W(t)du(t).$$

Выявленная структура решения позволяет вместо исходной стохастической задачи оптимального управления исследовать новую эквивалентную задачу с фазовой переменной $y(t)$, которая является потраекторно-детерминированной задачей оптимального импульсного управления. При детерминированном рассмотрении новой задачи решения последней могут оказаться упреждающими функциями, поэтому в работе предлагается метод, который позволяет добиться неупреждаемости оптимальных решений. Суть метода заключается в модификации функционала потерь в новой потраекторно-детерминированной задаче специальным образом подобранным интегральным слагаемым, которое позволяет гарантировать неупреждаемость решений.

Ключевые слова: стохастическое оптимальное управление, стохастические дифференциальные уравнения, детерминированный подход, потраекторная оптимизация, оптимальное импульсное управление
Цитата: Вестник Удмуртского университета. Математика. Механика. Компьютерные науки, 2014, вып. 2, с. 29-42
DOI: 10.20537/vm140202

On deterministic approach to solution of stochastic optimal control problem with controlled diffusion

We consider an optimal control problem for a one-dimensional process driven by stochastic differential equation, which has both drift and diffusion coefficients controlled, diffusion being linear in control

$$dx(t) = b(t,x(t),u(t))dt +\sigma(t,x(t))u(t)dW(t), \qquad x(0) = x_0,$$

where $x(t)$ is the state variable, $u(t)$ is the control variable and $W(t)$ is the Wiener process. We prove a theorem which gives a structure of solution for the considered differential equation as a superposition of functions $x(t)=Φ(t,u(t)W(t)+y(t))$, where $Φ(t,v)$ is the known function, which is completely determined by the diffusion coefficient σ(t,x) and is independent of control, and $y(t)$ is the solution to the pathwise-deterministic measure-driven differential equation

$$dy(t) = B(t,y(t),u(t))dt - W(t)du(t).$$

The revealed structure of the solution enables us to consider a new pathwise-deterministic impulsive optimal control problem with the state variable $y(t)$ which is equivalent to the original stochastic optimal control problem. Pathwise problems may have anticipative solutions, so we propose a method that makes it possible to build nonanticipative optimal solutions. The basic idea of the method is to modify cost functional in new pathwise problem with special integral term, which guarantees nonanticipativity of solutions.

Keywords: stochastic optimal control, stochastic differential equations, deterministic approach, pathwise optimization, optimal impulsive control
Citation in English: Bulletin of Udmurt University. Mathematics, Mechanics, Computer Science, 2014, issue 2, pp. 29-42

Журнал индексируется в Web of Science (Emerging Sources Citation Index)

Журнал индексируется в Scopus

Журнал входит в базы данных zbMATH, MathSciNet

Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science

Журнал включен в перечень ВАК.

Электронная версия журнала на Общероссийском математическом портале Math-Net.Ru.

Журнал включен в Crossref