Все выпуски

В работе рассматривается задача оптимального управления одномерным процессом, заданным стохастическим дифференциальным уравнением, в котором управление воздействует как на коэффициент сноса, так и на коэффициент диффузии, при этом диффузионная составляющая линейна по управлению $$dx(t) = b(t,x(t),u(t))dt +\sigma(t,x(t))u(t)dW(t),\qquad x(0) = x_0.$$ Здесь $x(t)$ - фазовая координата, $u(t)$ - управляющая функция, $W(t)$ - винеровский процесс. Доказана теорема, которая предоставляет структуру решения рассматриваемого уравнения в виде суперпозиции функций $x(t)=Φ(t,u(t)W(t)+y(t))$, в котором $Φ(t,v)$ - известная функция, полностью определяющаяся коэффициентом $σ(t,x)$, и не зависит от управления, а $y(t)$ - решение потраекторно-детерминированного дифференциального уравнения с мерой вида

$$dy(t) = B(t,y(t),u(t))dt - W(t)du(t).$$

Выявленная структура решения позволяет вместо исходной стохастической задачи оптимального управления исследовать новую эквивалентную задачу с фазовой переменной $y(t)$, которая является потраекторно-детерминированной задачей оптимального импульсного управления. При детерминированном рассмотрении новой задачи решения последней могут оказаться упреждающими функциями, поэтому в работе предлагается метод, который позволяет добиться неупреждаемости оптимальных решений. Суть метода заключается в модификации функционала потерь в новой потраекторно-детерминированной задаче специальным образом подобранным интегральным слагаемым, которое позволяет гарантировать неупреждаемость решений.

We consider an optimal control problem for a one-dimensional process driven by stochastic differential equation, which has both drift and diffusion coefficients controlled, diffusion being linear in control

$$dx(t) = b(t,x(t),u(t))dt +\sigma(t,x(t))u(t)dW(t), \qquad x(0) = x_0,$$

where $x(t)$ is the state variable, $u(t)$ is the control variable and $W(t)$ is the Wiener process. We prove a theorem which gives a structure of solution for the considered differential equation as a superposition of functions $x(t)=Φ(t,u(t)W(t)+y(t))$, where $Φ(t,v)$ is the known function, which is completely determined by the diffusion coefficient σ(t,x) and is independent of control, and $y(t)$ is the solution to the pathwise-deterministic measure-driven differential equation

$$dy(t) = B(t,y(t),u(t))dt - W(t)du(t).$$

The revealed structure of the solution enables us to consider a new pathwise-deterministic impulsive optimal control problem with the state variable $y(t)$ which is equivalent to the original stochastic optimal control problem. Pathwise problems may have anticipative solutions, so we propose a method that makes it possible to build nonanticipative optimal solutions. The basic idea of the method is to modify cost functional in new pathwise problem with special integral term, which guarantees nonanticipativity of solutions.

Для динамической системы, управляемой в условиях помех, рассматривается задача оптимизации гарантированного результата. Особенностью задачи является наличие функциональных ограничений на помехи, при которых свойство замкнутости множества допустимых помех относительно операции «склейки» двух его элементов, вообще говоря, отсутствует. Это обстоятельство препятствует непосредственному применению методов теории дифференциальных игр для исследования задачи и тем самым приводит к необходимости их походящей модификации. В работе предложено новое понятие неупреждающей стратегии управления (квазистратегии). Доказано, что соответствующий функционал оптимального гарантированного результата удовлетворяет принципу динамического программирования. Как следствие, установлены так называемые свойства $u$- и $v$-стабильности этого функционала, которые в дальнейшем позволят построить конструктивное решение задачи в позиционных стратегиях.

For a dynamical system controlled under conditions of disturbances, a problem of optimizing the guaranteed result is considered. A feature of the problem is the presence of functional constraints on disturbances, under which, in general, the set of admissible disturbances is not closed with respect to the operation of “gluing up” of two of its elements. This circumstance does not allow to apply directly the methods developed within the differential games theory for studying the problem and, thus, leads to the necessity of modifying them appropriately. The paper provides a new notion of a non-anticipative control strategy. It is proved that the corresponding functional of the optimal guaranteed result satisfies the dynamic programming principle. As a consequence, so-called properties of $u$- and $v$-stability of this functional are established, which may allow, in the future, to obtain a constructive solution of the problem in the form of feedback (positional) controls.

Для динамической системы, подверженной воздействиям управления и помехи и содержащей последействие в управляющих силах, рассматривается задача об управлении с оптимальным гарантированным результатом для показателя качества, представляющего собой евклидову норму совокупности отклонений движения системы в заданные моменты времени от заданных целей. На основе функциональной трактовки, опирающейся на своеобразный прогноз движений, исходная задача сводится к вспомогательной дифференциальной игре для системы без запаздывания и с терминальной платой. Функция цены этой игры вычисляется на базе конструкции выпуклых сверху оболочек вспомогательных функций из метода стохастического программного синтеза, оптимальные стратегии строятся методом экстремального сдвига на сопутствующие точки. Рассматриваются иллюстрирующие примеры, приводятся результаты численных экспериментов.

For a dynamical system under control and disturbances, and with delay in control, the problem of control with the optimal guaranteed result is considered for a quality index which is the Euclidean norm of the set of deviations of a system motion at the given instants from the given targets. On the basis of a functional treatment basing on a proper prediction of the motion the problem is reduced to an auxiliary differential game for a system without delay and with a terminal quality index. The value of this game is calculated from the construction of upper convex hulls of auxiliary functions from the method of stochastic program synthesis, optimal strategies are formed by the method of an extremal shift to the corresponding points. Illustrating examples and results of numerical experiments are presented.

В качестве математической модели конфликта рассматривается бескоалиционная игра Γ двух участников при неопределенности. О неопределенности известны лишь границы изменения, а какие-либо вероятностные характеристики отсутствуют. Для оценки риска в Γ привлекается функция риска по Сэвиджу (из принципа минимаксного сожаления). Качество функционирования участников конфликта оценивается по двум критериям - исходам и рискам, при этом каждый из них стремится увеличить исход и одновременно уменьшить риск. На основе синтеза принципов минимаксного сожаления и гарантированного результата, равновесности по Нэшу и оптимальности по Слейтеру, а также решения иерархической двухуровневой игры по Штакельбергу формализуется понятие гарантированного по исходам (выигрышам) и рискам равновесия в Γ. Приведен пример. Затем устанавливается существование такого решения в смешанных стратегиях при обычных ограничениях в математической теории игр.

As a mathematical model of conflict the non-cooperation game Γ of two players under uncertainty is considered. About uncertainty only the limits of change are known. Any characteristics of probability are absent. To estimate risk in Γ we use Savage functions of risk (from principle of minimax regret). The quality of functioning of conflict's participants is estimated according to two criteria: outcomes and risks, at that each of the participants tries to increase the outcome and simultaneously to decrease the risk. On the basis of synthesis of principles of minimax regret and guaranteed result, Nash equilibrium and Slater optimality as well as solution of the two-level hierarchical Stackelberg game, the notion of guaranteed equilibrium in Γ (outcomes (prize) and risks) is formalized. We give the example. Then the existence of such a solution in mixed strategies at usual limits in mathematical game theory is established.

В статье изучается задача управления в условиях помех, которая формулируется как задача оптимизации гарантированного результата. В отличие от классической постановки таких задач предполагается, что множество допустимых помех конечно и состоит из кусочно-непрерывных функций. С учетом этого дополнительного функционального ограничения на помеху определяется подходящий класс неупреждающих стратегий (квазистратегий) управления и рассматривается соответствующая величина оптимального гарантированного результата. При некотором техническом предположении о свойстве различимости допустимых помех доказывается, что этот результат может быть достигнут путем использования стратегий управления с полной памятью. Как следствие, устанавливается неулучшаемость класса стратегий с полной памятью. Ключевым элементом доказательства является процедура распознавания действующих в системе помех, которая позволяет всякой неупреждающей стратегии поставить в соответствие близкую по гарантированному результату стратегию с полной памятью. В заключение статьи приводится иллюстрирующий пример.

In this paper, we deal with a control problem under conditions of disturbances, which is stated as a problem of optimization of the guaranteed result. Compared to the classical formulation of such problems, we assume that the set of admissible disturbances is finite and consists of piecewise continuous functions. In connection with this additional functional constraint on the disturbance, we introduce an appropriate class of non-anticipative control strategies and consider the corresponding value of the optimal guaranteed result. Under a technical assumption concerning a property of distinguishability of the admissible disturbances, we prove that this result can be achieved by using control strategies with full memory. As a consequence, we establish unimprovability of the class of full-memory strategies. A key element of the proof is a procedure of recovering the disturbance acting in the system, which allows us to associate every non-anticipative strategy with a full-memory strategy providing a close guaranteed result. The paper concludes with an illustrative example.

В настоящее время в рамках управления воздушным движением крайне важной является задача формирования оптимального безопасного расписания прибытия самолетов в точку слияния воздушных трасс. Безопасность результирующей очереди обеспечивается наличием безопасного временнóго интервала между соседними прибытиями в точку слияния. Изменение момента прибытия может обеспечиваться изменением скорости движения самолета и/или использованием схем, удлиняющих или укорачивающих его траекторию. Оптимальность результирующей очереди рассматривается с точки зрения дополнительных требований: минимизации отклонения назначенных моментов прибытия от номинальных, минимизации количества изменений порядка самолетов в очереди, минимизации расхода топлива и т.д. Минимизируемый критерий оптимальности, отражающий эти требования, часто выбирается как сумма индивидуальных штрафов каждому судну за отклонение назначенного момента прибытия от номинального. Функция индивидуального штрафа почти во всех статьях рассматривается либо как модуль отклонения, либо как функция, похожая на модуль, но с различными наклонами ветвей, что приводит к разному штрафу за задержку и ускорение. В целом, задача может быть разделена на две: одна связана с поиском оптимального порядка прибытия судов, вторая — с выбором оптимальных моментов прибытия при заданном порядке. Последняя подзадача достаточно просто решается, поскольку чаще всего может быть формализована как задача линейного программирования. Однако первая решается значительно сложнее, для ее решения применяются разнообразные методы — от эвристических и генетических процедур до подходов смешанного целочисленного линейного программирования. В статье предлагаются условия на параметры задачи, достаточные для того, чтобы порядок оптимальных моментов прибытия самолетов в точку слияния совпадал с порядком номинальных моментов. Это позволяет исключить первую подзадачу из решения всей задачи.

Nowadays, the problem of creating an optimal safe schedule for arrival of aircraft coming in several flows to a checkpoint, where these flows join into one, is very important for air-traffic management. Safety of the resultant queue is present if there is a safe interval between neighbor arrivals to the merge point. Change of an arrival instant of an aircraft is provided by changing its velocity and/or usage of fragments of the air-routes scheme, which elongate or shorten the aircraft path. Optimality of the resultant queue is considered from the point of some additional demands: minimization of the deviation of the actual aircraft arrival instant from the nominal one, minimization of order changes in the resultant queue in comparison with the original one, minimization of fuel expenditures, etc. The optimality criterion to be minimized, which reflects these demands, is often taken as a sum of penalties for deviations of the assigned arrival instants from the nominal ones. Each individual penalty is considered in almost all papers as either the absolute value of the difference between the assigned and nominal arrival instants or a similar function with asymmetric branches (which punishes delays and accelerations of an aircraft in different ways). The problem can be divided into two subproblems: one is a search for an optimal order of aircraft in the resultant queue, and the other is a search for optimal arrival instants for a given order. The second problem is quite simple since it can be formalized in the framework of linear programming and solved quite efficiently. However, the first one is very difficult and now is solved by various methods. The paper suggests sufficient conditions for the problem, which guarantee that the order of the optimal assigned instants is the same as the order of the nominal ones and, therefore, exclude the first subproblem.

Рассматривается задача оптимизации гарантированного результата для управляемой системы, описываемой обыкновенным дифференциальным уравнением, и функционала качества, непрерывно зависящего от траектории движения системы. Значения управления и помехи ограничены в каждый момент компактными множествами. Предполагается, что помеха порождается некоторой неизвестной заранее функцией типа Каратеодори, то есть функцией непрерывной по пространственной переменной при каждом значении временной переменной и измеримой по временной переменной при каждом значении пространственной. Оптимальное управление ищется в классе стратегий управления с полной памятью о движении системы и о реализовавшемся управлении.

Показано, что для достаточно широкого семейства управляемых систем оптимальный гарантированный результат в классе стратегий с полной памятью совпадает с оптимальным гарантированным результатом в классе квазистратегий. Для этого семейства управляемых систем построена разрешающая стратегия, допускающая численную реализацию. Приводится иллюстрирующий пример для нелинейной управляемой системы.

The problem of the optimization of a guaranteed result for the control system, described by an ordinary differential equation, and a continuous payoff functional, is considered. At every moment the values of the control and of the disturbance are in the given compact sets. The actions of the disturbance are assumed to be generated by an unknown function of the Caratheodory type, i.e. by the function continuous with respect to the spatial variable for every value of time variable and measurable with respect to the time variable for every value of spatial one. The actions of control are formed by the strategies with full memory.

It is demonstrated, that for a class of control systems the optimal guaranteed result in this problem is equal to the value of the lower game, i.e. to the value of the optimal guaranteed result in the class of quasi–strategies. The optimal strategy with full memory, that allows numerical implementation, is provided. An illustrative nonlinear example is given.

Рассматривается задача оптимизации гарантированного результата для управляемой системы, описываемой обыкновенным дифференциальным уравнением, и функционала качества, непрерывно зависящего от траектории системы. Значения управления и помехи ограничены в каждый момент компактными множествами. Предполагается также, что помеха стеснена некоторым неизвестным функциональным ограничением из заданного семейства ограничений.

Показано, что в данной задаче оптимальный гарантированный результат совпадает со значением нижней (максиминной) игры. Для получения эффективно реализуемых алгоритмов управления указываются дополнительные условия на правую часть рассматриваемой управляемой системы и подходящие способы построения оптимальной стратегии.

The problem of the optimization of a guaranteed result for the control system, described by an ordinary differential equation, and a continuous payoff functional, is considered. At every moment the values of the control and of the disturbance are in the given compact sets. The disturbances as functions of time are subject to functional constraints belonging to a given family of constraints. The actions of control are formed by the strategies with full memory.

It is demonstrated, that optimal guaranteed result in this problem is equal to the value of the lower game. For the effectiveness of implemented control algorithm additional conditions on the system and appropriate ways of constructing an optimal strategy are specified.

В контексте задач гарантированного управления рассматриваются следующие вопросы: связь возможности пошагового (на заданном разбиении $\Delta$) вычисления селектора мультифункции (м/ф) $\alpha$ для неизвестного, восстанавливаемого по шагам $\Delta$, аргумента с существованием у $\alpha$ мультиселектора (м/с) со специальным свойством (названым здесь $\Delta$-неупреждаемостью или частичной неупреждаемостью); второй вопрос — способы построение такого м/с для произвольной пары $(\alpha, \Delta)$; и последний — поиск эффективно проверяемых условий, обеспечивающих совпадение $\Delta$-неупреждающего м/с с неупреждающим.

Мотивом к рассмотрению этих вопросов послужила схема управления, возникающая, например, в методе альтернированного интеграла, при использовании в управлении контрстратегий, или в некоторых задачах при использовании метода управления с поводырём.

В работе показано, что рассматриваемая пошаговая схема управления реализуема тогда и только тогда, когда м/ф $\alpha$ имеет $\Delta$-неупреждающий и непустозначный м/с. Дана конечношаговая процедура построения такого м/с. Указаны эффективно проверяемые условия, обеспечивающие неупреждаемость частично неупреждающего м/с. Рассмотрены иллюстрирующие примеры.

Let sets of functions $Z$ and $\Omega$ on the time interval $T$ be given, let there also be a multifunction (m/f) $\alpha$ acting from $\Omega$ to $Z$ and a finite set $\Delta$ of moments from $T$. The work deals with the following questions: the first one is the connection between the possibility of stepwise construction (specified by $\Delta$) of a selector $z$ of $\alpha(\omega)$ for an unknown step-by-step implemented argument $\omega\in\Omega$ and the existence of a multiselector (m/s) $\beta$ of the m/f $\alpha$ with a non-anticipatory property of special kind (we call it partially or $\Delta$-non-anticipated); the second question is when and how non-anticipated m/s could be expressed by means of partially non-anticipated one; and the last question is how to build the above $\Delta$-non-anticipated m/s $\beta$ for a given pair $(\alpha,\Delta)$.

The consideration of these questions is motivated by the presence of such step-by-step procedures in the differential game theory, for example, in the alternating integral method, in pursuit-evasion problems posed with use of counter-strategies, and in the method of guide control.

It is shown that the step-by-step construction of the value $z\in\alpha(\omega)$ can be carried out for any steps-implemented argument $\omega$ if and only if the above m/s $\beta$ is non-empty-valued. The key point of the work is the description of finite-step procedure for calculation of this $\Delta$-non-anticipated m/s $\beta$. Conditions are given that guarantee the m/s $\beta$ be a non-anticipative one. Illustrative examples are considered that include, in particular, control problems with disturbance.

Для задачи управления в условиях динамических помех изучается влияние, которое оказывает на оптимальный гарантированный результат сужение класса помех до программных помех. В частности, приводится пример задачи оптимального управления, в которой оптимальный гарантированный результат существенно изменяется при таком сужении множества допустимых помех.

The control problem under dynamical disturbance is considered. The example of the control system and the terminal type quality index, such that optimal guarantee decrease substantially while narrowing the set of allowed disturbances to the programm ones is given.