Реферат: Окремі випадки задач оптимального стохастичного керування

ОКРЕМІ ВИПАДКИ ЗАДАЧ ОПТИМАЛЬНОГО СТОХАСТИЧНОГО КЕРУВАННЯ

1. Зовнішній інтеграл

Функції /> і /> можуть бути довільними, а математичні сподівання можна обчислювати, якщо /> як функція від /> є вимірною.

Якщо ж оптимальна стратегія, отримана в результаті оптимізації, виявиться невимірною, то і функція /> може виявитися невимірною. У цьому випадку математичне сподівання невизначено.

Для розв’язання цієї проблеми застосовують два підходи. Перший полягає в накладенні на функції /> і /> таких обмежень, які забезпечували б вимірність підінтегральної функції на кожному кроці оптимізації />: функції /> і />, />, повинні бути неперервними по своїх аргументах і повинна існувати щільність імовірності розподілу випадкової величини />, а множини /> значень припустимих стратегій повинні бути компактними.

На жаль, на практиці ці вимоги не завжди виконуються. Тому другий підхід пов’язаний з використанням зовнішнього інтеграла.

Позначимо через /> простір елементарних подій, що є довільною множиною, а /> – деяка система підмножин множини />.

Математичним сподіванням випадкової величини />, заданої на імовірнісному просторі />, називається число />, якщо інтеграл з правої частини існує.

Нехай /> і /> – борелівські простори, />, /> є />-алгеброю в />. Функція /> називається />-вимірною, якщо /> для будь-якої множини />. Тут /> – борелівська />-алгебра простору />.

Для функції />, (/>) зовнішній інтеграл за мірою /> визначається як нижня грань інтегралів від всіх вимірних функцій /> (/>), що мажорують />, тобто

/>, />.

Тут /> – функція розподілу випадкової величини />, що відповідає ймовірнісній мірі />.

Для довільної функції /> має місце співвідношення:

/>,

де />, />, і вважають, що />.

Оскільки зовнішній інтеграл визначений для будь-якої функції, як для вимірної, так і для невимірної, то ніяких додаткових обмежень на функції /> і /> накладати не треба.

Для вимірних функцій обидва види математичних сподівань співпадають. Отже, у постановках задач можна замінити звичайне математичне сподівання на зовнішнє, і навіть якщо знайдена при цьому функція /> виявиться вимірною, то отримана стратегія керування не перестане бути оптимальною.

Зовнішня міра множини /> визначається співвідношенням />.

Для будь-якої множини />

/>,

де /> – це індикатор множини />, що визначається як />

а) якщо />, то />;

б) якщо /> і />, то />;

в) якщо /> або />, то />;

г) якщо /> задовольняє рівності />, то для будь-якої функції /> має місце рівність />;

д) якщо />, то /> для будь-якої функції />;

е) якщо /> і />, то />. Якщо при цьому хоча б одна з функцій /> або />/>-вимірна, то останнє співвідношення вірно зі знаком рівності.

Позначимо через /> дійсну пряму, а через /> – розширену дійсну пряму і надалі у всіх висновках замість дійсної прямої використовуватимемо поняття розширеної дійсної прямої.

Вважатимемо, що для розширеної дійсної прямої мають місце всі співвідношення порядку додавання і множення, які було введено для />, і припустимо, що /> і />.

Позначимо через /> множину всіх дійсних у розширеному розумінні функцій />, де /> – простір станів.

/> – банахів простір всіх обмежених дійсних функцій /> з нормою, що визначається за формулою

/>, />.

Позначатимемо />, якщо />, />, /> і />, якщо />, />, />.

--PAGE_BREAK--

Для будь-якої функції /> і будь-якого числа /> позначимо через /> функцію, що приймає значення /> в кожній точці />, так, що

/>, />.

Припущення монотонності. Для будь-яких станів />, керування /> і функцій /> мають місце нерівності

/> якщо /> і />;

/>, якщо /> і />;

/>, якщо />, /> і />.

Для будь-якого /> стратегія /> називається />-оптимальною при горизонті />, якщо

/>

і />-оптимальною, якщо

/>

Багато задач послідовної оптимізації, що становлять практичний інтерес, можуть розглядатися як окремі випадки задач загального виду. Розглянемо деякі з них:

задачі детермінованого оптимального керування;

задачі стохастичного керування зі зліченним простором збурень;

задачі стохастичного керування із зовнішнім інтегралом;

задачі стохастичного керування з мультиплікативним функціоналом витрат;

задачі мінімаксного стохастичного керування.

2. Детерміноване оптимальне керування

Розглянемо відображення />, що задане формулою

/>, />, />, /> (1)

за таких припущень:

функції /> і /> відображають множину /> відповідно в множини /> і />, тобто />, />; скаляр /> додатний.

За цих умов відображення /> задовольняє припущенню монотонності. Якщо функція /> дорівнює нулю, тобто />, />, то відповідна />-крокова задача оптимізації (1) набуває вигляду:

/>, (2)

/>. (3)

Ця задача є задачею детермінованого оптимального керування зі скінченним горизонтом. Задача з нескінченним горизонтом має наступний вигляд:

/>, (4)

/>. (5)

Границя в (4) існує, якщо має місце хоча б одна з наступних умов:

/>, />, />;

/>, />, />;

/>, />, />, /> і деякого />.

У задачі (4) – (5) може бути уведене додаткове обмеження на стан системи />, />. У такому разі, якщо />, позначатимемо />.

3. Оптимальне стохастичне керування: зліченний простір збурень

Розглянемо відображення />, що задане формулою

/>, (6)

за таких припущень:

параметр /> приймає значення зі зліченної множини /> з заданим розподілом ймовірностей />, що залежать від /> і />; функції /> і /> відображають множину /> відповідно в множини /> і />, тобто />, />; скаляр /> додатний.

Якщо />, />, – елементи множини />, /> – довільний розподіл ймовірностей на />, а /> – деяка функція, то математичне сподівання визначається за формулою

/>,

де />,

/>,

/>.

Оскільки />, то математичне сподівання /> визначене для будь-якої функції /> і будь-якого розподілу ймовірностей /> на множині />.

    продолжение
--PAGE_BREAK--

Зокрема, якщо />, />,… – розподіл ймовірностей /> на множині />, то формулу (6) можна переписати так:

/>

При використанні цього співвідношення треба пам’ятати, що для двох функцій />, /> рівність /> має місце, якщо виконується хоча б одна з трьох умов:

/> та />;

/> та />;

/> та />.

Відображення /> задовольняє припущенню монотонності. Якщо функція /> – тотожний нуль, тобто />, />, то за умови />, />, функцію витрат за /> кроків можна подати у вигляді:

/> (7)

де />, />.

Ця умова означає, що математичне сподівання обчислюється послідовно по всіх випадкових величинах />.

При цьому зміна порядку операцій додавання і узяття математичного сподівання припустима, тому що />, />, і для довільних простору з мірою />, вимірної функції />і числа />має місце рівність />.

Якщо виконується одна з двох нерівностей

/> або

/>,

то функцію витрат за /> кроків /> можна записати у вигляді:

/>,

де математичне сподівання обчислюється на добутку мір на />, а стани />, />, виражаються через /> за допомогою рівняння />.

Якщо функція /> допускає подання у такому вигляді для будь-якого початкового стану /> та будь-якої стратегії />, то />-крокова задача може бути сформульована так:

/>, (8)

/>. (9)

Відповідна задача з нескінченним горизонтом формулюється так:

/>, (10)

/>. (11)

Границя в (10) існує при виконанні будь-якої з трьох наступних умов:

/>, />, />, />;

/>, />, />, />;

/>, />, />, />, /> і деякого />.

Математичне сподівання визначається і як звичайний інтеграл, і як зовнішній інтеграл з />-алгеброю в множині />, що складається із всіх підмножин />, в залежності від вимірності або невимірності функцій.

Для багатьох практичних задач виконується припущення про зліченність множини />.

Якщо ж множина /> незліченна, то справа ускладнюється необхідністю обчислення математичного сподівання

/>

для будь-якої функції />. Подолання цих труднощів і пов’язане з використанням зовнішнього інтеграла.