Реферат: Задачи продолжения температурных полей по данным точечных измерений А. Н. Васильев

О нейросетевом поДходЕ

к регуляризации решения

задачи продолжения

температурных полей

по данным точечных измерений


А.Н.Васильев, профессор ФМФ СПбГПУ, a.n.vasilyev@gmail.com

Д.А.Тархов, профессор ФМФ СПбГПУ, dtarkhov@gmail.com

Общая методика работы с моделями, основанными на дифференциальных уравнениях в частных производных [1-3], применяется к известной некорректной задачи, решение которой стандартными подходами затруднено. Поясним суть нейросетевого подхода авторов на примере простейшей краевой задачи

(1)

здесь – некоторый дифференциальный оператор, т.е. алгебраическое выражение, содержащее частные производные от неизвестной функции , – оператор, позволяющий задать граничные условия, – граница области .

Ищем приближённое решение задачи (1) в виде выхода нейронной сети некоторой заданной архитектуры

(2)

веса которой – линейно входящие параметры и нелинейно входящие параметры – находятся в процессе поэтапного обучения сети, построенном в общем случае на минимизации некоторого функционала ошибки вида

. (3)

Здесь – периодически перегенерируемые пробные точки в области , – пробные точки на её границе . Возможны и другие подходы к настройке параметров нейронной сети.

Предложенная методика позволяет работать не только с простейшими краевыми задачами – ее можно модифицировать и для нестационарных задач: на примере уравнения теплопроводности для струны применим ее к эволюционным задачам и некоторым некорректным задачам.

Пусть , где , – решение неоднородного уравнения теплопроводности удовлетворяющее краевым условиям и начальным условиям . Задание этих условий позволяет решать задачу «вперёд» – и, как известно, такая задача является корректной.

Решение прямой задачи, как и других подобных задач, можно искать в виде нейросетевого разложения

,

параметры которого настраиваются на основе минимизации функционала ошибки, взятого в форме




Формально начально-краевые условия позволяют искать решение задачи «назад»: определить , , однако такая постановка делает задачу некорректной. Наш подход позволяет получить устойчивое решение этой задачи.

В качестве другого примера некорректной задачи приведем задачу продолжения нестационарных полей по приближенно известным данным точечных измерений. А.А. Самарский и П.Н. Вабищевич [4] строили регуляризацию решения такой задачи посредством восстановления начальных условий (при заданных краевых условиях) по набору точечных данных (задача управления). При предлагаемом нейросетевом подходе решение как прямой, так и обратной задачи строится единообразно.

Перейдем к решению обратной задачи. Заменим начальное условие соотношениями , в точках некоторого множества . Здесь – заданные с некоторой ошибкой опытные данные.

Приближённое решение этой задачи ищем, как и ранее, в виде нейросетевой функции, имеющей, к примеру, тот же (или аналогичный приведенному) вид . В качестве нейросетевых базисных функций могут использоваться и другие, например, мультиквадрики .

Процесс обучения нейронной сети основан, как и ранее, на минимизации функционала ошибки, взятого, например, в виде



где , , – наборы тестовых точек внутри области, на левой и правой границах. Эти наборы тестовых точек перегенерируются после определенного числа шагов процесса обучения.

Отметим, что в этой простой задаче при определенном выборе типа нейроэлементов (например, гауссианов) было получено и явное относительно настраиваемых параметров, хотя и очень громоздкое выражение для функционала ошибки. Использование подобных явных формул для функционала, несомненно, ускоряет процесс обучения сети. Но в данном случае при проведении вычислений при оптимизации применялся общий подход.

В качестве модельного (определяемого в подобной постановке) решения использовалась функция , значения которой задавались с ошибкой в наборе точек . Рассматривались случаи разного числа точек и , а также варианты задания «опытных данных» с разной точностью: , и .

В качестве приближенного решения рассматривалась нейросеть из «круговых» гауссовых экспонент («эллипсоидальные» гауссианы также применялись, но никакого выигрыша не дали). Для обучения сети использовался метод плотного облака, проявивший себя в этой задаче лучше модифицированного метода многогранника [5], радиус облака – . Изменение в точности задания «экспериментальных данных» с на (и даже на ) не привело к существенному изменению качества построенного нейросетевого решения. Вычисления проводились в среде Mathematica 6.


Результаты вычислений для значений , , приведены ниже.




Рис.1. График решения Рис.2. Начальные условия


Рис.3. График решения , Рис.4. График решения ,




Приведем также результаты вычислений для , , .



Рис.5. График решения Рис.6. Начальные условия




Рис.7. График решения , Рис.8. График решения ,


Вид исходного решения отслежен, оно восстанавливается с ошибкой .

Исследовались разные варианты инициирования начальных значений параметров обучаемой нейросети – результат оказался ожидаемым: чем ближе исходная ненастроенная сеть к искомому решению, тем быстрее (за меньшее число эпох обучения) выстраивается приближенное нейросетевое решение задачи данной точности, но неудача в выборе начального приближения может быть скомпенсирована достаточно большим количеством итераций; увеличение – числа используемых функций – увеличивает число итераций для достижения предписанной точности и время каждой операции (рассматривались сети из , и гауссианов).

В случае линейных задач возможны и другие подходы к обучению нейросетей: например, метод интегральных представлений [1]. При таком подходе используются нестандартные нейросетевые базисные элементы – решения, которые порождены нейросетевыми разложениями данных Коши при : к примеру, для гауссовых пакетов – это нейросетевые функции вида

, .



Рис. 9. Аппроксимация данных Коши при втором подходе ()


При этом подходе в функционале ошибки имеются лишь слагаемые для данных Коши и краевых условий. Качество приближения при этом частном подходе весьма хорошее.


Построенное таким образом нейросетевое приближение для решения задачи можно рассматривать как его регуляризацию. Аналогичный подход можно применить и к другим некорректным задачам такого рода. Подобные построения могут быть сделаны для выделения множеств решений интегральных уравнений, интегро-дифференциальных и иных уравнений, при этом в полной мере могут быть использованы преимущества нейросетевого подхода в случае задач со сложной геометрией, с нелинейностями, с кусочными данными, при решении серии задач с уточняемой постановкой и др. Рассмотрение указанного примера лишь несколько упрощает проведение численного эксперимента, но нисколько не умаляет общность предлагаемого метода.


Несомненный интерес может представлять

сравнительный анализ использования различных нейросетевых функциональных базисов (в частности, разнородных),

использование нестандартных нейросетевых базисных элементов (например, решений, порожденных нейросетевыми разложениями данных Коши и т.п.),

применение эволюционных алгоритмов и естественного распараллеливания задачи для одновременной настройки весов и структуры нейронных сетей подобно тому, как это делалось в работах авторов [6-7],

рассмотрение других подходов и соответствующих им алгоритмов при настройке нейросетевого функционального базиса, например, методов минимизации функционала ошибки, применявшихся в работах [9-10].

Литература

1. Васильев А.Н. Построение приближенных математических моделей распределенных систем на основе нейросетевой методологии// «Нейрокомпьютеры»: разработка, применение. – М.: Радиотехника, 2007. – №9. – С.103-116.

2. Васильев А.Н., Тархов Д.А. Нейронные сети как новый универсальный подход к численному решению задач математической физики // «Нейрокомпьютеры»: разработка, применение. – 2004. – №7-8. – С.111-118.

3. Васильев А.Н., Тархов Д.А. Применение нейронных сетей к неклассическим задачам математической физики// Сборник докладов Международной конференции по мягким вычислениям и измерениям – SCM'2003. – СПб., 2003. – Том 1. – С.337-340.

4. Самарский А.А., Вабищевич П.Н. Численные методы решения обратных задач математической физики. – М.: Едиториал УРСС, 2004. – 480 с.

5. Тархов Д.А. Нейронные сети: модели и алгоритмы. Кн.18. – М.: Радиотехника, 2005. – 256 с.

6. Васильев А.Н., Тархов Д.А. Некоторые эволюционные подходы к нейросетевому решению задач математической физики// Сборник научных трудов VIII Всероссийской научно-технической конференции «Нейроинформатика-2006». – Москва, МИФИ, 2006. – Часть 1. – С.24-31.

7. Васильев А.Н., Тархов Д.А. Эволюционные алгоритмы решения краевых задач в областях, допускающих декомпозицию (NPNJ-2006)// Математическое моделирование. – 2007. – Том 19, №12. – С.52-62.

8. Galperin E., Zheng Q., Solution and control of PDE via global optimization methods// Computers & Mathematics with Applications. – Pergamon Press Ltd. – 1993. – Vol. 25, No. 10/11. – pp. 103-118.

9. Galperin E.A., Kansa E.J. Application of global optimization and radial basis functions to numerical solutions of weakly singular Volterra integral equations// Computers & Mathematics with Applications. – Pergamon Press Ltd. – 2002. – Vol. 43. – pp. 491-499.

10. Galperin E.A. The Cubic Algorithm for Optimization and Control// NP Research Publ., Montreal. – 1990.