Лекция: Многослойный перцептрон как универсальный аппроксиматор

Многослойные персептроны широко используются для задач аппроксимации. Рассмотрим MLP с непрерывной нелинейной функцией активации. Для них доказана следующая теорема — теорема существования (Existence Theorem, Hornik и др,. 1989):

MLP может аппроксимировать любую непрерывную функцию с любой заданной степенью точности.

Доказательство этой фундаментальной теоремы основывается на теореме Колмогорова (1957), которая гласит:

Любая непрерывная функция, определенная в n-мерном множестве действительных чисел, может быть представлена в виде суммы функций, имеющих своим аргументом суммы непрерывных функций с единственным аргументом.

Формально, это может быть представлено следующим образом

, (2.16)

где и — непрерывные функции.

Таким образом, для любой непрерывной функции существует многослойный перцептрон MLP, аппроксимирующий ее с заданной точностью.

В качестве функций активации, например, могут использоваться сигмоидные функции:

.