Реферат: И. А. Пахнутов Рассмотрены вычислительные аспекты обобщенного метода наименьших квадратов

УДК 330.43


ЧИСЛЕННАЯ РЕАЛИЗАЦИЯ ДОСТУПНОГО ОБОБЩЕННОГО


МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ


И.А. Пахнутов


Рассмотрены вычислительные аспекты обобщенного метода наименьших квадратов.


статистика, распределения, МНК, точечные оценки


В доступном обобщенном методе наименьших квадратов (ДОМНК), применяемом в эконометрических расчетах [1-3], рассматривается модель линейной регрессии Y=Xβ+ε, где Y∈ℝ, X∈ℝ, β∈ℝ - вектор наблюдаемых величин, матрица значений факторов и вектор параметров соответственно (k<2Θ) имеет гауссово распределение с математическим

ожиданием Е(ε)=0, дисперсией σ2 и корреляционной матрицей

Θ = Θ(t) = , |t| < 1,

так что плотность распределения вектора ошибок ρε имеет вид:

ε(t, , ) = .


Стандартный метод наибольшего правдоподобия позволяет в качестве функции

правдоподобия взять

L(t,σ,β) = ln(ρε(t,σ,β))=const – nln() - - (Y-X)TΘ-1(Y-X), максимальное значение которой достигается на решении уравнения dL(t,σ,β)=0

(полное дифференцирование). Но, так как

L(t, , ) = XTΘ-1(Y - X),

L(t, , ) = - (Y-X)TΘ-1(Y-X),

L(t, , ) = - (ln (det(Θ(t))))' - (Y-X)T(Θ(t)-1)'(Y-X),

то (точечные) оценки , , параметров t, σ, β можно получить, решив систему

уравнений

(1)

где e=Y-X - вектор остатков, штрих означает дифференцирование по t. При фиксированном t=tпервое уравнение позволяет получить несмещенную оценку =(XTΘ-1X)-1XTΘ-1Y=XY, второе – (смещенную) оценку дисперсии, третье позво-ляет "уточнить" выбранное t.

При выбранной гипотетической форме корреляционной матрицы Θ(t) необ-ходимые функции от нее вычисляются довольно просто. Обозначим нижним индексом порядок матрицы и ее определителя. Тогда, вычитая каждую строку (начиная со второй) определителя det(Θ(t))n, умноженную на t, из предыдущей, получаем рекуррентную формулу: det(Θ(t))n=(1-t2)det(Θ(t))n-1, откуда (по индук-ции) det(Θ(t))=(1-t2). Теперь, выполняя аналогичную процедуру (или стандарт-ное гауссово исключение), нетрудно получить (трехдиагональную) обратную мат-

рицу

Θ-1(t) = .

Ее производная, очевидно, равна

(Θ-1(t))' = .

Используя трехдиагональность полученных матриц, можно существенно упростить систему уравнений (1). Обозначив s=eTe, v=s-e12-en2, u=Σejej+1, можно найти выражение для оценки дисперсии . А так как

eT[Θ -1(t)]′e=[ut2-(s+v)t+u], то последнее уравнение в (1) (после очевидного

упрощения) примет вид

t(vt2-2ut+s)-n(vt-u)(t2-1)=0 (2)

– обычное кубическое уравнение, легко решаемое численно. При t=±1 уравнение переходит в равенство (v2u+s)=0, или Σ(ejej+1)2 =0, невозможное при слу-чайном характере остатков (в этом случае и матрица Θ теряет смысл). Далее, нетрудно видеть, что u≤v, vt2 -2ut+s>0 (∀t). Отсюда и из непрерывности левой части уравнения (2) следует, что последняя внутри интервала (-1, 1) в окрестности его границ принимает различные знаки, и, таким образом, уравнение (2) всегда имеет корень t*: |t*|<1. Численная реализация ДОМНК, следовательно, может быть

представлена простым алгоритмом:

1. Выбрать произвольное t: |t|<1.

2. Получить оценку =А-1В, где A=XTΘ(t)-1X, B=XTΘ(t)-1Y.

3. Вычислить остатки e=Y-X, s, v, u.

4. Найти ближайший к нулю корень t* уравнения (2).

5. Выбрать новое значение t=t*и перейти к п. 2.

Стратегия выбора нового значения tможет быть различной: от простой подста-новки t:= t* до подбора линейной комбинации вида t:=λt+(1-λ)t*. Статистика обычно не требует высокой вычислительной точности, поэтому итерации можно выполнять до разумной повторяемости результатов, положив =t*. Оконча-тельная несмещенная оценка дисперсии получается стандартно: .

Приведенный алгоритм делает ДОМНК действительно "доступным".

Полученные с помощью ДОМНК оценки параметров линейной модели могут существенно отличаться от оценок, полученных стандартным МНК. В качестве иллюстрации приведем пример. Для заданных значений матриц X и Y:

для модели Y=Xβ+ε стандартный МНК при-

водит к оценкам = . Начиная со

значения t=0.5, через шесть итераций приве-

денного выше алгоритма приходим к значе-

нию = -0.414. Оценки ДОМНК параметров β

при найденном следующие: () = .

Значимость полученного различия оценок

обычно устанавливается дополнительным ис-

следованием с вычислением вероятностных

интервалов.


СПИСОК ЛИТЕРАТУРЫ


1. Дубров А.М. Многомерные статистические методы /А.М. Дубров, В.С. Мхитарян, Л.И. Трошин.–М, Финансы и статистика, 2000.–350 с.

2. Кремер Н.Ш. Эконометрика /Н.Ш. Кремер, Б.А. Путко.–М., 2007.–311 с.

3. Пахнутов И.А. Введение в эконометрику. – Калининград, КГТУ,2005.–95 с.


COMPUTATION IN FGLS


I.A. Pakhnoutov


A numerical aspect in Feasible Generalized Least Squares is considered. Basic algorithm is simple and easily realizable.