Рекурсивный МНК

Рекурсивный или рекуррентный метод наименьших квадратов (МНК) (англ. Recursive Least Squares) — применяемая в эконометрике итеративная процедура оценки параметров регрессионной модели. Данный метод применяется при мультиколлинеарности факторов (в этом случае матрица $X^{T}X$ близка к вырожденной и при её обращении могут возникнуть большие вычислительные неточности). Также получающиеся в результате применения рекурсивного МНК (рекурсивные остатки) используются при тестировании стабильности параметров модели.

Описание метода

В данном методе вместо обращения плохо обусловленной матрицы $X^{T}X$ производится расчет матрицы $W_{t}$ согласно следующей рекуррентной формуле:

$W_{t}=W_{t-1}-{\frac {W_{t-1}x_{t}x_{t}^{T}W_{t-1}}{1+x_{t}^{T}W_{t-1}x_{t}}}~,~~t=k+1,...,n$

То есть на каждом шаге вместо обращения производится деление на число. Для «запуска» процедуры нужно задать начальное значение матрицы.

Параметры модели оцениваются согласно следующему рекуррентному соотношению:

${\hat {b}}_{t}={\hat {b}}_{t-1}+(y_{t}-x_{t}^{T}{\hat {b}}_{t-1})W_{t}x_{t}$

Выражение в скобках представляет собой ошибку прогноза на один период. Известно, что дисперсия ошибки такого прогноза будет равна $\sigma ^{2}(1+x_{t}^{T}W_{t-1}x_{t})$, где $\sigma ^{2}$ — дисперсия случайных ошибок модели (предполагается классическая регрессионная модель). Для выравнивания дисперсии дисперсий ошибок прогнозов ошибки прогноза делят на квадратный корень из $1+x_{t}^{T}W_{t-1}x_{t}$. Полученные величины и называют обычно рекурсивными остатками:

$w_{t}={\frac {y_{t}-x_{t}^{T}{\hat {b}}_{t-1}}{\sqrt {1+x_{t}^{T}W_{t-1}x_{t}}}}$

Если регрессионная модель правильная (то есть соответствует моделируемой зависимости) и выполняются классические предположения, то полученные рекурсивные остатки являются независимыми случайными величинами с нулевым математическим ожиданием и постоянной дисперсией — $iid(0,\sigma ^{2})$. Это позволяет использовать их для тестирования стабильности параметров модели.

См. также

• CUSUM-тест
• Метод наименьших квадратов