Робастные GM-оценки в авторегрессии и тесты типа хи-квадрат Пирсона
1 УДК Робастные GM-оценки в авторегрессии и тесты типа хи-квадрат Пирсона М. В. Болдин, М. Н. Петриев Кафедра теории вероятностей, Московский государственный университет им. М.В.Ломоносова, Ленинские Горы 1, Москва, Россия, Аннотация. В работе рассматривается ситуация, когда наблюдения за авторегрессией первого порядка содержат грубые ошибки (выбросы или засорения), причём распределение засорений неизвестно и произвольно. В качестве альтернативы оценке наименьших квадратов неизвестного параметра, которая не применима в данной ситуации, предлагается обобщённая М- оценка. Установлена её асимптотическая качественная робастность в терминах равностепенной непрерывности семейства предельных функций распределения. На основании этой оценки строится тест типа хи-квадрат Пирсона для проверки гипотезы о виде распределения инноваций и показывается, что асимптотический уровень значимости такого теста будет устойчив к выбросам. Ключевые слова: авторегрессия, проверка гипотез, GM-оценки, асимптотическая качественная робастность, тесты хи-квадрат Пирсона. 1. Введение Расcмотрим авторегрессию первого порядка u t = βu t 1 + ε t, t Z, где независимые одинаково распределенные случайные величины (н.о.р сл. в.) с неизвестной функцией распределения (ф.р.) G(x) и Лебеговой плотностью g(x), Eε 1 = 0, Eε 2 1 < ; β < 1, β - неизвестный параметр. Мы предполагаем, что наблюдения авторегрессии могут содержать грубые ошибки (выбросы или засорения), так что вместо наблюдаются величины: y t = u t + z γn t ξ t, t = 0, 1. n. (1) В (1) н.о.р.сл.в., имеющие распределение Бернулли Br(γ n ), γ n = γ min(1, n ), γ 0, γ неизвестный уровень засорения; последовательность н.о.р. сл.в. c неизвестным и произвольным распределением µ. Последовательности , , предполагаются независимыми между собой. Схема засорений (1) является локальным вариантом известной схемы засорения данных во временных рядах из [1].
2 Целью данной работы является решение двух взаимосвязанных задач. Первая из них - построение робастной обобщенной M-оценки ( GM-оценки) параметра β по наблюдениям . Робастность оценки будет характеризоваться равностепенной непрерывностью семейства предельных распределений оценки в точке γ = 0. Подобные оценки уже исследовались ранее, см., например, [2], но лишь при не очень естественных моментных ограничениях на засорения. Подчеркнем еще раз у нас нет никаких ограничений для µ. С помощью построенной GM-оценки мы решаем вторую задачу построения теста типа хи-квадрат для проверки гипотезы о виде неизвестной ф.р. G(x). Подобная задача в авторегрессии без засорений решалась в [3] с помощью теста Колмогорова. Мы покажем, что наш хи-квадрат тест теперь уже в схеме с засорениями является асимптотически качественно робастным при гипотезе. 2. Построение робастной GM-оценки параметра авторегрессии Пусть ϕ(x) и ψ(x) - некоторые à priori выбранные вещественнозначные функции. Определим процесс l n (θ) := n 1/2 ϕ(y t 1 )ψ(y t θy t 1 ). Обощённая М-оценка определяется как n 1/2 -состоятельное решение уравнения l n (θ) = 0. (2) Сформулируем необходимые в дальнейшем условия: (i) Eψ(ε 1 ) = 0. (ii) Функция ψ(x) дважды дифференцируема, причём сама ψ и обе ее производные ограничены. (iii) sup ϕ(x) <. (iv) Eu 0 ϕ(u 0 ) g(x)dψ 0. R Для изучения поведения GM-оценки нам потребуется асимпмтотическое разложение процесса l n (θ) в n 1/2 -окрестности истинного значения параметра β. Это разложение нам даёт следующая Лемма 1 Пусть выполнены условия (i) (iv). Тогда для любых 0 Θ <, 0 Γ <, δ > 0 sup P( sup l n (β + n 1/2 θ) l n (β) + θ 1 γ 2 > δ) 0, n, γ Γ θ Θ где 1 = Eu 0 ϕ(u 0 ) g(x)dψ, 2 = Eϕ(u 0 )Eψ(ε 1 + ξ 1 ) + Eϕ(u 0 + R ξ 0 )ψ(ε 1 βξ 0 ), а l n (β) := n 1/2 n ϕ(u t 1)ψ(ε t ).
3 Лемма 1 и стандартная техника (см., например, [3], гл. 6) совместно с асимптотической гауссовостью l n (β) влекут следующую теорему. Теорема 1 Пусть выполнены условия (i) (iv). Тогда с вероятностью, стремящейся к единице при n, существует последовательность ˆβ n,gm равномерно по γ Γ n 1/2 - состоятельных корней уравнения (2). При этом sup P (n 1/2 ( ˆβ n,gm β) x) Φ ( x γ 1 σ x,γ Γ ) 0, n, где Φ(x) - функция Лапласа, а σ 2 := Eψ 2 (ε 1 )Eϕ 2 (u 0 ). Очевидно, предельное распределеие GM-оценки в схеме без засорений с γ = 0 нормальное N(0, σ 2 / 2 1) с ф.р. F Y (x, 0, µ) := F (x) = Φ ( x 1 ) σ. Введём обозначение: F Y (x, γ, µ) := lim n P(n1/2 ( ˆβ n,gm Y β) x) = Φ ( x γ 1 σ ). Из Теоремы 1 прямо следует асимптотическая качественная робастность обощённых M-оценок. Теорема 2 Пусть выполнены условия (i) (iv). Тогда ˆβ n,gm - асимптотически качественно робастна, то есть sup F Y (x, γ, µ) F (x) 0, γ 0. x,µ 3. Тесты типа хи-квадрат Пирсона В этом разделе мы построим тест типа хи-квадрат Пирсона для проверки гипотезы H 0 : G(x) = G 0 (x), G 0 (x) - известная функция распределения. Тест будет основан на наблюдениях y 0. y n из (1). Пусть ˆβ n - любая оценка, являющаяся равномерно по γ Γ n 1/2 состоятельной оценкой β. Например, годится оценка ˆβ n,gm из Теоремы 1. Пусть ˆε t = y t ˆβy t 1, t = 1. n - остатки, а Ĝ n (x) := n 1 I(ˆε t x), x R. Ĝ n (x) - подобие эмпирической функции распределения G n (x) = n 1 I(ε t x),
4 которая может быть построена лишь гипотетически. Поскольку остатки зависимы между собой, свойства Ĝn(x) нуждаются в изучении. Теорема 3 Пусть sup g (x) <. Пусть (x, µ) = EG(x + βξ 1 ) + EG(x ξ 1 ) 2G(x). Тогда при любых ε > 0 и 0 Γ < sup P( Ĝn(x) G n (x) (x, µ)γ > ε) 0, n. γ Γ Доказательство Теоремы 3 весьма кропотливо и основано на идеях [4]. Разобьём числовую ось на m непересекающихся полуинтервалов 1. m, j = (x j 1, x j ], x 0 =, x m =, и пусть при H 0 p 0 j := P(ε 1 j ) = G 0 (x j ) G 0 (x j 1 ) > 0. Пусть ˆν j есть число отстатков , попавших в j. Очевидно, ˆν j = n[ĝn(x j ) Ĝn(x j 1 )], j = 1. m. (3) Интересующая нас статистика хи-квадрат имеет вид m ˆχ 2 (ˆν j np 0 j n = )2. j=1 Предельное распределение χ 2 n при H 0 можно найти с помощью Теоремы 3, соотношения (3) и стандарного доказательства теоремы Пирсона. А именно, пусть F k (x, λ 2 ) будет функция распределения нецентрального распределения хи-квадрат с k степенями свободы и параметром нецентральности λ 2. Теорема 4 Пусть g 0 (x) = G 0(x) и sup g 0(x) <. Тогда при H 0 np 0 j sup P(ˆχ 2 n x) F m 1 (x, λ 2 (γ, µ)) 0, n, x,γ Γ где λ 2 (γ, µ) = m j=1 δ2 j (µ)/p0 j, а δ j(µ) = (x j, µ) (x j 1, µ). Обозначим χ k (α) квантиль уровня α распределения хи-квадрат с k степенями свободы. Будем отвергать H 0, если ˆχ 2 n > χ m 1 (1 α). Асимптотический уровень значимости такого теста равен ˆα(γ, µ) = 1 F (χ m 1 (1 α), λ 2 (γ, µ)). Разумеется, в схеме без засорений с γ = 0 имееем ˆα(0, µ) = α. Следующая теорема утверждает, что асимптотический уровень значимости ˆα(γ, µ) качественно асимптотически устойчив к выбросам. Теорема 5 sup µ ˆα(γ, µ) α 0, γ 0. Легко убедиться, что наш тест хи-квадрат состоятелен против стандартной (т.е. p 0 j p1 j хоть при одном j) фиксированной альтернативы.
5 4. Заключение Исследование авторегрессионных схем с выбросами (засорениями) в наблюдениях актуальная для приложений задача, она совершенно нетривиальна для теоретического исследования. Приведенные выше результаты пример ее решения, допускающий многочисленные обобщнения. В частности, на многопараметрические линейные и нелинейные авторегрессионные схемы. Мы сделаем это в отдельных публикациях. Литература 1. Martin R. D., Yohai V. J. Influence functionals for time series // Ann. Statist Vol. 14, no. 3. P Esaulov D. M. Residual empirical processes and their application to GM-testing for the autoregression order // Mathematical Methods of Statistics Vol. 22, no. 4. P Boldin M. V., Simonova G. I., Tyurin Y. N. Sign-based Methods in Linear Models. United States : United States, P ISBN: Boldin M. V. On empirical processes in heteroscedastic time series and their use for hypothesis testing and estimation // Mathematical Methods of Statistics Vol. 9, no. 1. P UDC Robust GM-estimators in the autoregression and Pearson s chi-square tests M. V. Boldin, M. N. Petriev Department of Probability Theory, Moscow State University, Leninskie Gory 1, Moscow, , Russia This paper considers the situation where observations of the first-order autoregression contain gross errors (outliers or contaminations), and the distribution of the outliers is unknown and arbitrary. As an alternative to the least-squares estimator, which is not applicable in this situation, the generalized M-estimator for unknown parameter is proposed. The asymptotic qualitative robustness of this estimator in terms of limiting distribution functions equicontinuity is established. On the basis of GM-estimator the Pearson s chi-squared test for hypotheses about the distribution of the innovations is constructed and qualitative robustness of the asymptotic significance level is obtained. Keywords: autoregression, hypotheses testing, GM-estimators, asymptotic qualitative robustness, Pearson s chi-squared tests.
О предельных теоремах А. Д. Соловьева для регенерирующих процессовУДК 59.24 О предельных теоремах А. Д. Соловьева для регенерирующих процессов В. В. Козлов Кафедра теории вероятностей, Московский государственный университет им. М.В.Ломоносова, Ленинские Горы, Москва,