Лекция 15. Статистические оценки

1. Точечные оценки

Определение 1.   Пусть выборка

Zn

Δ =

col(X1, ... , Xn)

соответствует функции распределения

F(x,θ)

Δ =

P{X ≤ x},

зависящей от неизвестного параметра θ. Точечной (выборочной) оценкой неизвестного параметра θ называется функция

^ θ(Zn)

случайной выборки Z_n, реализация

^ θ(zn)

которой принимается за приближенное значение θ.

Определение 2.   Оценка

^ θ(Zn)

параметра θ называется несмещенной, если ее МО при любом n равно θ, т.е.

M[	^ θ(Zn)] = θ.

Определение 3.   Оценка

^ θ(Zn)

называется состоятельной, если она сходится по вероятности к θ, т.е.

^ θ(Zn)

P →

θ при n → ∞.

Пример 1.   Оценка

^ MX

неизвестного МО m_X является несмещенной (по свойству

^ 1)MX),

а оценка

^ DX

неизвестной дисперсии d_X - смещенной так как

M[

^ DX] =

n-1   n

dX

(из свойства

^ 3)MX).

По определению Л13.Р3.01 оценка

^ SX

является несмещенной оценкой d_X. Состоятельность оценки

^ MX

Δ =

1  n

n  ∑  k=1

Xk

вытекает из теоремы Чебышева (Л10.Р2.Т2.).

Замечание 1.   Свойствами состоятельности и несмещенности могут обладать сразу несколько оценок неизвестного параметра θ.

Определение 4.   Несмещенная оценка

^ θ

*(Zn)

параметра θ называется эффективной, если

D[

^ θ

*(Zn)] ≤ D[

^ θ

(Zn)]

для всех несмещенных оценок

^ θ(Zn),

т.е. ее дисперсия минимальна по сравнению с дисперсиями других несмещенных оценок при одном и том же объеме n выборки Z_n.

Замечание 2.   Пусть СВ X имеет нормальное распределение N(m_X,σ_X) с неизвестными параметрами

θ1

Δ =

mX ,   θ2

Δ =

σX .

В этом случае выборочное среднее

^ MX

является эффективной оценкой МО.

2. Метод максимального правдоподобия

Замечание 1.   На практике часто удается предсказать вид плотности распределения f_X(x,θ₁, ... , θ_s) непрерывной СВ X с точностью до неизвестных параметров θ₁, ... , θ_s (например θ₁ = m_X, θ₂ = d_X при s = 2), которые требуется оценить по выборке Z_n.

Определение 1.   Рассмотрим выборку Z_n, соответствующую плотности f_X(x,θ₁, ... , θ_s) СВ X. Функцией правдоподобия называется плотность распределения n-мерной СВ Z_n с реализацией

zn

Δ =

col(x1, x2, ... , xn):

L(zn,θ1, ... , θs)

Δ =

fZ

n

(zn,θ1, ... , θs)

Л13.Р1.О1       =

n  ∏  k=1

fX(xk,θ1, ... , θs).

Определение 2.   Оценкой максимального правдоподобия (ММП-оценкой), найденной по методу максимального правдоподобия, называется оценка

^ θ(Zn),

максимизирующая для каждой реализации z_n функцию правдоподобия:

^ θ(Zn) = arg

max   θ

L(zn,θ),   θ

Δ =

col(θ1, ... , θs) .

Замечание 2.   Аналогично определяется ММП-оценка θ при неоднородной выборке

Zn

Δ =

col(X1, ... , Xn),

когда СВ X_k, к = 1,n , по-прежнему независимы, но имеют различные плотности распределения f_Xk(x_k,θ₁, ... , θ_s), зависящие от одного и того же набора неизвестных параметров θ₁, ... , θ_s .

Пример 1.   Рассмотрим модель линейной регрессии. Пусть СВ Y и W связаны уравнением

Y

Δ =

ax + b + W,

где СВ W может быть интерпретирована, например, как погрешность вычисления детерминированной величины y = ax + b. СВ Y является "откликом'' (регрессией) на изменение детерминированной величины x и на СВ W, с этим и связано название этой модели. Пусть СВ W имеет нормальное распределение N(0,σ). Предположим, что в соотношении y = ax + b параметры a и b неизвестны, а при каждом k-ом наблюдении случайной величины Y детерминированная величина x принимает различные значения x_k, k = 1,n . Тогда СВ

Yk

Δ =

axk + b + Wk ,

k = 1,n будет иметь нормальное распределение N(ax_k + b,σ), так как M[Y] = ax_k + b. Будем считать, что наблюдения происходят независимо друг от друга, т.е. СВ W_k являются независимыми для разных k с одним и тем же распределением N(0,σ). В данном случае неоднородную выборку Z_n образуют наблюдения Y₁, ... , Y_n. Требуется по выборке Z_n сделать вывод о неизвестных параметрах a и b. Рассмотрим для апостериорной выборки

zn

Δ =

col(y1, ... , yn)

функцию правдоподобия L(z_n,a,b) с параметрами

θ1

Δ =

a ,   θ2

Δ =

b,

которая в данном случае, согласно Л9.Р2.З4, имеет вид

L(zn,a,b)

Δ =

1 (σ√2π)n

exp{-

1 2σ2

n  ∑  k=1

(yk - axk - b)2},

так как ошибки W_k независимы по предположению. В соответствии с методом максимального правдоподобия необходимо найти максимум функции L(z_n,a,b) по параметрам a и b для каждой апостериорной выборки z_n. Поскольку функция ln(L) монотонно возрастает при L > 0, то при решении задачи можно заменить функцию L(z_n,a,b) на логарифмическую функцию правдоподобия:

~ L(zn,a,b)

Δ =

ln L(zn,a,b) = -

1 2σ2

n  ∑  k=1

(yk - axk - b)2 - n ln(σ√2π),

так как в этом случае новая функция будет иметь максимум по a и b в той же точке, что и L(z_n,a,b). Рассмотрим необходимое условие максимума этой функции:

∂ ∂a

~ L(zn,a,b) =

1 σ2

n  ∑  k=1

xk(yk - axk - b) =

= σ-2(

n  ∑  k=1

xkyk - a

n  ∑  k=1

xk2 - b

n  ∑  k=1

xk) = 0,

∂ ∂b

~ L(zn,a,b) =

1 σ2

n  ∑  k=1

(yk - axk - b) =

= σ-2(

n  ∑  k=1

yk - a

n  ∑  k=1

xk - bn) = 0.

Решая эту систему из двух уравнений с двумя неизвестными a и b для каждой апостериорной выборки z_n, находим оценки параметров:

^ a(zn) =	n  ∑  k=1 xk    n  ∑  k=1 yk - n    n  ∑  k=1 xkyk	,
	(    n  ∑  k=1 xk)2 - n    n  ∑  k=1 xk2

^ b(zn) =

1  n

n  ∑  k=1

yk -

^ a(zn)    n

n  ∑  k=1

xk .

Затем, заменяя в полученных выражениях апостериорную выборку z_n на априорную

Zn

Δ =

col(Y1, ... , Yn),

получаем точечные оценки неизвестных параметров:

^ a(Zn),

^ b(Zn).

Пример 2.   Если, например, СВ Y имеет нормальное распределение N(m_Y,σ_Y) с неизвестным математическим ожиданием

θ

Δ =

mY,

то легко установить, что оценкой максимального правдоподобия параметра m_Y при любых σ_Y является выборочное среднее

^ MY.

Действительно, полагая в примере 1, что x_k = 0, W_k ~ N(0,σ_Y), k = 1,n,

b

Δ =

mY,

получаем

^ b(Zn) =

1  n

n  ∑  k=1

Yk

Δ =

^ MY.

Пример 3.   Описанная модель линейной регрессии может быть полезной, например, в следующей ситуации. Предположим, нефтедобывающие страны желают спрогнозировать изменение средневзвешенной цены на нефть после планируемого изменения (увеличения или уменьшения) мирового уровня добычи нефти. Пусть x_k - ежемесячное изменение мировой добычи нефти, k = 1,n, Y_k - ежемесячное изменение цены на нефть. Очевидно, что между Y_k и x_k имеется некоторая функциональная связь. В первом приближении можно принять ее линейной, т.е. Y_k = ax_k + b + W_k , где W_k - случайная составляющая в цене нефти, отражающая колебание спроса на нефть на мировом рынке. Если по методу максимального правдоподобия, обработав статистику предыдущих лет, вычислить параметры

^ a и

^ b,

то тогда можно спрогнозировать среднюю цену на нефть на текущий месяц

M[Yk] =

^ a xk +

^ b.

Пример 4.   Пусть СВ X имеет равномерное распределение R(m - Δ, m + Δ) с неизвестными параметрами m, Δ. В данном случае

m

Δ =

M[X]

и плотность f(x,m,Δ) = 1 / (2Δ), если m - Δ ≤ x ≤ m + Δ и f(x,m,Δ) = 0 в противном случае. Оценим параметры m и Δ. Тогда функция правдоподобия имеет вид

L(x1, ... , xn,m,Δ) =

n  ∏   i=1

f(xi,m,Δ) = (

1 2Δ

)n ,

если m - Δ ≤ x_i ≤ m + Δ для всех i = 1,n и L(x₁,...,x_n,m,Δ) = 0 в противном случае. Последние неравенства эквивалентны следующим: x_i - Δ ≤ m ≤ x_i + Δ для всех i = 1,n. Таким образом, функция правдоподобия отлична от нуля, если неизвестный параметр m удовлетворяет неравенству

max i=1,n

xi - Δ ≤ m ≤

min i=1,n

xi + Δ.

При этом функция L(x₁,...,x_n,m,Δ) достигает максимума по Δ, когда неизвестный параметр Δ является минимально возможным, не нарушающим полученное неравенство. Поэтому, приравнивая левую и правую части этого неравенства, получаем ММП-оценку Δ:

Δ* =

x(n)-x(1)      2

, где x(n)

Δ =

max i=1,n

xi, x(1)

Δ =

min i=1,n

xi,

Здесь x⁽ⁿ⁾ и x⁽¹⁾ - крайние члены вариационного ряда (Л13.Р1.О3). При найденном значении Δ^* полученное неравенство непротиворечиво только при одном значении неизвестного параметра m, а именно,

m* =

1 2

(x(n)+x(1)).

Как видим, ММП-оценка m^* неизвестного МО m СВ X ~ R(m - Δ, m + Δ) не совпадает с выборочным средним

^ MX =

1  n

n  ∑   i=1

xi.

3. Метод наименьших квадратов

Пример 1.   Рассмотрим линейную регрессионную модель из предыдущего раздела, не предполагая, что ошибки W_k имеют нормальное распределение, и, кроме того, считая, что коэффициенты X_k случайны:

Yk

Δ =

aXk + b + Wk ,

k = 1,n . Пусть M[W_k] = 0, D[W_k] = σ² и неизвестна, СВ W_k, k = 1,n, независимы. Предположим, что СВ X_k и W_k, k = 1,n, независимы, причем X_k имеют одно и то же, но неизвестное распределение F_X(x). По результатам наблюдений (y₁,x₁),...,(y_n,x_n) требуется оценить неизвестные параметры a и b в линейной регрессионной модели. Для неоднородной выборки

zn

Δ =

col(y1, ... , yn, x1, ... , xn)

рассмотрим квадратическую функцию:

Q(zn,a,b) =

1  n

n  ∑  k=1

(yk - axk - b)2 ,

характеризующую среднюю по n квадратическую ошибку предсказания того, что в n наблюдениях СВ Y примет значения y_k, k = 1,n .

Определение 1.   МНК-оценками, полученными по методу наименьших квадратов неизвестных параметров a и b в линейной регрессионной модели

Yk

Δ =

aXk + b + Wk ,

k = 1,n, называются оценки

^ a(Zn) и

^ b(Zn) ,

значения которых минимизируют квадратическую функцию Q(z_n,a,b), построенную по апостериорной выборке z_n.

Замечание 1.   В данном случае видно, что функция Q(z_n,a,b) совпадает по форме с точностью до коэффициентов с логарифмической функцией правдоподобия из примера Л15.Р2.П1:

Q(zn,a,b) = -2σ2

~ L(zn,a,b) -2σ2n ln(σ√2π).

Поэтому минимум функции Q(z_n,a,b) по параметрам a и b достигается при тех же значениях

^ a и

^ b ,

что и в методе максимального правдоподобия (минимизация функции Q(z_n,a,b) по a и b эквивалентна максимизации функции

~ L(zn,a,b))

и определяется соотношениями из примера Л15.Р2.П1.

Замечание 2.   Найденные по методу наименьших квадратов оценки

^ a(zn) и

^ b(zn)

неизвестных параметров a и b имеют место для произвольных случайных ошибок W_k и случайных коэффициентов X_k, тогда как по методу максимального правдоподобия эти же оценки получены в предположении о нормальности W_k и для детерминированных значений x_k, k =1,n. Иными словами, МНК-оценки оказываются более робастными (т.е. менее чувствительными к априорной информации о случайных коэффициентах X_k и ошибках W_k) по сравнению с ММП-оценками.

Пример 2.   Вернемся к примеру Л15.Р2.П3 из предыдущего раздела о прогнозировании изменения мировой цены на нефть. Если подобный анализ проводит некоторая нефтеперерабатывающая компания, то ей, как правило, неизвестны планы нефтедобывающих стран по изменению уровня добычи нефти. Поэтому для этой компании ежемесячное изменение мировой добычи нефти естественно считать СВ X_k. Кроме того, статистические свойства колебания W_k спроса на нефть далеко не всегда бывают известны. Поэтому при выборе параметров

^ a и

^ b

в модели изменения цен на нефть желательно не использовать эту малодоступную, часто противоречивую статистическую информацию. Как отмечено в замечании 2, МНК-оценки

^ a и

^ b

неизвестных параметров удовлетворяют этому требованию, т.е. являются робастными.

Замечание 3.   Исследуем статистические свойства найденных МНК-оценок

^ a(Zn) и

^ b(Zn)

при априорной выборке

Zn

Δ =

col(y1, ... , yn, x1, ... , xn) .

Предполагая существование моментов у СВ Y и X и переходя к пределу в соотношениях для

^ a(Zn) и

^ b(Zn)

при n → ∞, по закону больших чисел (Л10.Р2.Т4) получаем

^ MX

Δ =

1  n

n  ∑  k=1

Xk

п.н. →

mX,

^ MY

Δ =

1  n

n  ∑  k=1

Yk

п.н. →

mY,

1  n

n  ∑  k=1

XkYk

п.н. →

M[XY] ,

1  n

n  ∑  k=1

Xk2

п.н. →

M[X2] .

Поэтому в пределе при n → ∞ получаем

^ a(Zn)

п.н. →

a*

Δ =

M[XY] - mXmY   M[X2] - mX2

,

^ b(Zn)

п.н. →

b*

Δ =

mY - a*mX .

Далее, учитывая, что

kXY

4)kXY   =

M[XY] = mXmY ,   σX2

6)mX   =

M[X2] - mX2 ,   rXY

Δ =

kXY σXσY

,

находим

a* =

σY σX

rXY .

Пример 3.   Пусть числовые характеристики СВ X и Y известны: m_X, σ_X, m_Y, σ_Y, r_XY, но функциональная связь между СВ X и Y неизвестна. Рассмотрим новую СВ

^ Y

Δ =

aX + b ,

где a и b - некоторые заданные параметры. Задача предсказания СВ Y заключается в том, чтобы по наблюдениям (реализациям) x₁, ... , x_n предсказать значения ненаблюдаемой СВ Y на основе зависимости

^ yk

Δ =

axk + b ,

k = 1,n , зная лишь числовые характеристики СВ X и Y. Ясно, что предсказываемые значения

^ yk

будут отличаться от реализаций y_k СВ Y, а точность предсказания определяется параметрами a и b. Зададимся целью выбрать параметры a и b так, чтобы среднеквадратическая ошибка предсказания была минимальна:

(a*,b*) = arg

min  a,b

M[(Y -

^ Y(X,a,b))2] .

Обозначим

Q(a,b)

Δ =

M[(Y -

^ Y(X,a,b))2]

Δ =

M[(Y - aX - b)2] .

Тогда

Замечание 4.   Проанализируем минимальное значение функции Q(a^*,b^*). По определению Q(a^*,b^*) = D[Y - a^*X - b^*] = σ_Y²(1 - r_XY²), так как M[Y - a^*X - b^*] = m_Y - a^*m_X - b^* = 0. Таким образом, имеем 1 - r_XY² = D[Y - a^*X - b^*] / σ_Y², откуда следует, что коэффициент корреляции характеризует относительную (в единицах σ_Y²) величину среднего квадратического отклонения СВ Y от линейной оценки наилучшего приближения

^ Y*

Δ =

a*X + b* ,

т.е. r_XY численно характеризует степень линейной стохастической зависимости между СВ X и Y. Чем ближе |r_XY| к единице, тем теснее будут группироваться выборочные точки (x_k,y_k) около прямой

^ y

Δ =

a*x + b*,

называемой прямой среднеквадратической регрессии СВ Y на СВ X. Из полученного соотношения следует, что для любых СВ X и Y коэффициент корреляции удовлетворяет неравенству |r_XY| ≤ 1 (см. свойство 1)r_XY). При r_XY = ±1 имеем D[Y - aX - b] = 0, т.е. согласно 8)m_X СВ X и Y с вероятностью 1 линейно зависимы: Y = a^*X + b^*.

Пример 4.   Проинтерпретируем полезность найденных параметров в задаче о предсказании на примере прогнозирования изменения мировой цены на нефть (пример 2). Если имеется обширная статистика за предыдущие годы по ценам на нефть и объемам ее добычи, то можно попытаться вычислить статистические характеристики (выборочные моменты) СВ Y_k и X_k. В этом случае будет довольно легко спрогнозировать изменение средней цены на нефть на текущий месяц, не проводя каждый раз громоздкие вычисления, M[Y_k] = a^*M[X_k] + b^*.

Замечание 5.   Оказывается, что общее решение задачи о наилучшем приближении СВ Y по наблюдениям за СВ X тесно связано с понятием условного МО M[Y|X]. Пусть требуется найти оценку

^ Y	* = φ*(X),

обеспечивающую наилучшее (в среднем квадратическом смысле) приближение СВ Y:

4. Интервальные оценки

Замечание 1.   Пусть по выборке

Zn

Δ =

col(X1, ... , Xn)

требуется определить неизвестный параметр θ распределения СВ X. Вместо точечных оценок, рассмотренных ранее, будем использовать интервальные статистические оценки параметра θ. Итак, пусть требуется по случайной выборке Z_n с помощью

^ θ(Zn)

оценить неизвестный параметр θ с точностью y_1-p так, чтобы такая точность гарантировалась с вероятностью 1-p, т.е.

P{|θ -

^ θ(Zn)| ≤ y1-p} = 1 - p ,

где y_1-p - квантиль распределения F_Y(y) СВ

Y

Δ =

|θ -

^ θ(Zn)|.

Определение 1.   Число

β

Δ =

1 - p

называется доверительной вероятностью.

Определение 2.   Интервал

[

^ θ(Zn) - y1-p ,

^ θ(Zn) + y1-p] ,

со случайными концами, накрывающий с вероятностью 1-p неизвестный параметр θ, называется доверительным интервалом или интервальной оценкой параметра θ.

Замечание 2.   Если плотность распределения СВ

Y0

Δ =

^ θ(Zn) - θ

симметрична относительно точки y⁰ = 0, то в силу замечания Л4.Р6.З2 имеем y⁰_p/2 = -y⁰_1-p/2 и P{|Y⁰| ≤ y⁰_1-p/2} = 1 - p, т.е. в данном случае y_1-p = y⁰_1-p/2, так как

Y

Δ =

|Y0|.

Замечание 3.   Построение доверительных интервалов основано на теореме, сформулированной ниже. Но перед ее формулировкой напомним следующее понятие из линейной алгебры.

Определение 3.   Матрица C размерности n x n с элементами c_ij, i = 1,n, j = 1,n, называется ортогональной, если C^TC = I, где I - единичная матрица размерности n x n, а C^T - транспонированная матрица с элементами c_ij^T = c_ij, i = 1,n, j = 1,n.

Замечание 4.   Рассмотрим ортогональную матрицу C специального вида, у которой первая строка состоит из элементов c_1i = 1/√n, i = 1,n, а остальные строки - произвольно допустимые. Такая матрица всегда существует. Рассмотрим свойства введенной матрицы.

С в о й с т в а   м а т р и ц ы   C

1)  

n  ∑   j=1

ckjcij = 0

для всех k ≠ i, так как C^TC = I и у единичной матрицы все элементы, кроме диагональных, равны нулю.

2)  

n  ∑   j=1

ckj2 = 1

для всех k = 1,n, так как C^TC = I и диагональные элементы матрицы I равны единице.

3)   Если y = Cx, где y = col(y₁, ... , y_n) и x = col(x₁, ... , x_n), то

n  ∑  k=1

yk2 =

n  ∑  k=1

xk2.

Действительно,

n  ∑  k=1

yk2 = yTy = (Cx)TCx = xTCTCx = xTx =

n  ∑  k=1

xk2.

4)  

n  ∑   j=1

cij = 0

для всех i = 2,n. Из свойства 1)C для первой строки (k = 1) при i > 1 имеем

n  ∑   j=1

cij

Зам.4    =

√n

n  ∑   j=1

c1jcij = 0.

Теорема 1 (Фишера).   Пусть

Zn

Δ =

col(X1, ... , Xn)

- случайная выборка, соответствующая СВ X ~ N(m_X,σ_X), а

^ MX и

^ DX

- выборочные среднее и дисперсия, определенные согласно Л13.Р3.О2. Тогда

1. СВ

   * MX

   Δ =

   (

   ^ MX - m)√n / σX

   имеет распределение N(0,1);
2. СВ

   * DX

   Δ =

   ^ DX / σX2

   имеет распределение X²(n-1);
3.  

   o MX

   Δ =

   (

   ^ MX - m)

   √

   n - 1   ^  DX

   имеет распределение S(n-1);
4. СВ

   ^ MX и

   ^ DX

   независимы.

1. Докажем вначале первое утверждение. Согласно замечанию Л9.Р2.З2 сумма нормальных СВ является нормальной, т.е.

   ^ MX =

   1 n

   n  ∑   i=1

   Xi

   является нормальной СВ. Кроме того, из свойства

   ^ 1)MX

   вытекает M[X] = m_X. Далее, т.к. СВ X_i, i = 1,n, независимы и одинаково распределены, то в силу свойства 4)M[X] имеем

   D[	^ MX] = σX2 / n.

   Таким образом,

   (	^ MX - mX)√n / σX ~ N(0,1).

2. Докажем теперь второе утверждение. С этой целью введем новые случайные величины Y₁,...,Y_n:

   Y =

   1  σX

   CZn,

   где

   Y

   Δ =

   col(Y1, ... , Yn), Zn

   Δ =

   col(X1, ... , Xn),

   C - ортогональная матрица, построенная в замечании 4, т.е. удовлетворяющая свойствам 1)C - 4)C. Тогда имеем

   Yk =

   n  ∑   j=1

   ckj σX

   Xj,   Y1 =

   n  ∑   j=1

   c1j σX

   Xj =

   1 σX√n

   n  ∑   j=1

   Xj

   Л13.Р3.О2       =

   √n σX

   ^ MX.

   Найдем моменты новых СВ:

   M[Y1]

   ^ 1)MX   =

   √n σX

   mX,

   M[Yk] = M[

   n  ∑   j=1

   ckj σX

   Xj] =

   mX σX

   n  ∑   j=1

   ckj

   4)C   =

   0, k = 2,n,

   D[Yk]

   4)M[X]     =

   n  ∑   j=1

   ckj2 σX2

   D[Xj] =

   n  ∑   j=1

   ckj2

   2)C  =

   1, k = 1,n.

   Пусть k ≠ i, k = 2,n, i = 2,n. Тогда с учетом независимости СВ X_j, j = 1,n, и их одинаковой распределенности имеем

   σX2KYkYi = σX2M[YkYi] = M[

   n  ∑   j=1

   ckjXj

   n  ∑   l=1

   cilXl] =

   =

   n  ∑   j≠l

   ckjcilM[Yj]M[Yl] +

   n  ∑   j=1

   ckjcijM[Yj2] =

   = mX2

   n  ∑   j=1

   ckj

   n  ∑   j=1

   cil - mX2

   n  ∑   j=1

   ckjcij + M[X2]

   n  ∑   j=1

   ckjcij = 0,

   т.к. каждая из этих сумм равна нулю в силу свойств 1)C, 4)C. Аналогично устанавливается, что K_Y1Yi = K_YkY1 = 0 для всех i = 1,n, k = 1,n. Таким образом, мы установили, что все СВ Y_k, k = 1,n, некоррелированы, но они имеют нормальное распределение, т.к. образованы суммой нормальных СВ X_j, j = 1,n. Поэтому, согласно замечанию Л9.Р2.З4, СВ Y_k, k = 1,n, независимы. Причем, Y_k ~ N(0,1), k = 2,n. Рассмотрим выборочную дисперсию

   ^ DX,

   определенную согласно Л13.Р3.О2. Тогда

   ^ nDX σX2

   =

   1 σX2

   n  ∑   j=1

   (Xj -

   ^ MX

   )2 =

   1 σX2

   n  ∑   j=1

   (Xj2 - 2Xj

   ^ MX +

   ^ MX2) =

   =

   1 σX2

   (

   n  ∑   j=1

   Xj2 - 2n

   ^ MX2 + n

   ^ MX2) =

   1 σX2

   n  ∑   j=1

   Xj2 -

   n σX2

   ^ MX2

   3)C  =

   =

   n  ∑   k=1

   Yk2 - Y12 =

   n  ∑   k=2

   Yk2,

   где Y_k ~ N(0,1), k = 2,n. Таким образом, мы доказали, что, согласно определению Л14.Р1.О1

   * DX

   Δ =

   ^ DX / σX2 ~ X2(n-1).

   Учитывая теперь, что

   ^ DX =

   σX2   n

   n  ∑   j=1

   Yk2 ,

   ^ MX =

   σX √n

   Y1,

   и независимость СВ Y₁, Y₂, ... , Y_n, приходим к выводу, что независимы также и СВ

   ^ DX,

   ^ MX,

   т.е. верно последнее утверждение теоремы.
3. Наконец, докажем третье утверждение. Рассмотрим СВ

   Y1

   Δ =

   Y1 -

   √n σX

   mX =

   √n σX

   (

   ^ MX - mX),

   которая имеет распределение N(0,1), т.к. установлено выше, что M[Y₁] = √nm_X / σ_X, D[Y₁] = 1,

   M[	^ MX] = mX

   и СВ Y₁ имеет нормальное распределение. Очевидно также, что СВ

   Y1 и

   ^ DX

   независимы. Рассмотрим СВ T, имеющую распределение Стьюдента S(n-1). Согласно определению Л14.Р2.О1, используя полученные представления для

   ^ DX и

   ^ MX,

   находим

   T

   Δ =

   Y1

   √

   n - 1       Y22+...+Yn2

   = (

   ^ MX - mX)

   √n σX

   √

   (n - 1) σX2          ^     nDX

   Δ =

   o MX .

   Таким образом,

   o MX ~ S(n - 1).

Пример 1.   Для нормальной выборки Z_n требуется построить доверительный интервал для неизвестного МО m_X при известной дисперсии σ_X². Из теоремы 1 следует, что СВ

^ MX

имеет нормальное распределение N(m_X,σ_X / √n), симметричное относительно точки m_X. Поэтому исходя из замечания 2 и полагая

o Y =

^ MX - mX,

получаем доверительный интервал

^ MX(Zn) -

σX √n

uα ≤ mX ≤

^ MX(Zn) +

σX √n

uα .

который с вероятностью 1-p накрывает неизвестное m_X. Здесь u_α - квантиль уровня

α

Δ =

1 - p / 2

стандартного нормального распределения N(0,1). В данном случае длина доверительного интервала равна 2y_α = 2u_ασ_X / √n и неслучайна. Поэтому, задавшись значениями любых двух из трех величин y_α ,

p

Δ =

2(1 - α),

n, можно определить значение третьей величины.

Пример 2.   Используя замечание 2 и теорему 1 можно построить доверительный интервал для неизвестного m_X СВ X, имеющей нормальное распределение N(m_X,σ_X) и в случае, когда величина σ_X неизвестна:

^ MX(Zn) -

√

^           DX(Zn)    n-1

tα(n-1) ≤ mX ≤

^ MX(Zn) +

√

^           DX(Zn)    n-1

tα(n-1) ,

где t_α(n-1) - квантиль уровня

α

Δ =

1 - p / 2

распределения Стьюдента S(n-1) с n-1 степенью свободы.

Замечание 5.   В отличие от предыдущего случая длина доверительного интервала случайна и зависит от СВ

^ DX .

Но при n > 30 интервалы из примеров 1 и 2 практически совпадают, так как при n > 30 распределение Стьюдента близко к стандартному нормальному распределению (Л14.Р3.32.). При n ≤ 30 доверительный интервал из примера 1 (σ_X известно) может быть существенно уже, так как в этом случае учитывается информация о σ_X.

Пример 3.   Доверительный интервал для неизвестного параметра σ_X СВ X ~ N(m_X,σ_X) также можно получить, используя теорему 1,

n χα(n-1)

^ DX(Zn) ≤ σX2 ≤

n χ1-α(n-1)

^ DX(Zn) ,

где χ_α(n-1) и χ_1-α(n-1) - квантили уровней α и 1-α для распределения хи-квадрат с n-1 степенью свободы.

Лекция 16.
Оглавление