Лекция 11. Центральная предельная теорема

1. Сходимость нормированной суммы независимых СВ

Замечание 1.   Рассмотрим, как и в предыдущей лекции, сумму независимых СВ X_k, k = 1,n, но не усредненную по n:

Yn

Δ =

1 n

n  ∑  k=1

Xk,

а нормированную:

Zn

Δ =

1 sn

(

n  ∑  k=1

Xk - M[

n  ∑  k=1

Xk ]) =

1 sn

n  ∑  k=1

(Xk - mk),

где

sn2

Δ =

D[

n  ∑  k=1

Xk]

3)M[X]    =

n  ∑  k=1

D[Xk] =

n  ∑  k=1

σk2,

т.к. σk2

Δ =

D[Xk],  mk

Δ =

M[Xk].

Таким образом, Z_n является нормированной СВ, т.е. M[Z_n] = 0, D[Z_n] = 1. Изучим поведение последовательности СВ Z_n при n → +∞.

Определение 1.   Будем говорить, что к последовательности {X_n}, n = 1,2,..., независимых СВ применима центральная предельная теорема, если последовательность СВ Z_n сходится по распределению к СВ U, имеющей стандартное нормальное распределение U ~ N(0,1), т.е.

Zn

F →

U.

Замечание 2.   Напомним, что закон больших чисел - это по сути некоторое свойство последовательности независимых СВ X_n (Л10.Р2.З5), которое выполняется при определенных условиях. Аналогичную интерпретацию имеет и центральная предельная теорема. Название "центральная предельная теорема", на наш взгляд не очень точное, так как по смыслу - это свойство, а не теорема. Но так как в литературе это понятие закрепилось, то и мы будем его придерживаться. Фундаментальная роль центральной предельной теоремы теории вероятностей состоит в том, что при весьма общих предположениях сумма большого числа независимых (относительно малых) СВ удовлетворительно описывается нормальным законом. Этим фактом и объясняется очень широкое распространение нормального закона на практике.

Определение 2.   Будем говорить, что последовательность {X_n}, n = 1,2,..., независимых СВ удовлетворяет условию Ляпунова, если

l i m n→+∞

1 sn3

n  ∑  k=1

M[|Xk-mk|3] = 0.

Замечание 3.   Поясним смысл условия Ляпунова. Рассмотрим для произвольного δ > 0 случайные события

Ak

Δ =

{|Xk-mk| / sn ≥ δ},   k = 1,n.

Тогда получаем:

P{

1 sn

m a x  1≤k≤n

|Xk - mk| ≥ δ} = P(

n  ∑  k=1

Ak)

7)P  ≤

n  ∑  k=1

P(Ak)

Δ =

Δ =

n  ∑  k=1

P{|Xk - mk| ≥ δsn} ≤

|

Л10.Р1.Т1 ε = snδ, r = 3

|

≤

1 δ3sn3

n  ∑  k=1

M|Xk - mk|3.

По условию Ляпунова последнее выражение стремится к нулю при n → +∞. Таким образом, все слагаемые в нормированной сумме Z_n равномерно малы в том смысле, что вероятность хотя бы одного из них превзойти величину δ > 0 стремится к нулю при возрастании числа слагаемых.

Теорема 1 (Ляпунова).   Если последовательность {X_n}, n = 1,2,..., независимых СВ удовлетворяет условию Ляпунова и СВ X_n, ее образующие, имеют конечные МО и дисперсии, т.е. m_n ≤ ∞, σ_n² ≤ ∞, то к {X_n} применима центральная предельная теорема.

Доказательство.   Рассмотрим для простоты случай одинаково распределенных СВ X_n, n = 1,2,... . Тогда

sn2 = nσ2,   Zn =

1 √n

n  ∑  k=1

* Xk

, где σ2

Δ =

D[Xk],

* Xk

Δ =

(Xk - m)     σ

.

Найдем характеристическую функцию g_k(t) CB

* Xk / √n, учитывая, что M[(

* Xk)2] = 1, M[

* Xk] = 0.

Имеем:

gk(t)

Δ =

M[exp{

* it Xk   √n

}] =

||

по формуле Тейлора

||

=

= M[1+

* it Xk   √n

+

* (it Xk)2     2n

+ o(

* (it Xk)2     √n

)] = 1 - t2/(2n) + o(t2/n) ,

где o(t²/n) - такая функция, что o(t²/n)n → 0 при n → +∞. Тогда

gZ

n

(t)

Δ   =

M[exp(itZn)] = M[exp{it

n  ∑  k=1

* Xk √n

}] = M[

n  ∏   k=1

exp{

* it Xk   √n

}] =

=

|

* СВ Xk независимы

|

=

n  ∏   k=1

M[exp{

* it Xk   √n

}] =

n  ∏   k=1

gk(t).

Подставляя выражение для g_k(t), получаем

gZ

n

(t) =

n  ∏   k=1

gk(t) = [1 - t2 / 2n + o(t2 / n)]n,

ln gZ

n

(t) = n ln[1 - t2 / 2n + o(t2 / n)] = ||ln(1 + α)=α + o(α) || =

2. Сходимость частоты

Замечание 1.   Рассмотрим частоту успехов

Wn(A)

Δ =

M  n

в серии из n последовательных независимых испытаний в схеме Бернулли. При доказательстве теоремы Бернулли (Л10.Р2.Т5) показано, что частоту успехов можно представить в виде суммы

Wn(A)

Δ =

M  n

=

1 n

n  ∑  k=1

Xk, где M[Xn] = p, D[Xn] = pq.

Тогда

M[Wn(A)] =

1 n

n  ∑  k=1

M[Xk] = p,   D[Wn(A)] =

1 n2

n  ∑  k=1

D[Xk] =

pq  n

.

Рассмотрим нормированную частоту успешных испытаний

* Wn

Δ =

Wn-M[Wn]   √D[Wn]

= (Wn - p)

√

n   pq

=

||

Wn(A)

Δ =

M  n

||

=

M-np √npq

.

Теорема 1 (Муавра-Лапласа).   Последовательность

* {Wn}, n = 1,2,...,

нормированных частот успехов сходится по распределению к нормальной СВ U ~ N(0,1), а к последовательности независимых испытаний в схеме Бернулли применима центральная предельная теорема.

Доказательство.   Проверим условие Ляпунова. Так как СВ X_k, k = 1,2,..., независимы и имеют один и тот же ряд распределения: x₀ = 1, x₁ = 0, P{X_k = 1} = p, P{X_k = 0} = q, то в данном случае

sn2

Δ =

n  ∑  k=1

D[Xk] = n2D[Wn] = npq,

и, кроме того, в силу замечания 1

Замечание 2.   В соответствии с теоремой Муавра - Лапласа

* Wn

F →

U,

т.е. при больших n можно считать, что

* Wn≈ U.

Но в силу замечания 1 имеем

* Wn= (Wn - p)√n/pq

откуда следует, что

Wn = √pq/n

* Wn+ p.

Таким образом, при больших n в первом приближении можно принять, что частота W_n является нормально распределенной СВ W_n ≈ √pq/nU + p с параметрами M[W_n] ≈ p, D[W_n] ≈ pq/n, т.е. W_n ~ N(p,pq/n)

Замечание 3.   Представим теперь частоту W_n в виде

Wn

Δ =

M / n,

где M - число успехов. В соответствии с замечанием 2,

Wn

Δ =

M  n

≈

√

pq  n

U + p и M ≈ √pqnU + np,

т.е. можно приближенно считать СВ M ~ N(np,√npq). Согласно замечанию Л5.Р1.З1. СВ M имеет биномиальное распределение, вероятностные характеристики которого сложно вычислять при больших n. Вероятность P{M ≤ m} может быть легко оценена согласно теореме Муавра - Лапласа следующей величиной:

FM(m)

Δ =

P{M ≤ m} ≈ Φ(

m-np √npq

),

где Φ(x) - функция Лапласа.

Замечание 4.   Если n велико, а p мало, то в схеме Бернулли можно получить другую приближенную оценку для P{M ≤ m}. Согласно теореме Пуассона (Л5.Р3.T1) при условии np ≡ a > 0 биномиальное распределение сходится при n → +∞ к распределению Пуассона, т.е.

P{M = m} = Cnmpmqn-m →

am m!

e-a

и, следовательно, (см. замечание Л5.Р3.З6)

FM(m)

Δ =

P{M ≤ m} ≈

n  ∑  k=0

ak k!

e-a.

Лекция 12.
Оглавление