Лекция 10. Закон больших чисел

1. Виды сходимости последовательностей случайных величин

Замечание 1.   В замечании Л1.Р3.З1. при определении вероятности по Мизесу указывался эмпирический факт, состоящий в устойчивости частоты появления события A в исследуемом опыте G при последовательном его повторении. Этот экспериментальный факт может быть обоснован математически с помощью закона больших чисел. Но для этого нам понадобятся некоторые понятия, характеризующие сходимость последовательности СВ.

Определение 1.   Бесконечная последовательность СВ X_n, n = 1,2, ..., определенная на одном пространстве элементарных событий Ω, называется случайной последовательностью (случайным процессом с дискретным временем) и обозначается {X_n}, n = 1,2,... .

Замечание 2.   Если последовательность состоит из детерминированных величин x_n, то говорят, что последовательность сходится к величине x (это обозначается x_n→ x или

lim n→+∞

xn = x ),

если для любого ε > 0 найдется такое N > 0, что |x_n - x| < ε для всех n > N. Попробуем уточнить смысл этого понятия для случайной последовательности. Так как для любого n, вообще говоря, может найтись такое ε > 0, что случайное событие

{ω : |Xn(ω) - X(ω)| ≥ ε} ≠ Ж,

то нельзя говорить о сходимости случайной последовательности X_n к X в выше приведенном смысле. Мы рассмотрим четыре вида сходимости последовательностей СВ. В дальнейшем для краткости записи мы по-прежнему не будем указывать зависимость СВ X_n(ω) от элементарного события ω.

Определение 2.   Пусть F_n(x) и F(x) - функции распределения СВ X_n и X соответственно. Случайная последовательность {X_n}, n = 1,2,..., сходится по распределению к СВ X, если последовательность функций распределения F_n(x) СВ X_n сходится к функции распределения F(x) СВ X в каждой точке непрерывности функции F(x), т.е. F_n(x) → F(x) при n → +∞. Этот вид сходимости будем обозначать

Xn

F →

X.

Пример 1.   Поясним на примере случай, когда F_n(x) схоится к F(x) во всех точках за исключением конечного их числа. Пусть X_n = 1 / n, X = 0, т.е. X_n - детерминированные величины. Для них

Fn(x) =

{

1,   x ≥ 1/n, 0,   x < 1/n,

F(x) =

{

1,   x ≥ 0, 0,   x < 0.

Очевидно, что F_n(x) → F(x) при n → +∞ для всех x ≠ 0. Но F_n(0) = 0 для всех n и F(0) = 1, поэтому последовательность {F_n(0)}, n = 1,2,... не сходится к F(0). Тем не менее

Xn

F →

X.

Определение 3.   Случайная последовательность {X_n}, n = 1,2,..., сходится почти наверное (п.н.) к СВ X, что записывается

Xn

п.н. →

X,

если

P{ω :

lim n→+∞

Xn(ω) = X(ω)} = 1.

Замечание 3.   Очевидно, что если

Xn

п.н. →

X,

то вероятность события, состоящего из таких ω, что последовательность {x_n} реализаций СВ X_n(ω) не сходится к реализации x СВ X(ω), равна нулю:

P{ω :

lim n→+∞

Xn(ω) ≠ X(ω)} = 0.

Таким образом, сходимость почти наверное случайной последовательности понимается по реализациям СВ X_n и X и в этом смысле похожа на сходимость детерминированной последовательности.

Кроме того, легко убедиться в том, что сходимость

Xn

п.н. →

X,

равносильна тому, что для всех ε > 0 имеет место

lim n→+∞

P{

sup m≥n

|Xm - X| ≤ ε } = 1.

Определение 4.   Случайная последовательность {X_n}, n = 1,2,..., сходится по вероятности к СВ X, что записывается как

Xn

P →

X.

если для всех ε > 0 справедливо

lim n→+∞

P{|Xn - X| ≤ ε } = 1 или

lim n→+∞

P{|Xn - X| > ε } = 0.

Замечание 4.   Сходимость п.н. для случайной последовательности влечет за собой и сходимость по вероятности. Действительно,

{|Xn - X| ≥ ε } К {

sup m≥n

|Xm - X| ≤ ε }.

Поэтому по замечанию 3 имеем

lim n→+∞

P{|Xn - X| ≤ ε } ≥

lim n→+∞

P{

sup m≥n

|Xm - X| ≤ ε } = 1.

Но из сходимости по вероятности не следует сходимость п.н.

Замечание 5.   Если

Xn

P →

X,

то можно показать, что

Xn

F →

X.

Обратное утверждение неверно.

Замечание 6.   В биржевом парадоксе мы имели сходимость

Zn

P →

0

(см. замечание Л9.Р3.З2).

Теорема 1.   (неравенство Чебышева) Пусть r-й абсолютный момент СВ X конечен, т.е. M[|X|^r] < +∞. Тогда для всех ε > 0 выполняется неравенство:

Доказательство.   Для простоты доказательства предположим, что у СВ X существует плотность распределения f_X(x). Тогда

M[|X|r]

Δ =

+∞  ∫ -∞

|x|rfX(x) dx ≥

∫ |x|≥ε

|x|rfX(x) dx ≥

≥ εr

∫ |x|≥ε

fX(x) dx

3)f(x)    =

εrP{|X| ≥ ε},

откуда следует доказываемое утверждение.

Замечание 7.   Рассмотрим СВ

Y

Δ =

X - mX,   где mX

Δ =

M[X].

Тогда из неравенства Чебышева следует, что

P{|X - mX| ≥ ε} ≤

M[|X - mX|2]         ε2

Δ =

D[X]   ε2

.

Данное неравенство, позволяющее оценить сверху вероятность отклонения СВ от ее МО на основе информации лишь о ее дисперсии, широко используется в теории оценивания и управления стохастическими системами.

Определение 5.   Случайная последовательность {X_n}, n = 1,2,..., сходится к СВ X в среднем квадратическом, что записывается как

Xn

с.к. →

X,

если M[|X_n-X|²] → 0 при n → +∞.

Замечание 8.   Покажем, что если

Xn

с.к. →

X,

то

Xn

P →

X.

Действительно, рассмотрим СВ

Yn

Δ =

Xn - X.

В силу неравенства Чебышева для этой СВ имеем

P{|Yn| > ε} ≤ P{|Yn| ≥ ε} ≤

M[Yn2]     ε2

Δ =

M[|Xn - X|2]         ε2

.

Поэтому, если

Xn

с.к. →

X,

т.е. M[|X_n-X|²] → 0 при n → +∞, то для любого ε > 0 выполняется P{|Y_n| > ε} → 0 при n → +∞, т.е.

Xn

P →

X.

Отметим, что из сходимости по вероятности не следует сходимость в среднем квадратическом.

Замечание 9.   Связь между различными видами сходимости удобно представить в виде логической схемы (рис.1).

2. Сходимость усредненной суммы случайных величин

Определение 1.   Будем говорить, что случайная последовательность {X_n}, n = 1,2,..., является последовательностью независимых СВ X_n, если при любом n СВ X₁,... , X_n независимы.

Замечание 1.   Рассмотрим усредненную сумму

Yn

Δ =

1 n

n  ∑  k=1

Xk

независимых СВ X_k,

mk

Δ =

M[Xk],   k = 1,n.

Очевидно,

M[Yn] =

1 n

n  ∑  k=1

M[Xk]

Δ =

1 n

n  ∑  k=1

mk,     D[Yn]

4)M[X]     =

1 n2

n  ∑  k=1

D[Xk].

Определение 2.   Будем говорить, что к последовательности {X_n}, n = 1,2,..., независимых СВ применим закон больших чисел, если

|Yn - M[Yn]|

P →

0   при n → +∞.

Теорема 1.   Если для последовательности {X_n}, n = 1,2,..., независимых СВ выполняется условие

lim n→+∞

D[Yn] = 0,

то к этой последовательности применим закон больших чисел.

Доказательство.   Утверждение теоремы равносильно тому, что

lim n→+∞

P{|Yn - M[Yn]| > ε} = 0.

По неравенству Чебышева

P{|Yn - M[Yn]| > ε } ≤ P{|Yn - M[Yn]| ≥ ε} ≤

D[Yn]     ε2

.

Воспользовавшись условием теоремы, получаем, что

|Yn - M[Yn]|

P →

0.

Замечание 2.   Утверждение теоремы верно, если СВ {X_n}, n = 1,2,..., являются лишь некоррелированными, так как свойство 4)M[X] сохраняется и для некоррелированных СВ.

Теорема 2.   (Чебышев) Если у последовательности {X_n}, n = 1,2,..., независимых СВ дисперсии этих СВ равномерно ограничены, т.е. D[X_n] ≤ C для всех n = 1,2,... , то к этой последовательности применим закон больших чисел.

Доказательство.   Так как D[X_n] ≤ C для всех k = 1,2,... , то

D[Yn]

4)M[X]     =

1 n2

n  ∑  k=1

D[Xk] ≤

C n

.

Но C/n → 0 при n → +∞, т.е. условие теоремы 1 выполнено, а значит к последовательности {X_n}, n = 1,2,..., применим закон больших чисел.

Теорема 3.   Если последовательность {X_n}, n = 1,2,..., образуют независимые СВ с одинаковыми распределениями и конечной дисперсией d_X < +∞, то к этой последовательности применим закон больших чисел, причем

Yn

P →

mX,   где mX = mk

Δ =

M[Xk],   k = 1,2,... .

Доказательство.   В данном случае D[X_k] = d_X < +∞ для всех k = 1,2,... Поэтому условие теоремы Чебышева выполнено. Кроме того

M[Xk]

Δ =

mk = mX

для всех n = 1,2,... Поэтому

M[Yn] =

1 n

n  ∑  k=1

mk = mX,

откуда следует, что

|Yn - mX|

P →

0,

а значит, и

Yn

P →

mX.

Определение 3.   Будем говорить, что к последовательности {X_n}, n = 1,2,..., независимых СВ применим усиленный закон больших чисел, если

|Yn - M[Yn]|

п.н. →

0   при n → +∞.

Замечание 3.   Из усиленного закона больших чисел следует просто закон больших чисел, так как по замечанию Л10.Р1.З4 из сходимости почти наверное следует сходимость по вероятности.

Теорема 4.   (Колмогоров) Для последовательности {X_n}, n = 1,2,..., независимых одинаково распределенных СВ, у которых |m_X| конечно, применим усиленный закон больших чисел, т.е.

Yn

п.н. →

mX.

Замечание 4.   В данной теореме в отличие от теоремы 3 не требуется существование дисперсии СВ X_n. Но доказательство этой теоремы значительно сложнее, чем доказательство теоремы 3.

Замечание 5.   Закон больших чисел - это, по сути, свойство случайной последовательности X_n, n = 1,2,..., состоящее в том, что редкие случайные отклонения отдельных независимых СВ X_n от их общего среднего значения m_X при большом n в своей массе взаимно погашаются. Поэтому, хотя сами величины X_n случайны, их среднее значение при достаточно большом n практически уже не случайно и близко к m_X. Таким образом, если МО m_X СВ X_n заранее неизвестно, то согласно теореме 4 его можно вычислить с любой "степенью точности" с помощью среднего арифметического

Yn

Δ =

1 n

n  ∑  k=1

Xk.

Но при этом встает вопрос: в каком смысле понимать точность приближения Y_n ≈ m_X ? Ответ на этот вопрос будет дан в следующей лекции.

Замечание 6.   Рассмотрим бесконечную последовательность независимых испытаний (опытов) с двумя исходами (событиями) A и A, которые называются, соответственно, успехом и неуспехом, причем P(A) = p, P(A)= q = 1-p. Построенная схема испытаний называется схемой Бернулли. Рассмотрим частоту успехов

Wn

Δ =

M  n

,

где M есть случайное число успехов при n испытаниях. В силу замечания Л5.Р1.З1 СВ M имеет биномиальное распределение Bi(n,p).

Теорема 5.   (Бернулли) Частота успехов сходится почти наверное к вероятности события A, т.е.

Wn(A)

п.н. →

P(A)

Δ =

p.

Доказательство.   Так как M имеет биномиальное распределение, то частоту успехов W_n = M/n можно представить в виде усредненной суммы независимых одинаково распределенных СВ X_k, k = 1,n, имеющих распределение Бернулли, со значениями x_k = 0 или x_k = 1. Причем P{X_k = 1} = p, P{X_k = 0} = q. Поэтому

Yn =

M  n

=

1 n

n  ∑  k=1

Xk,   где M[Xk] = p, D[Xk] = pq , k = 1,2,...

Тогда по теореме 4, т.к. выполнено ее условие m_X = p < ∞ , получаем

M  n

п.н. →

p.

Замечание 7.   Теорема Бернулли объясняет смысл свойства устойчивости частоты

Wn

Δ =

M  n

,

которое мы ранее принимали как экспериментальный факт (определение Л1.Р3.О2 вероятности по Мизесу). Таким образом, теорема Бернулли является "переходным мостиком" от теории вероятностей к ее приложениям.

Лекция 11.
Оглавление