Лекция №8

Лекция 8. Условные распределения

1. Условная функция распределения

Замечание 1. Рассмотрим задачу, обратную по отношению к той, которая решается в соответствии со свойствами 6)f(x,y) и 4)F(x,y): как найти закон распределения двумерной СВ

Z Δ
= col(X,Y),

зная закон распределения двух одномерных СВ X и Y. Оказывается, что в общем случае эту задачу решить нельзя, так как необходимо знание зависимости между СВ X и Y, которая характеризуется условным распределением.

Определение 1. Пусть СВ Y является дискретной с реализациями y_j, j = 0,m. Условной функцией распределения СВ X при условии, что СВ Y = y_j, называется условная вероятность

F_x( x | y_j ) Δ
= P{X ≤ x, Y = y_j}
P{Y = y_j} , j = 0,m , x О R¹ ,

которая определена согласно Л2.Р2.О4, если P{Y = y_j} ≠ 0.

Определение 2. Пусть для всех x О R¹ плотности f(x,y) и f_Y(y) непрерывны в точке y О R¹ и f_Y(y) ≠ 0. Условной функцией распределения СВ X при условии, что СВ Y = y, называется предел при Δy >0 следующей условной вероятности:

F_x( x | y ) Δ
= lim ^Δy→0 P{X ≤ x, |Y - y| ≤ Δy}
P{|Y - y| ≤ Δy} .

Замечание 2. Аналогично определяется условная функция распределения F_Y( y | x ) СВ Y при условии, что СВ X = x.

Замечание 3. Убедимся в корректности определения 2. Пусть СВ

Z Δ
= col(X,Y),

непрерывна, причем плотности f(x,y), f_Y(y) непрерывны в точке y для всех x О R¹ и f_Y(y) ≠ 0. Покажем, что в этом случае предел в определении 2 существует и он равен

F_X( x | y) = 1
f_Y(y) x
∫
-∞ f(x,y) dx .

Рассмотрим вероятность

P(D) Δ
= P{ X ≤ x, |Y - y| ≤ Δy}

попадания СВ Z в полуполосу D (см. рис.1):

P(D) 16)P
= P{|Y - y| ≤ Δy}•P{X ≤ x|y - Δy ≤ Y ≤ y + Δy}.

Рисунок 1.

Тогда, из свойств 2)f(x,y), 3)f_X(x) вытекает, что

P{X ≤ x|y - Δy ≤ Y ≤ y + Δy} =

P{X ≤ x , |Y - y| ≤ Δy}

P{|Y - y| ≤ Δy}

=	_x ∫ ( ^-∞	_y+Δy ∫ ^y-Δy	f(x,y) dy) dx	=

		y+Δy ∫ ^y-Δy	f_Y(y) dy

по теореме
о среднем
значении

≈
f_x(y)

x
∫
-∞

f(x,

_~y

) dx ,

где

_~y

_≈y

- некоторые точки из интервала (y,y+Δy).

Учитывая непрерывность f(x,y) и f(y) и переходя к пределу при Δy → 0, имеем

_~y

→ y ,

_≈y

→ y, P{X ≤ x|y - Δy ≤ Y ≤ y + Δy} → F_x(x|y).

Отсюда следует требуемая формула, которая определяет условную функцию распределения через плотности распределения двумерной СВ и одномерной СВ.

С в о й с т в а F( x | y ) :

1) F_x( x | y ) определена для всех x О R¹. Это следует из определения F_x( x | y ) и замечания 3.

2) F_x( x | y ) О [0,1] для всех x О R¹. Условная вероятность принимает значения из интервала [0,1], а значит и ее предел при Δy → 0 также лежит в данном интервале.

3) F_x(-∞|y) = 0 по определению 2 и замечанию 3.

4) F_x(+∞|y) = 1, так как например из определения 2 вытекает

F_x(+∞|y)

_Зам.3 =
_+∞
∫
-∞
f(x,y) dx

_6)f(x,y) =

f_Y(y)
f_Y(y)

= 1 .

f_Y(y)

5) F(x|y) - функция монотонно неубывающая по x О R¹ для любого фиксированного y. Например, в случае определения 2 имеем

F_X(x + Δx|y) =
_x+Δx
∫
^-∞
f(x,y) dx

≥
_x
∫
^-∞
f(x,y) dx

_Зам.3 =

F_X(x|y) .

f_Y(y) f_Y(y)

Замечание 4. Аналогичные свойства имеет условная функция распределения F_Y(y|x) СВ Y при условии, что СВ X = x.

2. Условная плотность распределения

Определение 1. Условной плотностью распределения (вероятности) непрерывной СВ X при условии, что непрерывная СВ Y с плотностью f_Y(y) ≠ 0 приняла значение y, называется функция

f( x | y) = f(x, y)
f_Y(y) , x О R¹ .

Замечание 1. Аналогично определяется условная плотность вероятности f(y|x) СВ Y при условии, что СВ X = x.

Замечание 2. Для построения двумерной плотности распределения в общем случае требуется знание не только плотностей распределения одномерных СВ, но еще и условных плотностей, например, f(x, y) = f_Y(y)f_X(x|y).

С в о й с т в а f ( x | y ) :

1) f_x(x|y) ≥ 0, так как плотности f(x,y) ≥ 0, f_Y(y) ≥ 0.

2) F_x(x|y) Δ
= x
∫
-∞ f_X(x|y) dx,

если плотности f(x,y), f_Y(y) непрерывны. В этом можно убедиться, сравнивая выражения для условной плотности и условного распределения (см. замечание Л8.Р1.З3).

3) +∞
∫
-∞ f_x(x|y) dx = 1 по свойствам 2)f(x|y), 4)F(x|y).

4)

f_X(x | y) = ∂F_X(x|y)
∂x ,
если плотности f(x,y), f_Y(y) непрерывны. Действительно, по замечанию Л8.Р1.З3 имеем

f_x( x | y) Δ
= ∂F_x( x | y)
∂x = 1
f_Y(y) ∂
∂x x
∫
-∞ f(x,y) dx = f(x,y)
f_Y(y) .

5) Если непрерывные СВ X и Y независимы, то f_X(x|y) = f_X(x). Согласно свойству 8)f(x,y) для независимых СВ X и Y имеем равенство f(x,y) = f_X(x)f_Y(y), из которого следует по определению условной плотности, что f_X(x|y) = f_X(x).

6)

P{x₁ ≤ X ≤ x₂} = ∞
∫
-∞ f_Y(y) ( x₂
∫
x₁ f_X(x|y) dx ) dy.
Действительно, по свойствам 3)f(x), 6)f(x,y) и определению условной плотности имеем

P{x₁ ≤ X ≤ x₂} = x₂
∫
x₁ f_X(x) dx = x₂
∫
x₁ ( ∞
∫
-∞ f(x,y) dy ) dx =

= x₂
∫
x₁ ( ∞
∫
-∞ f_Y(y)f_X(x|y) dy ) dx = ∞
∫
-∞ f_Y(y) ( x₂
∫
x₁ f_X(x|y) dx ) dy.

Замечание 3. Мы видим, что последнее свойство имеет аналогию с формулой полной вероятности в случае дискретных СВ X и Y (см. Л3.Р3.Т1):

P{x₁ ≤ X ≤ x₂} = m
∑
j=0 P{Y = y_j}P{x₁ ≤ X ≤ x₂|Y = y_j}.

Замечание 4. Аналогичные свойства имеет условная плотность распределения f_Y(y|x) СВ Y при условии, что СВ X = x.

Пример 1. Пусть f(x,y) = e^-x-y , x, y ≥ 0. Такая плотность может описывать, например, опыт, состоящий в фиксации времени появления первого покупателя в магазине в первый и второй дни недели (после соответствующей нормировки СВ). Требуется найти:

F(x,y) ;
F_X(x) , F_Y(y) ;
f_X(x) , f_Y(y) ;
F_X(x|y) , F_Y(y|x) ;
f_X(x|y) , f_Y(y|x) ;
Ответить на вопрос: зависимы ли СВ X и Y ?

Получим решение.
1.

F(x,y) =

y
∫
0

x
∫
0

f(x,y) dx dy =

y
∫
0

e^-y dy

x
∫
0

e^-x dx = (1 - e^-x)(1 - e^-y) ;

F_X(x)

_4)F(x,y) =

F(x,+∞) = 1 - e^-x , F_Y(y) = 1 - e^-y ;

f_X(x) =

dF_X(x)

= e^-x , f_Y(y) =

dF_Y(y)

= e^-y ;

F_X(x|y)

_3)F(x,y) =

f_Y(y)

x
∫
0

f(x,y) dx = e^y

x
∫
0

e^-xe^-y dx = 1 - e^-x.

Аналогично можно получить F_Y(y|x) = 1 - e^-y ;
5.

f_X(x|y) =

∂

∂x

F_X(x|y) = e^-x , f_Y(y|x) = e^-y ;

6. Так как f_X(x|y) = f_x(x) = e^-x и f_Y(y|x) = f_Y(y) = e^-y , то f(x,y) = f_X(x)f_Y(y). Поэтому СВ X и Y независимы. Это означает, что появление первого покупателя во второй день не зависит от того, когда пришел первый покупатель в первый день.

3. Условное математическое ожидание

Определение 1. Условным математическим ожиданием непрерывной СВ X при условии, что непрерывная СВ Y приняла значение y, называется в случае абсолютной сходимости интеграла, функция y:

M[X|y] Δ
= +∞
∫
-∞ xf_X(x|y) dx .

Замечание 1. В случае дискретных СВ X и Y условное МО СВ X при условии, что Y = y_j, j = 0,m, определяется формулой

M[X|y_j] Δ
= n
∑
i=0 x_i p_ij
p_j , j = 0,m,
где

p_ij Δ
= P{X = x_i, Y = y_j} , p_j Δ
= P{Y = y_j}.

Определение 2. Условное математическое ожидание M[X|y] СВ X как функция параметра y О R¹ называется регрессией X на y. График функции x = M[X|y] называется кривой регрессии X на y.

Замечание 2. Аналогично определяется условное МО СВ

Z Δ
= φ(x)

при условии, что Y = y. Например, для непрерывных X и Y:

M[φ(x)|y] Δ
= +∞
∫
-∞ φ(x)f_X(x|y) dx .

Определение 3. Условным математическим ожиданием СВ X относительно СВ Y называется СВ

Z Δ
= φ(Y) Δ
= M[X|Y].

Замечание 3. Аналогично можно определить и другие, более высокого порядка, условные моменты СВ.

С в о й с т в а M[X | y] :

1) M[φ(Y)|y] = φ(y), где φ(y) -- некоторая функция.

3) M[X + φ(Y)|y] = M[X|y] + φ(y). Это свойство доказывается аналогично свойству 2)M[X|y].

4) M[X|y] = M[X], если X и Y -- независимы. Пусть, например, СВ X и Y -- непрерывны, тогда

M[X|y] Δ
= +∞
∫
-∞ xf_X(x|y) dx 5)f(x|y)
= +∞
∫
-∞ xf(x) dx Δ
= M[X].

5) M[X] = M[M[X|Y]], т.е. справедлива формула полного математического ожидания. Пусть СВ X и Y непрерывны, тогда

M[X] Δ
= +∞
∫
-∞ xf_X(x) dx 6)f(x,y)
= +∞
∫
-∞ x( +∞
∫
-∞ f(x,y) dy) dx Л8.Р2.З2
=

= +∞
∫
-∞ x( +∞
∫
-∞ f_Y(y)f_X(x|y) dy) dx = +∞
∫
-∞ f_Y(y)( +∞
∫
-∞ xf_X(x|y) dx) dy =

= +∞
∫
-∞ f_Y(y)M[X|y] dy = M[M[X|Y]].

Замечание 4. В случае дискретной СВ Y при конечном m формула полного МО приобретает следующий вид

M[X] = m
∑
j=0 p_jM[X|y_j], где p_j Δ
= P{Y = y_j}, j = 0,m.

Пример 1. Число N радиотехнических приборов (или бытовой техники), сдаваемых покупателями в гарантийную мастерскую в течении дня, является СВ, хорошо описываемой распределением Пуассона Π(a) с параметром a, который является средним числом радиоприборов, сданных за день. Вероятность того, что сданные приборы потребуют длительного ремонта, равна p. Найдем среднее число сданных приборов, требующих длительного ремонта. Так как при фиксированном числе n поступивших приборов число приборов, требующих капитального ремонта, представляет собой СВ X с биномиальным распределением Bi(n,p), то M[X|n] = np, n = 0,1,2,...(см. Л5.Р1.З2). Так как СВ X имеет распределение Пуассона Π(a), то M[N] = a (см. Л5.Р3.З2). Тогда по формуле полного МО:

M[X] = M[M[X|N]] = M[pN] = pM[N] = pa.

4. Корреляционная зависимость

Определение 1. Ковариацией (корреляционным моментом) k_XY непрерывных СВ X и Y называется второй центральный смешанный момент

k_XY Δ
= M[(X - m_X)(Y - m_Y)] = +∞
∫
-∞ +∞
∫
-∞ (x - m_X)(y - m_Y)f(x,y) dx dy .

Замечание 1. Корреляционный момент k_XY дискретных СВ X и Y с конечными числами возможных значений равен:

k_XY Δ
= _n
∑
ⁱ⁼⁰ _n
∑
^j=0 (x_i- m_X)(y_j- m_Y)p_ij.

Замечание 2. Величина k_XY зависит от единиц измерения СВ X и Y. Во избежание этого неудобства ковариацию часто вычисляют не для X и Y , а для соответствующих им нормированных СВ

_*X Δ
=
X-m_X
σ_x
, _*Y Δ
=
Y-m_Y
σ_Y
.

Определение 2. Ковариация нормированных СВ

_*X и _*Y

называется коэффициентом корреляции, т.е.

r_XY Δ
= k * *
XY Δ
= M[ _* *XY ] 2)m_x
=
M[(X - m_X)(Y - m_Y)]
σ_Xσ_Y Δ
=
k_XY
σ_Xσ_Y .

Определение 3. СВ X и Y называют коррелированными, если r_XY ≠ 0 (k_XY ≠ 0) и некоррелированными, если r_XY = 0 (k_XY = 0).

Определение 4. Корреляция между СВ X и Y называется положительной, если r_XY > 0 и отрицательной, если r_XY < 0.

Пример 1. Пусть случайный вектор

Z Δ
= col(X,Y),

равномерно распределен в круге радиуса R:

f(x,y) = { 1 / (πR²)
0 ,
, x² + y² ≤ R²,
x² + y² > R².

Требуется найти k_XY и r_XY. Из симметрии плотности вероятности следует m_X = m_Y = 0. Действительно, из свойства 6)f(x,y) находим f_X(x) = 0, если |x| > R, а в случае |x| ≤ R получаем

f_X(x) = +∞
∫
-∞ f(x,y) dy = 1
πR² _____
√ R²-x²
∫
_____
-√ R²-x² dy = 2
πR² _____
√ R²-x².

Исходя из этого,

m_X = 2
πR² R
∫
-R x _____
√ R²-x²
dx = - 2
3πR² (R² - x²)^3/2 | R

-R = 0.
Аналогично можно показать, что f_Y(y) = 0, если |y| > R, и

f_Y(y) = 2
πR² √ _____

R²-y²
если |y| ≤ R, поэтому m_Y = 0. Таким образом, имеем

k_XY = +∞
∫
-∞ +∞
∫
-∞ xyf(x,y) dx dy = 1
πR² _R
∫
^-R x ( _____
√ R²-x²
∫
_____
-√ R²-x² y dy ) dx = 0 ,
т.е. k_XY = r_XY = 0. Следовательно, СВ X и Y некоррелированы. При этом СВ X и Y зависимы, т.к. плотность f(x,y) нельзя представить в данном случае в виде произведения f(x,y) = f_X(x)f_Y(y).

С в о й с т в а k_XY :

1) |r_XY| ≤ 0 , т.е. |k_XY| ≤ σ_xσ_Y. Это свойство доказано ниже для более общего случая (см. свойство 5)M[X] в лекции 9).

2) Если

Y Δ
= aX + b, где a и b - постоянные, то |r_XY| = 1. Действительно,

m_Y Δ
= M[Y] = M[aX + b] = aM[X] + b = am_X + b ,

D[Y] Δ
= M[(Y - m_Y)²] = a²d_X, σ_Y = ___
√d_Y = |a| ___
√d_X = σ_X,

k_XY Δ
= M[(X - m_X)(Y - m_Y)] = M[a(X - m_x)²] Δ
= aD[X] = aσ_X² ,

r_XY Δ
= k_XY
σ_Xσ_Y = aσ_X²
σ_X²|a| = a
|a| , т.е. |r_XY| = 1 .

Следовательно, если a > 0, то r_XY = 1 и, если a < 0, то r_XY = -1. Таким образом, по величине r_XY можно судить о связи между СВ X и Y: если r_XY = 1, то большим значениям x СВ X соответствуют большие значения y СВ Y, а если r_XY = -1, то наоборот.

3) Из независимости СВ X и Y следует их некоррелированность:

k_XY Δ
= M[(X - m_X)(Y - m_Y)] _8)f(x,y) =

= +∞
∫
-∞ (x - m_X)f_X(x) dx +∞
∫
-∞ (y - m_Y)f_Y(y) dy Δ
= M[ _oX ]M[ _oY ] = 0 .

4) k_XY = M[XY] - m_Xm_Y , т.к.

k_XY Δ
= M[(X - m_X)(Y - m_Y)] = M[XY] + m_Xm_Y - 2m_Xm_Y = M[XY] - m_Xm_Y .

5. Двумерное нормальное распределение

Определение 1. Плотность двумерной нормально распределенной СВ Z при

__________
√c₁₁c₂₂ - c₁₂² > 0

определяется формулой

f(x,y) = __________
√c₁₁c₂₂ - c₁₂²
2π
exp{-
1
2
[c₁₁(x - a)² + 2c₁₂(x - a)(y - b) + c₂₂(y - b)²]}.

Замечание 1. В соответствии со свойством 6)f(x,y) можно найти

f_X(x) =
√ __________
c₁₁c₂₂ - c₁₂²
2πc₂₂
exp{-
1
2
c₁₁c₂₂ - c₁₂²
c₂₂
(x - a)²}.

Сравнивая эту формулу с определением Л6.Р3.О1, заключаем, что СВ X имеет нормальное распределение N(m_X,σ_X) с параметрами

m_X = a, D[X] Δ
=
(σ_X)² = c₂₂
c₁₁c₂₂ - c₁₂² .

Из соображения симметрии можно получить плотность СВ Y:

f_Y(y) =
√ __________
c₁₁c₂₂ - c₁₂²
2πc₂₂
exp{-
1
2
c₁₁c₂₂ - c₁₂²
c₁₁
(y - b)²},

т.е. Y ~ N(m_Y,σ_Y), где

m_Y = b, D[Y] Δ
=
(σ_Y)² = c₁₁
c₁₁c₂₂ - c₁₂² .

Замечание 2. Следуя определению коэффициента корреляции, можно установить, что

r_XY Δ
=
1
σ_Xσ_Y +∞
∫
-∞ +∞
∫
-∞ (x - m_X)(y - m_Y)f(x,y) dx dy = - c₁₂
c₁₂c₂₂ - c₁₂² .

Замечание 3. Найдем условную плотность

f_X(x|y) Δ
=
f(x,y)
f_Y(y)
=
√ ___
c₁₁
2π
exp{-
1
2
c₁₁[x - a +
c₁₂
c₁₁
(y - b)]²}.

Сравнивая эту формулу с определением Л6.Р3.О1, приходим к выводу, что f_X(x|y) является нормальной плотностью, причем

M[X|y] = a -
c₁₂
c₁₁
(y - b), D[X|y] =
1
c₂₂
.

Используя выражения, полученные в замечаниях 1 и 2 для σ_X, σ_Y , r_XY, условное МО M[X|y] можно представить в виде соотношения

M[X|y] = M[X] -
r_XY
σ_Xσ_Y
(y - M[Y]),

которое называется теоремой о нормальной корреляции.

Замечание 4. Пусть СВ X и Y независимы. Тогда

f(x,y) 8)f(x,y)
=
f_X(x)f_Y(y) =
1
√2πσ_X
exp{-
(x - m_X)²
2
}
1
√2πσ_Y
exp{-
(y - m_Y)²
2
}.

Замечание 5. Пусть теперь СВ X и Y некоррелированы, т.е. r_XY = c₁₂ = 0. Тогда из замечания 1 следует, что (σ_X)² = 1 / c₁₁, (σ_Y)² = 1 / c₂₂. Поэтому, согласно замечанию 3, f_X(x|y) = f_X(x), откуда вытекает, что f(x,y) = f_X(x)f_Y(y). Таким образом, в случае нормального распределения из некоррелированности СВ X и Y следует их независимость. При этом M[X|y] = M[X].

Пример 1. Двумерное нормальное распределение хорошо описывает, например, скорость ветра в районе аэропорта, прогнозируемые координаты падения метеорита на поверхность Земли и тому подобное.

F_x(+∞\|y)	_Зам.3 =	_+∞ ∫ -∞	f(x,y) dx	_6)f(x,y) =	f_Y(y) f_Y(y)	= 1 .

			f_Y(y)

F_X(x + Δx\|y) =	_x+Δx ∫ ^-∞	f(x,y) dx	≥	_x ∫ ^-∞	f(x,y) dx	_Зам.3 =	F_X(x\|y) .

		f_Y(y)			f_Y(y)

Лекция 8. Условные распределения

1. Условная функция распределения

С в о й с т в а F( x | y ) :

2. Условная плотность распределения

С в о й с т в а f ( x | y ) :

3. Условное математическое ожидание

С в о й с т в а M[X | y] :

4. Корреляционная зависимость

С в о й с т в а kXY :

5. Двумерное нормальное распределение

Лекция 9. Оглавление

С в о й с т в а k_XY :

Лекция 9.
Оглавление