Случайные величины

Случайная величина

Пусть $(\Omega, \AAA, \prob)$ — вероятностное пространство.

Случайной величиной $\xi$ называется отображение

\xi \colon \Omega \to \RR

Это отображение должно быть измеримо относительно сигма-алгебры $\AAA$ и борелевской сигма-алгебры $\BBB$ на $\RR$ . Требование измеримости нужно, чтобы можно было говорить о вероятностях $\prob (\xi \in B)$ для борелевских множеств $B \in \BBB$ .

Случайная величина ставит в соответствие каждому исходу $\omega \in \Omega$ действительное число $\omega \mapsto \xi(\omega)$ . Случайная величина как бы оцифровывает результаты случайного эксперимента.

Например, для броска кубика множество элементарных исходов

\Omega = \{ \text{выпала грань}~ 1, \text{выпала грань}~ 2, \text{выпала грань}~ 3, \text{выпала грань}~ 4, \text{выпала грань}~ 5, \text{выпала грань}~ 6\}

можно определить случайную величину $\xi$ , равную числу, выпавшему на грани:

\align{ \xi \colon && \Omega & \to \RR \\ && \text{выпала грань}~ 1 & \mapsto 1 \\ && \text{выпала грань}~ 2 & \mapsto 2 \\ && \text{выпала грань}~ 3 & \mapsto 3 \\ && \text{выпала грань}~ 4 & \mapsto 4 \\ && \text{выпала грань}~ 5 & \mapsto 5 \\ && \text{выпала грань}~ 6 & \mapsto 6 \\ }

Также ничто не мешает нам определить случайную величину, равную квадрату выпавшего числа.

Случайная величина — это именно функция, а не переменная в обычном смысле. Её случайность заключается в том, что мы не знаем, какой именно исход $\omega$ реализуется, а значит не знаем и значения $\xi(\omega)$ .

Случайные величины удобно классифицировать по виду их распределения на дискретные и непрерывные.

У дискретных случайных величин распределение сосредоточено на конечном или счётном множестве точек, поэтому дискретная случайная величина имеет конечное или счётное число значений. Например, число, выпавшее при броске кубика; количество орлов, которые выпали при $n$ бросках монеты; число посетителей магазина за день; количество сравнений при сортировке вставками; индикаторная величина.

У непрерывных случайных величин распределение абсолютно непрерывно относительно меры Лебега. Вероятность принять любое конкретное значение всегда равна нулю, ведь точка в несчётном множестве имеет меру $0$ . Поэтому при работе с непрерывными случайными величинами имеют смысл только вероятности попадания в интервалы. Например, рост человека; время ожидания следующего автобуса; температура воздуха; скорость полёта молекулы газа.

Распределения

Распределение случайной величины описывает, как вероятность реализации каких-то значений этой случайной величины размазана по числовой прямой. Распределение позволяет нам мерить вероятности $\prob (\xi \in B)$ для любого борелевского множества $B$ .

Распределение случайной величины

Пусть задано вероятностное пространство $(\Omega, \AAA, \prob)$ и случайная величина $\xi \colon \Omega \to \RR$ , измеримая относительно сигма-алгебры $\AAA$ и борелевской сигма-алгебры $\BBB$ , заданной на $\RR$ .

Распределение случайной величины $\xi$ — вероятностная мера $\mu$ на измеримом пространстве $(\RR, \BBB)$ , заданная формулой

\mu (B) = \prob \bigl( \xi^{-1} [B] \bigr) \quad\text{для любого}~ B \in \BBB

здесь $\xi^{-1} [B]$ — прообраз борелевского множества $B$ , и $\xi^{-1} [B] \in \AAA$ .

Эта формула меры $\mu$ переносит вероятностную меру $\prob$ с пространства элементарных исходов $\Omega$ на числовую прямую $\RR$ . Распределение полностью определяет вероятностные свойства случайной величины.

Хотя распределение как вероятностная мера полностью описывает случайную величину, работать с ним напрямую, то есть вычислять $\mu(B)$ для произвольных борелевских множеств, часто сложно на практике.

К счастью, распределение можно задавать более удобными способами. Для этого используются функции распределения, функции вероятности (для дискретных величин) и плотности (для непрерывных величин). Эти объекты несут ту же информацию, что и сама мера $\mu$ , но гораздо удобнее для вычислений и анализа.

Функции распределения

Функция распределения

Пусть $\xi$ — случайная величина, и $\mu$ — её распределение.

Функцией распределения случайной величины $\xi$ называется функция

F(x) = \mu \bigl( (-\oo, x] \bigr) = \prob (\xi \le x)

Функция распределения $F(x)$ задаёт вероятность того, что значение случайной величины будет не больше $x$ .

Имея функцию распределения, вы можете вычислить меру любого борелевского множества $B$ , а значит и вероятность того, что $\prob (\xi \in B)$ .

Далеко не каждая функция может быть функцией распределения какой-то случайной величины. Чтобы функция $F(x)$ была функцией распределения случайной величины $\xi$ , необходимо и достаточно, чтобы

$F(x)$ непрерывна справа, то есть $\lim\limits_{x \to x_0+0} F(x) = F(x_0)$ для всех $x_0$ .
$F(x)$ не убывает на всей числовой прямой, то есть $F(x) \ge F(y)$ при $x \ge y$ .
$\lim\limits_{x \to +\oo} F(x) = 1$ и $\lim\limits_{x \to -\oo} F(x) = 0$ — вероятности достоверного и невозможного события.

Можно определять функцию распределения по-другому, потребовав от $F(x)$ непрерывности слева. Тогда $F(x) = \mu \bigl( (-\oo, x) \bigr) = \prob (\xi < x)$ . Такой вид функции распределения позволяет удобно и явно описывать множества из борелевской сигма-алгебры $\BBB$ , что иногда пригождается.

Однако, это обозначение плохо согласуется с дискретными величинами, поскольку в точках скачка вероятность считается по-другому, и сама точка скачка не учитывается. Поэтому альтернативное определение используется редко. Я буду использовать стандартное определение с непрерывностью справа, и, если использую альтернативное определение, заранее оговаривать это.

Разберём простой пример применения функций распределения для дискретных случайных величин.

Пусть $\xi$ — дискретная случайная величина, принимающая значение $k$ с вероятностью $p_k$ для $k \in \NN$ . Как выглядит функция распределения $F(x)$ этой случайной величины?

F(x) = \prob (\xi \le x) = \sum\limits_{k \;\! \le \;\! x} \prob (\xi = k) = \sum\limits_{k=1}^{\lfloor x \rfloor} p_k

Теперь пример функции распределения непрерывных случайных величин. Сделаем равномерно распределённую на отрезке $[0, 2]$ случайную величину $\eta$ . Равномерная распределённость означает, что мера везде одинаковая. Функция распределения такой случайной величины равна

\prob (\eta \le x) = \cases{0 & \if x \le 0 \\ x/2 & \if 0 < x < 2 \\ 1 & \if x \ge 2}

Функции вероятности

Распределение дискретных случайных величин можно задать функцией или таблицей вероятностей $p_k = \prob (\xi = k)$ — вероятность того, что дискретная случайная величина $\xi$ принимает заданное значение $k$ .

Если $\im \xi = X$ — множество всех значений, которые принимает случайная величина $\xi$ , то функция вероятности — это функция $p \colon X \to [0, 1]$ , при которой $k \mapsto p_k$ .

По функции вероятность можно легко находить функцию распределения:

F(x) = \prob (\xi \le x) = \sum\limits_{\substack{k \;\! \in \;\! X \\ k \;\! \le \;\! x}} p_k

Функции плотности вероятности

Плотность распределения — это аналог функции вероятности для непрерывного случая. Если для дискретной случайной величины мы суммируем вероятности отдельных значений, то для непрерывной случайной величины мы должны интегрировать плотность.

Функция плотности вероятности

Функция распределения $F(x)$ непрерывной случайной величины $\xi$ может быть представлена в виде интеграла некоторой неотрицательной функции $f(x)$ :

F(x) = \prob (\xi \le x) = \int\limits_{-\oo}^x f(t) \, dt

Функция $f(x)$ называется функцией плотности вероятности для случайной величины $\xi$ ,

Плотность позволяет вычислять вероятности попадания в интервалы:

\prob (a < \xi \le b) = F(b) - F(a) = \int\limits\limits_a^b f(x)\,dx

Для непрерывной величины безразлично, включать концы интервала или нет, поскольку вероятность отдельной точки равна нулю: $\prob (\xi = x_0) = \int\limits_{x_0}^{x_0} f(t) \, dt = 0$ . Это еще следует из того, что мера отдельной точки равна $0$ .

Точно также, как и для функции распределения, случайную величину можно задать, задав функцию плотности вероятности. Для того, чтобы функция $f(x)$ была функцией плотности вероятности случайной величины $\xi$ , необходим и достаточно, чтобы

$f(x)$ неотрицательна, то есть $f(x) \ge 0$ для всех $x \in \RR$ .
Интеграл плотности по всей прямой равен $1$ , поскольку $F(+\oo) = \prob (-\oo < \xi < +\oo) = \int\limits_{-\oo}^\oo f(x) \, dx = 1$ .

Если плотность $f(x)$ непрерывна в точке $x$ , то функция распределения дифференцируема в этой точке, и $F'(x) = p(x)$ . То есть плотность — это производная функции распределения.

Рассмотрим пример равномерного распределения на отрезке $[a, b]$ , которое я уже упоминал. Его плотность постоянна на этом отрезке:

f(x) = \cases{ 1/(b-a) & \if a \le x \le b \\ 0 & \otherwise}

Нетрудно проверить, что интеграл от этой функции действительно равен $1$ , а соответствующая функция распределения на отрезке $[a, b]$ имеет вид $F(x) = (x-a)/(b-a)$ .

Плотность распределения имеет важную вероятностную интерпретацию: для малого интервала $[x, x+\Delta x]$ справедливо приближённое равенство

\prob (x \le \xi \le x + \Delta x) \approx f(x) \cdot \Delta x

Таким образом, $f(x)$ характеризует концентрацию» вероятности в окрестности точки $x$ .

Характеристические функции

Характеристическая функция распределения

Характеристическая функция $\varphi(t)$ случайной величины $\xi$ — функция

\varphi(t) \defeq \expect ( e^{i \xi t} ) = \sum\limits_{k=0}^n \frac{i^k \, \expect (\xi^k)}{k!} \cdot t^k

Можно переписать определение характеристической функции в терминах вероятностной меры $\prob$ и плотности $f(x)$

\varphi(t) = \int\limits_{-\oo}^\oo e^{itx} \cdot \prob(dx) = \int\limits_{-\oo}^\oo e^{itx} \, f(x) \, dx

Характеристическая функция однозначно определяет распределение. Если $\varphi(x)$ и $\psi(x)$ — характеристические функции случайных величин $\xi$ и $\eta$ , и $\varphi(x) = \psi(x)$ , то вероятностные меры этих случайных величин