Пусть $\xi \colon \Omega \to \RR$ — дискретная случайная величина, у которой могут быть значения $a_1, a_2, \dotsc, a_i \dotsc$.

Математическим ожиданием случайной величины $\xi$ называется значение

Неформально, математическое ожидание — это среднее взвешенное по всем значениям случайной величины.

Аналогично, для непрерывной случайной величины $\xi$ с плотностью $f(x)$ математическое ожидание

Важно понимать, что математическое ожидание может не существовать. Такое происходит, если ряд (в дискретном случае) или интеграл (в непрерывном случае) не сходятся абсолютно.

Классический пример — распределение Коши. Его плотность равна $f(x) = 1 / (\pi + \pi x^2)$, но интеграл $\int\limits |x| \cdot f(x) \, dx$ расходится. Это означает, что у распределения Коши не существует среднего значения.

Математическое ожидание константы равно самой этой константе.

Математическое ожидание линейно

Для двух независимых случайных величин $\xi$ и $\eta$ математическое ожидание произведения равно произведению математических ожиданий

При этом обратное неверно: из равенства $\expect (\xi \cdot \eta) = \expect \xi \cdot \expect \eta$ не следует независимость случайных величин $\xi$ и $\eta$.

Если одна случайная величина почти наверняка не меньше другой, то и её математическое ожидание будет не меньше.

Из этого следует, что математическое ожидание неотрицательной величины неотрицательно: если $\xi \ge 0$, то $\expect \xi \ge 0$.

Для дискретного случая

Условное математическое ожидание случайной величины $\xi$, принимающей значения $a_1, a_2, \dotsc$ — среднее значение этой величины при условии выполнения какого-то события. Для события $A$ условное математическое ожидание

Чаще всего в качестве события выступает равенство какой-то другой случайной величины $\eta$ какому-то наперёд заданному значению $x$. В этом случае математическое ожидание обозначается

Дисперсия случайной величины $\xi$ — величина, измеряющая разброс значений это величины вокруг её математического ожидания. Формально определяется как средний квадрат отклонения от математического ожидания:

Если раскрыть скобки, можно получить чуть более приятную формулу $\var \xi = \expect \xi^2 - (\expect \xi)^2$.

Среднеквадратичное отклонение — корень из дисперсии

Среднеквадратичное отклонение тоже измеряет разброс значений случайной величины относительно её матожидания. Удобство среднеквадратичного отклонения в том, что оно имеет те же единицы измерения, что и сама случайная величина.

На письме часто обозначается $\sigma$, и $\var \xi = \sigma^2$.

Пусть у нас есть выборка $x_1, x_2, \dotsc, x_n$, состоящая из наблюдений случайной величины $\xi$. Мы ходим оценить математическое ожидание $\expect \xi$. Естественно применить для этого оценку $\bar x = (x_1 + x_2 + \dotsb + x_n)/n$.

Точность, с которой эта оценка $\bar x$ оценивает $\expect \xi$ называется стандартной (среднеквадратичной) ошибкой среднего

Получить эту формулу можно, вычислив среднеквадратичное отклонение новой случайной величины $\bar \xi = (\xi_1 + \xi_2 + \dotsb + \xi_n)/n$, где $\xi_1, \xi_2, \dotsc, \xi_n$ — попарно независимые, одинаково распределённые случайные величины с распределением как у $\xi$.

Дисперсия всегда неотрицательна $\var \xi \ge 0$. При этом нулю она равна тогда и только тогда, когда случайная величина $\xi$ принимает почти всюду одинаковые значения.

Дисперсия константы равна $0$:

Константа выносится из дисперсии в квадрате

Для двух независимых случайных величин $\xi$ и $\eta$ дисперсия суммы равна сумме дисперсий

При этом обратное неверно: из равенства $\var (\xi + \eta) = \var \xi + \var \eta$ не следует независимость величин $\xi$ и $\eta$.

Общая формула для суммы любых двух случайных величин $\xi$ и $\eta$

Ковариация показывает, как изменяются величины вместе: положительная ковариация означает, что при увеличении одной величины другая имеет тенденцию тоже увеличиваться, а отрицательная ковариация указывает на обратную связь. При этом чем больше ковариация, тем более ярко выражена эта зависимость.

Ковариация зависит от масштаба. Для того, чтобы сравнивать силу зависимости между величинами, нужно эту меру отнормировать. Нормированной версией ковариации является корреляция

Корреляция всегда лежит в диапазоне от $-1$ до $1$.

Симметричность

При этом ковариация величины с самой собой — дисперсия

В силу линейности математического ожидания

Ковариация линейна по каждому из аргументов.

Запишу это свойство в широко применяемой форме. Пусть $\xi_1, \xi_2, \dotsc, \xi_n$ — случайные величины. Рассмотрим две их линейные комбинации $\sum\limits_{i=1}^n a_i \cdot \xi_i$ и $\sum\limits_{j=1}^n b_j \cdot \xi_j$:

Ковариацию можно принять за скалярное произведение, и тогда мы получим гильбертово пространстве центрированных случайных величин. В этом пространстве выполняется неравенство Коши – Буняковского, и мы можем записать

Матрица ковариаций $\Sigma$ содержит полную информацию о линейных зависимостях между компонентами вектора $\xi$.

Матрица ковариаций симметрична.

Матрица ковариаций неотрицательна определена. То есть матрица ковариаций имеет неотрицательный определитель, все её собственные значения неотрицательны и все главные миноры неотрицательны.

Этим же методом доказывается, что если у случайного вектора $\xi$ матрица ковариаций $\Sigma$ вырождена, то есть если $|\Sigma| = 0$, то компоненты этого случайного вектора $\xi$ почти наверняка линейно зависимые. В другую сторону тоже работает.

Матрица ковариаций умеет действовать как тензор на два вектора $u, v \in \RR^n$. В результате получается величина

Подействовав матрицей ковариаций на два одинаковых вектора $u \in \RR^n$, мы получим дисперсию проекции $\xi$ на направление $u$:

А также подействовав матрицей ковариаций на пару векторов $(u, v)$, где $u, v \in \RR^n$, мы получим ковариацию проекций случайного вектора $\xi$ на эти направления

Если векторы совпадают с координатными осями, например $u = e_i$, $v = e_j$, то мы получаем исходные компоненты матрицы: $\Sigma(e_i, e_j) = \Sigma_{i, \- j} = \cov(\xi_i, \xi_j)$.

Аналогично матрице ковариаций, для случайного вектора $\xi = (\xi_1, \xi_2, \dotsc, \xi_n)^\T$ определяется матрица корреляций $\varrho$ — матрица, составленная из попарных корреляций компонентов вектора $\xi$

Распределения случайных величин могут быть не только разной ширины (что характеризуется дисперсией), но и иметь разную форму. Одной из важных характеристик формы распределения является асимметрия — мера скошенности распределения относительно его центра.

Симметричные распределения (например, нормальное распределение) имеют нулевую асимметрию. Если распределение имеет длинный хвост справа, говорят о положительной асимметрии, если слева — об отрицательной.

Если коэффициент асимметрии положителен, то есть если $\skew \xi > 0$, то это значит, что распределение имеет длинный правый хвост, и что большинство значений сосредоточено слева от среднего. Так же для многих (но не всех) унимодальных распределений

Если коэффициент асимметрии отрицателен, то есть если $\skew \xi < 0$, то это значит, что распределение имеет длинный левый хвост, и что большинство значений сосредоточено справа от среднего. Так же для многих (но не всех) унимодальных распределений

Значения коэффициента асимметрии можно интерпретировать следующим образом

Несколько примеров разных категорий асимметричности, чтобы развить интуицию.

Рост взрослых людей имеет коэффициент асимметрии $\gamma \approx 0.2$. Температура воздуха в умеренном климате $\gamma \approx 0.3$. Это почти симметричные распределения.

Цены на квартиры в типичном городе имеют коэффициент асимметрии $\gamma \approx 0.7$, так как дорогих квартир не много. Оценки на сложном экзамене будут иметь коэффициент асимметрии $\gamma \approx -0.6$, ведь плохих оценок будет сильно больше, чем хороших.

Убытки от катастроф имеют коэффициент асимметрии $\gamma \approx 3.0$, так как большинство катастроф наносят ущерб в миллионы долларов, но редкие события (типа Фукусимы или урагана Катрина) — убытки в десятки миллиардов долларов.

Коэффициент асимметрии инвариантен относительно линейных преобразований

Симметричные распределения имеют нулевой коэффициент асимметрии. То есть если $f(x)$ — плотность распределения случайной величины $\xi$, и $\mu$ — математическое ожидание $\xi$, то

Для двух независимых случайных величин $\xi$ и $\eta$ асимметрия суммы равна сумме асимметрий с поправкой на коэффициент

При этом обратное неверно из этого равенства не следует независимость величин $\xi$ и $\eta$.

А в общем случае асимметрия суммы случайных величин выражается через косимметрию

Если ковариация измеряет совместную изменчивость (связь вторых моментов) двух случайных величин, то для измерения совместной симметрии (связи третьих моментов) используется косимметрия.

Косимметрия показывает тенденцию совместного проявления асимметрии трёх случайных величин. Если три случайные величины демонстрируют положительную косимметрию, то они будут иметь тенденцию одновременно испытывать крайние отклонения, нечётное число которых будет в положительном направлении (то есть все три случайные величины будут испытывать крайние положительные отклонения, или одна из них будет испытывать крайние положительные отклонения, а две другие — крайние отрицательные). Аналогично, если три случайные величины демонстрируют отрицательную косимметрию, то они будут иметь тенденцию одновременно испытывать крайние отклонения, чётное число которых будет в положительном направлении (то есть все три случайные величины будут испытывать крайние отрицательные отклонения, или одна из них будет испытывать крайние отрицательные отклонения, а две другие — крайние положительные отклонения).

Косимметрия зависит от масштаба. Для того, чтобы сравнивать силу совместной изменчивости трёх величин, нужно косимметрию отнормировать. В результате получается коэффициент косимметрии

Коэффициент косимметрии, в отличие от корреляции, может по модулю превышать $1$.

Косимметрия попарно независимых величин равна $0$, аналогично свойству для ковариации

Косимметрия симметрична

При этом косимметрия трех одинаковых величин равна третьему центральному моменту, который выражается через коэффициент асимметрии

В силу линейности математического ожидания

Косимметрия линейна по каждому из аргументов.

Запишу это свойство в широко применяемой форме. Пусть $\xi_1, \xi_2, \dotsc, \xi_n$ — случайные величины. Рассмотрим три их линейные комбинации $\sum\limits_{i=1}^n a_i \cdot \xi_i$, $\sum\limits_{j=1}^n b_j \cdot \xi_j$ и $\sum\limits_{k=1}^n c_k \cdot \xi_k$:

Также полезным инструментом является парная косимметрия, которая выражает зависимость разброса одной величины от отклонения другой. Эта величина $\coskew (\xi, \xi, \eta)$. Она, понятное дело, несимметрична.

Если $\coskew (\xi, \xi, \eta) > 0$, то когда $\eta$ сильно отклоняется от своего среднего, $\xi$ тоже имеет тенденцию сильно отклоняться — то есть разброс $\xi$ увеличивается при больших $|\eta - \expect \eta|$. Если $\coskew (\xi, \xi, \eta) < 0$, то наоборот, большие отклонения $\eta$ связаны с малым разбросом $\xi$.

Аналогично матрице ковариаций, которая позволяет анализировать совместную зависимость компонентов случайного вектора $\xi = (\xi_1, \xi_2, \dotsc, \xi_n)^\T$, для совместной симметричности можно ввести аналогичное понятие — тензор косимметрий.

Тензор косимметрий симметричен по всем трём индексам.

Подействовав тензором косимметрий на три вектора $u, v, w \in \RR^n$, мы получим величину $\CCC (u, v, w) \defeq \sum\limits_{1 \;\! \le \;\! i, j, k \le n} \CCC_{i, \- j, \- k} \, u_i \, v_j \, w_k$.

Подействовав тензором косимметрий на три одинаковых вектора $u \in \RR^n$, мы получим коэффициент асимметрии проекции $\xi$ на направление $u$:

А также подействовав тензором косимметрий на тройку векторов $(u, u, v)$, где $u, v \in \RR^n$, мы получим тождество для дисперсии квадрата

В общем случае, действуя тензором косимметрий на три произвольных вектора $u, v, w \in \RR^n$, мы получаем косимметрию проекций случайного вектора $\xi$ на эти направления:

Если векторы совпадают с координатными осями, например $u = e_i$, $v = e_j$, $w = e_k$, то мы получаем исходные компоненты тензора: $\CCC(e_i, e_j, e_k) = \CCC_{i, \- j, \- k} = \coskew ( \xi_i, \xi_j, \xi_k )$.

Помимо асимметрии, распределения случайных величин различаются по островершинности. Эта характеристика показывает, насколько сильно значения сосредоточены вокруг среднего по сравнению с тяжестью хвостов распределения.

Эксцесс — мера остроты пика распределения и тяжести его хвостов. Распределения с высоким эксцессом имеют более острый пик и более тяжелые хвосты, а распределения с низким эксцессом — более плоскую вершину и легкие хвосты.

Нормальное распределение имеет эксцесс $\kurt \xi = 0$, что обеспечивалось слагаемым $-3$ в определении эксцесса.

Значения коэффициента эксцесса можно интерпретировать следующим образом

$|\vepsilon| < 0.5$ — распределение близко к нормальному по форме пика и хвостов. Большинство значений ведут себя примерно как в нормальном распределении. Вероятность экстремальных событий соответствует ожиданиям для нормального распределения. Стандартные статистические методы, основанные на предположении о нормальности, работают удовлетворительно.

$0.5 < \vepsilon < 2$ — умеренно тяжелые хвосты. Распределение более островершинное, экстремальные значения встречаются чаще, чем в нормальном распределении. Стандартные статистические методы начинают давать сбои, особенно в оценках рисков и доверительных интервалах.

$\vepsilon > 2$ — очень тяжелые хвосты. Распределение имеет очень острый пик и очень тяжелые хвосты. Высокая вероятность экстремальных событий. Стандартные статистические методы неприменимы — они будут недооценивать риски.

$\vepsilon < -0.5$ — легкие хвосты. Распределение более плоское, экстремальные значения встречаются реже, чем в нормальном распределении. Данные необычно стабильны, «сюрпризы» маловероятны. Стандартные методы могут быть избыточно консервативными в оценках рисков.

Несколько примеров разных категорий эксцесса, чтобы развить интуицию.

Доходы хедж-фондов часто имеют эксцесс $\vepsilon \approx 3-5$, что указывает на высокую вероятность крупных выигрышей и потерь. Убытки от кибератак для крупной компании имеют эксцесс $\vepsilon \approx 4$. Большинство инцидентов — это мелкие утечки данных или кратковременные сбои, стоимость которых невелика. Однако редкая успешная масштабная атака приводит к колоссальным убыткам в сотни миллионов, формируя тяжёлый хвост.

Результаты бега на 100 метров среди школьников на уроке физкультуры имеют эксцесс $\vepsilon \approx -1$. Есть «потолок» — минимальное время, которое физически могут показать дети, и большинство результатов скучено недалеко от этого предела. При этом нет «супер-медленных» результатов — все дети хотя бы как-то пробегут дистанцию. Это создаёт лёгкий левый хвост и отрицательный эксцесс. Равномерное распределение имеет эксцесс $\vepsilon \approx -1.2$, так как у него совсем нет хвостов — значения не могут выходить за границы интервала.

В финансовой математике высокий эксцесс особенно важен — он предупреждает о возможности редких, но катастрофических событий. Если распределение доходностей имеет большой положительный эксцесс, значит риск экстремальных существенно выше, чем предполагает нормальное распределение.

Коэффициент эксцесса инвариантен относительно сдвига и масштаба

Эксцесс не меняется при линейных преобразованиях, в отличие от асимметрии, которая меняет знак при отражении.

Для невырожденной случайной величины $\xi$ коэффициент эксцесса всегда не меньше $-2$.

Граница $-2$ может показаться неестественной, поэтому я объясню, откуда такое ограничение берётся. Возьмём случайную величину $\xi$ с математическим ожиданием $\mu$ и дисперсией $\sigma^2$. Стандартизируем её, получив новую случайную величину $\eta = (\xi - \mu) / \sigma$. Теперь рассмотрим случайную величину $\eta^2$. Ей математическое ожидание $\expect (\eta^2) = 1$ и дисперсия неотрицательна.

Мы получили неравенство $\expect (\eta^4) \ge 1$, а значит $\kurt \xi = \expect (\eta^4) - 3 \ge -2$

Для любой случайной величины выполняется неравенство

Это неравенство связывает эксцесс с асимметрией и показывает, что распределения с большой асимметрией не могут иметь слишком маленький эксцесс.

Нормальное распределение является эталоном

Если косимметрия измеряет совместную асимметрию трёх случайных величин, то совместный эксцесс измеряет совместную «тяжесть хвостов» четырёх случайных величин.

Совместный эксцесс показывает тенденцию совместного проявления экстремальности четырёх случайных величин.

Если четыре случайные величины демонстрируют положительный совместный эксцесс, то они будут иметь тенденцию одновременно испытывать экстремальные отклонения, причём отклонения будут согласованы по знаку — либо все четыре величины будут иметь крайние положительные отклонения, либо все четыре будут иметь крайние отрицательные отклонения, либо будет чётное число положительных и чётное число отрицательных отклонений.

Если четыре случайные величины демонстрируют отрицательный совместный эксцесс, то они будут иметь тенденцию одновременно испытывать экстремальные отклонения, но отклонения будут несогласованы по знаку — три величины будут иметь крайние положительные отклонения, а одна отрицательное, или три отрицательные, а одна положительное, или будет нечётное число положительных и нечётное число отрицательных отклонений.

Это всё связано с тем, что произведение четырёх отклонений будет положительным, когда чётное число из них отрицательны, и отрицательным, когда нечётное число отрицательны.

На практике положительный совместный эксцесс означает, что величины «двигаются вместе» в экстремальных ситуациях — либо все «взлетают», либо все «падают». Отрицательный совместный эксцесс означает, что экстремальные движения одних величин компенсируются противоположными движениями других.

Коэксцесс зависит от масштаба. Для того, чтобы сравнивать силу совместной экстремальности четырёх величин, нужно коэксцесс отнормировать. В результате получается коэффициент коэксцесса

Коэффициент коэксцесса, в отличие от корреляции, может по модулю превышать $1$.

Коэксцесс попарно независимых величин равен $0$, аналогично свойству для ковариации

Коэксцесс симметричен

При этом коэксцесс четырёх одинаковых величин равен четвёртому центральному моменту, который выражается через эксцесс

В силу линейности математического ожидания

Коэксцесс линеен по каждому из аргументов.

Запишу это свойство в широко применяемой форме. Пусть $\xi_1, \xi_2, \dotsc, \xi_n$ — случайные величины. Рассмотрим четыре их линейные комбинации $\sum\limits_{i=1}^n a_i \cdot \xi_i$, $\sum\limits_{j=1}^n b_j \cdot \xi_j$ $\sum\limits_{k=1}^n c_k \cdot \xi_k$ и $\sum\limits_{l=1}^n d_l \cdot \xi_l$:

Аналогично тензору косимметрий, который позволяет анализировать совместную асимметричность компонентов случайного вектора $\xi = (\xi_1, \xi_2, \dotsc, \xi_n)^\T$, для совместной экстремальности можно ввести аналогичное понятие — тензор коэксцессов.

Тензор коэксцессов симметричен по всем четырём индексам.

Тензором коэксцессов можно подействовать на четыре вектора $u, v, w, z \in \RR^n$. В результате мы получим величину

Подействовав тензором коэксцессов на четыре одинаковых вектора $u \in \RR^n$, мы получим эксцесс проекции $\xi$ на направление $u$:

А также подействовав тензором коэксцессов на четвёрку векторов $(u, u, v, v)$, где $u, v \in \RR^n$, мы получим тождество для ковариаций квадратов проекций

В общем случае, подействовав тензором коэксцессов на четыре произвольных вектора $u, v, w, z \in \RR^n$, мы получаем коэксцесс проекций случайного вектора $\xi$ на эти направления:

Если векторы совпадают с координатными осями, например $u = e_i$, $v = e_j$, $w = e_k$, $z = e_l$, то мы получаем исходные компоненты тензора: $\KKK (e_i, e_j, e_k, e_l) = \KKK_{i, \- j, \- k, \- l} = \cokurt ( \xi_i, \xi_j, \xi_k, \xi_l )$.

Мы уже познакомились с целым набором характеристик случайных величин: математическим ожиданием, дисперсией, асимметрией и эксцессом. Возникает закономерный вопрос — не слишком ли много параметров? Зачем нам четыре разные характеристики, когда, казалось бы, можно обойтись первыми двумя?

Ответ становится ясен, если посмотреть на эти величины не как на отдельные инструменты, а как на части единой системы. Все они являются моментами — последовательными характеристиками, которые позволяют всё точнее описать форму распределения.

Система моментов — это как разложение сложной формы на простые составляющие: первый момент $\expect \xi$ показывает где находится распределение на числовой прямой второй момент $\expect \bigl( (\xi - \expect \xi)^2 \bigr)$ показывает насколько широко оно размазано; третий момент $\expect \bigl( (\xi - \expect \xi)^3 \bigr)$ показывает насколько оно перекошено влево или вправо; четвёртый момент $\expect \bigl( (\xi - \expect \xi)^4 \bigr)$ показывает насколько острый пик и тяжелые хвосты.

Представьте, что вы описываете горный хребет. Сказать «он начинается там-то» (первый момент) явно недостаточно. Добавить «и протянулся на столько-то километров» (второй момент) уже лучше, но всё ещё неполно. «А ещё он скошен к северу» (третий момент) и «имеет очень острые пики» (четвёртый момент) — вот теперь картина становится по-настоящему объёмной.

Именно такой объёмной картины мы и добиваемся, вводя моменты высших порядков. Каждый следующий момент добавляет новый штрих к портрету нашего распределения, позволяя отличать не только широкие распределения от узких, но и симметричные от асимметричных, распределения с тяжёлыми хвостами от распределений с лёгкими, уточнять форму хвостов и так далее.

Более того, как мы увидим далее, эта система моментов прекрасно обобщается на многомерный случай через тензоры совместных моментов, создавая единый язык для описания сложных вероятностных структур.

Уже известные нам характеристики случайной величины $\xi$ можно и нужно выразить через моменты $M_n$ и $m_n$

Моменты непрерывной случайной величины можно явно определить через её плотность $f(x)$

Аналогично, для дискретной случайной величины с функцией вероятности $p(x)$

Между начальными и центральными моментами есть следующая связь

Центральные моменты однородны, то есть

Начальные моменты $M_n$ можно выразить через производные характеристической функции $\varphi(t)$

Через производящую функцию моментов можно легко вычислить начальные моменты

Очень важный факт: производящая функция моментов однозначно определяет распределение. То есть, если у вас есть информация о каждом моменте (начальном или центральном, не важно) случайной величины, то вы сможете однозначно восстановить её распределение.

Производящую функцию моментов можно рассматривать как просто формальный ряд, так и как обычный ряд. Во втором случае сразу же встаёт вопрос о сходимости. Область сходимости такого ряда тесно связана с хвостами распределения случайной величины, для которой записана эта производящая функция моментов.

Если производящая функция моментов $M(t)$ существует в окрестности нуля, то она однозначно определяет распределение случайной величины. Это означает, что если $M_{\xi} (t) = M_{\eta} (t)$ для всех $t$ в какой-то окрестности нуля, то $\xi$ и $\eta$ имеют одинаковое распределение.

Применив формулу Коши – Адамара для радиуса сходимости степенного ряда, получим следующий интересный факт. Если $R$ — радиус сходимости производящей функции моментов, то

Для любых $n \ge 1$ выполняется неравенство

А значит и выполняется неравенство для начальных моментов

Это неравенство имеет глубокий практический смысл: оно показывает, что моменты не могут расти произвольно. Если у нас есть информация о моменте порядка $2n$, то мы автоматически получаем оценку для момента порядка $n$. В частности, существование моментов высших порядков гарантирует существование моментов низших порядков.