Пусть $x$ и $y$ — координатные столбцы векторов в старом базисе, а $x'$ и $y'$ — в новом базисе. Тогда

Подставляя в выражение для билинейной формы получим:

Следовательно, матрица формы в новом базисе действительно равна $C^\T A C$.

Доказательство проводим индукцией по размерности пространства $n = \dim L$.

База индукции ($n = 1$)

Если $\dim L = 1$, то в единственном базисе $\{e_1\}$ матрица формы имеет вид $A = (F(e_1, e_1))$, то есть уже диагональна. Утверждение верно.

Шаг индукции

Пусть утверждение верно для всех пространств размерности $n-1$. Рассмотрим пространство $L$ размерности $n \geq 2$ с симметричной билинейной формой $F$ и её матрицей $A$ в базисе $\EEE = (e_1, \dots, e_n)$:

1. $F \equiv 0$.

   Если $F(x, y) = 0$ для всех $x, y \in L$, то матрица $A$ — нулевая, а значит, диагональна в любом базисе. Утверждение верно.

2. $F \not\equiv 0$

   Рассмотрим два подслучая:

   1. Пусть существует вектор $v \in L$, для которого $F(v, v) \neq 0$. Без ограничения общности считаем, что $F(e_1, e_1) \neq 0$ (иначе перенумеруем базис или заменим $e_1$ на вектор $v$, где $v$ — любой вектор пространства, для которого $F(v, v) \neq 0$. Для каждого $k = 2, \dots, n$ выполним преобразование базиса:

      $$e_k' = e_k - \frac{F(e_1, e_k)}{F(e_1, e_1)} e_1$$

      Матрица перехода $C$ к новому базису $\EEE' = (e_1, e_2', \dots, e_n')$ имеет вид:

      $$C = \pmatrix{ 1 & 0 & \cdots & 0 \\ -\frac{a_{12}}{a_{11}} & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ -\frac{a_{1n}}{a_{11}} & 0 & \cdots & 1 }$$

      По теореме о преобразовании матрицы при замене базиса:

      $$A' = C^\T A C$$

      Прямым вычислением проверяем, что $A'$ имеет блочную структуру:

      $$A' = \pmatrix{ a_{11} & 0 \\ 0 & B }$$

      где $B$ — симметричная матрица размера $(n-1) \times (n-1)$. По предположению индукции существует матрица $D$ размера $(n-1) \times (n-1)$, такая что $D^\T B D$ диагональна. Дополняем $D$ до матрицы $C'$ размера $n \times n$:

      $$C' = \pmatrix{ 1 & 0 \\ 0 & D }$$

      Тогда матрица $C_{\text{итог}} = C \cdot C'$ преобразует $A$ к диагональному виду:

      $$C_{\text{итог}}^\T A C_{\text{итог}} = (C')^\T (C^\T A C) C' = \pmatrix{ a_{11} & 0 \\ 0 & D^\T B D }$$

   2. Рассмотрим случай, когда $F(v, v) = 0$ для всех $v \in L$. Поскольку $F$ симметрична и характеристика $K \neq 2$, из тождества

      $$F(x, y) = \frac{1}{2} \left[ F(x+y, x+y) - F(x, x) - F(y, y) \right]$$

      следует, что $F \equiv 0$, что противоречит условию $F \not\equiv 0$. Следовательно, этот подслучай невозможен.

Во всех возможных случаях построена матрица перехода $C_{\text{итог}}$, такая что $C_{\text{итог}}^\T A C_{\text{итог}}$ диагональна. Следовательно, в базисе, соответствующем этой матрице перехода, матрица формы $F$ диагональна. По принципу математической индукции утверждение верно для всех $n \geq 1$.

Доказательство проводим индукцией по размерности пространства $n = \dim L$ над полем $K$, где $\operatorname{char}(K) \neq 2$.

База индукции ($n = 1$)

Квадратичная форма имеет вид $Q(x) = a_{11}x_1^2$, что уже является каноническим видом. Матрица перехода — единичная, следовательно, преобразование невырожденное.

Шаг индукции

Пусть утверждение верно для всех пространств размерности $n-1$. Рассмотрим квадратичную форму $Q(x_1, \dots, x_n) = \sum\limits_{i,j=1}^n a_{ij}x_i x_j$ в базисе $\EEE = (e_1, \dots, e_n)$ с симметричной матрицей $A = (a_{ij})$ (поскольку $\operatorname{char}(K) \neq 2$, мы можем считать матрицу симметричной).

1. $Q \equiv 0$

   В этом случае матрица $A$ нулевая, и форма уже имеет канонический вид. Утверждение верно.

2. $Q \not\equiv 0$

   Рассмотрим два подслучая:

   1. Существует индекс $i$, для которого $a_{ii} \neq 0$. Без ограничения общности положим $a_{11} \neq 0$ (иначе перенумеруем переменные). Выделим полный квадрат по переменной $x_1$:

      $$Q = a_{11}\left(x_1 + \sum\limits_{j=2}^n \frac{a_{1j}}{a_{11}}x_j\right)^2 + Q'(x_2, \dots, x_n)$$

      где $Q'$ — квадратичная форма от $n-1$ переменной. Сделаем линейную замену:

      $$y_1 = x_1 + \sum\limits_{j=2}^n \frac{a_{1j}}{a_{11}}x_j, \quad y_k = x_k \quad (k \geq 2)$$

      Матрица перехода $C$ к новому базису $\EEE' = (e_1', \dots, e_n')$ имеет вид:

      $$C = \pmatrix{ 1 & \frac{a_{12}}{a_{11}} & \cdots & \frac{a_{1n}}{a_{11}} \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 }$$

      Её определитель $\det(C) = 1 \neq 0$, следовательно, преобразование невырожденное. В новом базисе форма принимает вид $Q = a_{11}y_1^2 + Q'(y_2, \dots, y_n)$. По предположению индукции $Q'$ приводится к каноническому виду невырожденным преобразованием $C'$ размера $(n-1) \times (n-1)$. Дополним $C'$ до матрицы $C''$ размера $n \times n$:

      $$C'' = \pmatrix{ 1 & 0 \\ 0 & C'}$$

      Тогда общая матрица перехода $C_{\text{итог}} = C \cdot C''$ невырожденна, так как $\det(C_{\text{итог}}) = \det(C) \cdot \det(C'') \neq 0$, и форма принимает канонический вид.

   2. Все диагональные элементы $a_{ii} = 0$, но существует $a_{ij} \neq 0$ для $i \neq j$. Без ограничения общности положим $a_{12} \neq 0$ (иначе перенумеруем переменные). Сделаем замену переменных:

      $$x_1 = y_1 + y_2, \quad x_2 = y_1 - y_2, \quad x_k = y_k \quad (k \geq 3)$$

      Подставляя в форму, получаем:

      $$Q = a_{12}(y_1^2 - y_2^2) + \sum\limits_{k=3}^n 2a_{1k}y_1y_k + \sum\limits_{k=3}^n 2a_{2k}y_2y_k + \dots$$

      Теперь коэффициенты при $y_1^2$ и $y_2^2$ ненулевые. Матрица перехода $C$ для первых двух переменных:

      $$C' = \pmatrix{ 1 & 1 \\ 1 & -1 }$$

      имеет определитель $\det(C') = -2 \neq 0$ (так как $\operatorname{char}(K) \neq 2$), а для остальных переменных — единичная матрица. Общая матрица перехода:

      $$C = \pmatrix{ 1 & 1 & 0 & \cdots & 0 \\ 1 & -1 & 0 & \cdots & 0 \\ 0 & 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & 1 }$$

      невырожденна. После замены форма содержит ненулевые квадратичные члены, и мы сводим задачу к первому подслучаю.

Во всех случаях построено явное невырожденное линейное преобразование, приводящее форму к каноническому виду. По принципу математической индукции утверждение верно для всех $n \geq 1$ при условии $\operatorname{char}(K) \neq 2$.

Шаг 1. Положительно определённые подпространства

Шаг 2. Симметричный аргумент

Шаг 3. Инвариантность $p$ и $q$

Необходимость: Если $A$ положительно определена, то она положительно определена и на любом подпространстве. В частности, для векторов с первыми $k$ координатами, соответствующий главный минор должен быть положительным.

Достаточность: Докажем индукцией по размерности матрицы. Для $n=1$ утверждение очевидно.

Предположим, что для матриц размера $n-1$ критерий верен. Рассмотрим матрицу $A$ размера $n$ с положительными главными минорами.

По предположению индукции, левый верхний блок размера $n-1$ положительно определен. Выполним блочное $LDL^\T$-разложение:

где $I$ — единичная матрица $(n-1) \times (n-1)$, а $\delta = a_{nn} - b^\T A_{n-1}^{-1} b$. Так как $\det A = \det A_{n-1} \cdot \delta > 0$ и $\det A_{n-1} > 0$, то $\delta > 0$. Следовательно, матрица $A$ положительно определена.

Доказательство проводим индукцией по размерности матрицы $n$ над полем вещественных чисел.

База индукции ($n = 1$)

Для матрицы размера $1 \times 1$, $A = (a_{11})$, утверждение очевидно: $Q = (1)$, $\Lambda = (a_{11})$.

Шаг индукции

Предположим, что теорема верна для всех симметричных матриц размерности $(n-1) \times (n-1)$. Докажем её для симметричной матрицы $A$ размера $n \times n$ над полем $\mathbb{R}$ ($n \geq 2$).

1. $A = 0$

   Если матрица $A$ нулевая, то она уже диагональна. В качестве ортогональной матрицы $Q$ можно взять единичную матрицу. Утверждение верно.

2. $A \neq 0$

   Рассмотрим характеристический многочлен матрицы $A$:

   $$p(\lambda) = \det(A - \lambda I)$$

   Так как коэффициенты многочлена $p(\lambda)$ вещественны, комплексные корни встречаются сопряженными парами. Покажем, что все корни характеристического уравнения вещественны.

   Пусть $\lambda$ — собственное значение матрицы $A$, а $v$ — соответствующий собственный вектор ($v \neq 0$). Тогда $Av = \lambda v$. Рассмотрим скалярное произведение:

   $$(Av, v) = (\lambda v, v) = \lambda (v, v)$$

   С другой стороны, используя симметричность матрицы $A$ ($A^\T = A$):

   $$(Av, v) = (v, A^\T v) = (v, Av) = (v, \lambda v) = \overline{\lambda} (v, v)$$

   Сравнивая полученные выражения, имеем $\lambda (v, v) = \overline{\lambda} (v, v)$. Так как $(v, v) > 0$, то $\lambda = \overline{\lambda}$, то есть $\lambda$ — вещественное число.

   Таким образом, существует хотя бы одно вещественное собственное значение $\lambda_1$ и соответствующий ему собственный вектор $v_1$ ($v_1 \neq 0$). Нормируем вектор $v_1$, то есть заменим его на $e_1 = \frac{v_1}{\|v_1\|}$, где $\|v_1\| = \sqrt{(v_1, v_1)}$. Тогда $\|e_1\| = 1$ и $Ae_1 = \lambda_1 e_1$.

   Дополним вектор $e_1$ до ортонормированного базиса $e_1, e_2, \dotsc, e_n$ пространства $\mathbb{R}^n$. Это можно сделать, например, с помощью процесса Грама-Шмидта. Составим матрицу $Q_1$, столбцами которой являются векторы этого базиса:

   $$Q_1 = \pmatrix{ e_1 & e_2 & \cdots & e_n }$$

   Матрица $Q_1$ ортогональна ($Q_1^\T Q_1 = I$), так как её столбцы образуют ортонормированный базис.

   Рассмотрим матрицу $Q_1^\T A Q_1$:

   $$Q_1^\T A Q_1 = \pmatrix{ e_1^\T A e_1 & e_1^\T A e_2 & \cdots & e_1^\T A e_n \\ e_2^\T A e_1 & e_2^\T A e_2 & \cdots & e_2^\T A e_n \\ \vdots & \vdots & \ddots & \vdots \\ e_n^\T A e_1 & e_n^\T A e_2 & \cdots & e_n^\T A e_n}$$

   Упростим элементы этой матрицы, используя свойства собственных векторов и симметричности $A$:

   $e_1^\T A e_1 = e_1^\T (\lambda_1 e_1) = \lambda_1 (e_1^\T e_1) = \lambda_1$, так как $\|e_1\| = 1$.

   Для $k \geq 2$:

   $$e_1^\T A e_k = (A^\T e_1)^\T e_k = (A e_1)^\T e_k = (\lambda_1 e_1)^\T e_k = \lambda_1 (e_1^\T e_k) = 0$$

   так как векторы $e_1$ и $e_k$ ортогональны ($e_1^\T e_k = 0$). Аналогично, $e_k^\T A e_1 = 0$ для $k \geq 2$.

   Обозначим блок правого нижнего угла как $B$, то есть $B = (e_i^\T A e_j)_{i,j=2}^n$. Матрица $B$ симметрична, так как $A$ симметрична и:

   $$b_{ij} = e_i^\T A e_j = (A^\T e_i)^\T e_j = (A e_i)^\T e_j = e_j^\T A e_i = b_{ji}$$

   Таким образом, матрица $Q_1^\T A Q_1$ имеет вид:

   $$Q_1^\T A Q_1 = \pmatrix{ \lambda_1 & 0^\T \\ 0 & B}$$

   где $0$ — нулевой вектор размерности $n-1$, а $B$ — симметричная матрица размера $(n-1) \times (n-1)$.

   По предположению индукции для матрицы $B$ существует ортогональная матрица $R$ размера $(n-1) \times (n-1)$, такая что:

   $$R^\T B R = \operatorname{diag}(\lambda_2, \lambda_3, \dotsc, \lambda_n)$$

   где $\lambda_2, \dotsc, \lambda_n$ — собственные значения матрицы $B$ (и, следовательно, матрицы $A$, так как собственные значения инвариантны относительно ортогональных преобразований).

   Построим матрицу $Q_2$ размера $n \times n$ следующим образом:

   $$Q_2 = \pmatrix{ 1 & 0^\T \\ 0 & R}$$

   Матрица $Q_2$ ортогональна, так как:

   $$Q_2^\T Q_2 = \pmatrix{ 1 & 0^\T \\ 0 & R^\T } \pmatrix{ 1 & 0^\T \\ 0 & R } = \pmatrix{ 1 & 0^\T \\ 0 & R^\T R } = \pmatrix{ 1 & 0^\T \\ 0 & I_{n-1} } = I_n$$

   Теперь рассмотрим матрицу $Q = Q_1 Q_2$:

   $$Q^\T A Q = (Q_1 Q_2)^\T A (Q_1 Q_2) = Q_2^\T (Q_1^\T A Q_1) Q_2 = Q_2^\T \pmatrix{ \lambda_1 & 0^\T \\ 0 & B } Q_2$$

   Подставляя выражение для $Q_2$, получаем:

   $$Q^\T A Q = \pmatrix{ 1 & 0^\T \\ 0 & R^\T } \pmatrix{ \lambda_1 & 0^\T \\ 0 & B } \pmatrix{ 1 & 0^\T \\ 0 & R } = \pmatrix{ \lambda_1 & 0^\T \\ 0 & R^\T B R } = \pmatrix{ \lambda_1 & 0^\T \\ 0 & \operatorname{diag}(\lambda_2, \dotsc, \lambda_n) }$$

   Таким образом, матрица $Q^\T A Q$ диагональна, а её диагональные элементы — собственные значения матрицы $A$.

   Ортогональность матрицы $Q$ следует из ортогональности матриц $Q_1$ и $Q_2$:

   $$Q^\T Q = (Q_1 Q_2)^\T (Q_1 Q_2) = Q_2^\T Q_1^\T Q_1 Q_2 = Q_2^\T I Q_2 = Q_2^\T Q_2 = I$$

   Следовательно, построенная матрица $Q$ удовлетворяет условиям теоремы.

По принципу математической индукции спектральная теорема верна для всех симметричных матриц размерности $n \geq 1$ над полем вещественных чисел.

Симметричность следует из равенства $\operatorname{cov}(X_i, X_j) = \operatorname{cov}(X_j, X_i)$.

Для любого вектора $a \in \mathbb{R}^n$:

так как математическое ожидание неотрицательной случайной величины неотрицательно.