Линейные пространства и преобразования

Знакомые нам со школы векторы на плоскости и в пространстве — это лишь вершина айсберга. $\RR^2$ и $\RR^3$ — прекрасные наглядные модели, но они оказываются тесны для решения огромного количества математических и прикладных задач. Давайте посмотрим, куда нас заводит интуиция, основанная на этих моделях.

Представьте себе, что вектор — это не просто стрелка с координатами, а любой объект, который можно складывать с себе подобными и умножать на число (скаляр), получая объект того же типа. Внезапно, под это описание подпадают вещи, которые совсем не похожи на «стрелки»: многочлены, последовательности, непрерывные функции и ещё куча других объектов.

Ментально оставаясь в $\RR^n$ , мы теряем возможность говорить на едином языке о столь разных объектах. Нам не хватает абстракции, которая позволила бы применить геометрическую интуицию (например, рассуждения о перпендикулярности или о проекциях) к функциям, многочленам и многим другим объектам. Нам нужна общая теория, которая абстрагируется от конкретной природы объектов, формализует их общие свойства (способность складываться и умножаться на скаляры) и позволяет перенести мощные понятия геометрии (базис, размерность, угол, длина) в эти, на первый взгляд, негеометрические миры. Эта теория — теория линейных пространств.

Прежде чем говорить о векторах, необходимо договориться о том, что мы будем использовать в качестве коэффициентов — чисел, на которые эти векторы можно умножать. Коэффициентами будут являться элементы какого-то поля.

Напомню, что поле — множество с двумя операциями: сложение и умножение. Сложение и умножение ассоциативны и коммутативны, умножение дистрибутивно по сложению. У операции сложения есть нейтральный элемент $0$ , причём для каждого элемента ...

Векторные пространства

Линейное пространство

Пусть $K$ — произвольное поле.

Множество $V$ называется линейным пространством над полем $K$ , если на нём заданы две операции

сложение $(+) \colon V \times V \to V$ , обозначаемое $(v, u) \mapsto v + u$
умножение на скаляр $(\cdot) \colon K \times V \to V$ , обозначаемое $(\alpha, v) \mapsto \alpha \cdot v$

Эти операции должны удовлетворять внушительному списку свойств:

сложение векторов коммутативно и ассоциативно: для любых векторов $v, u \in V$ выполняются равенства $v + u = u + v$ и $(v + u) + w = v + (u + w)$
существует нулевой вектор $\0 \in V$ — нейтральный элемент по сложению векторов: для любого вектора $v \in V$ выполняется равенство $v + \0 = v$
для любого вектора $v \in V$ существует противоположный вектор $-v \in V$ , то есть такой вектор, что $v + (-v) = \0$ .
умножение вектора на скаляр согласованно с умножением в поле: для любого вектора $v \in V$ и любых двух скаляров $\alpha, \beta \in K$ выполняется равенство $\alpha \cdot (\beta v) = (\alpha \beta) \cdot v$ .
любой вектор $v \in V$ при умножении на $1 \in K$ не меняется: $1 \cdot v = v$ .
Умножение на скаляр дистрибутивно по сложению векторов: для любых векторов $v, u \in V$ и любого скаляра $\alpha \in K$ выполняется равенство $\alpha \cdot (v + u) = \alpha \cdot v + \alpha \cdot u$ .
Умножение на скаляр дистрибутивно по сложению скаляров: для любого вектора $v \in V$ и любых двух скаляров $\alpha, \beta \in K$ выполняется равенство $(\alpha + \beta) \cdot v = \alpha \cdot v + \beta \cdot v$ .

Элементы линейного пространства $V$ называются векторами, а элементы поля $K$ называются скалярами.

И вот теперь начинается магия. Эти, на первый взгляд, сухие аксиомы вдруг оживают, когда мы понимаем, что им подчиняются самые разные миры. Давайте посмотрим на несколько вселенных, которые оказываются линейными пространствами.

Действительное пространство $\RR^n$ . Векторы — упорядоченные наборы из $n$ действительных чисел: $v = (v_1, v_2, \dotsc, v_n)$ . Скаляры здесь — действительные числа из множества $\RR$ . Операции сложения векторов и умножения вектора на скаляр покоординатные.

Удивительно, не правда ли? Оказывается, многочлен можно «растянуть», умножив его на число, или сложить с другим многочленом, и результат останется многочленом — совсем как с векторами! Такое же происходит и с функциями. Это открытие и есть ключ к унификации: если мы докажем какую-то теорему для абстрактного линейного пространства, она автоматически станет верной для всех этих, таких разных на вид, миров.

Линейные комбинации и линейные оболочки

Пусть $V$ — линейное пространство над полем $K$ . И пусть $S = \{\v_1, \v_2, \dotsc, \v_n\}$ — конечный набор векторов из $V$ .

Линейная комбинация набора векторов $S$ — любой вектор $\v \in V$ , который можно представить в виде

\v = \alpha_1 \cdot \v_1 + \alpha_2 \cdot \v_2 + \dotsb + \alpha_n \cdot \v_n \quad\text{где}~ \alpha_1, \alpha_2, \dotsc, \alpha_n \in K

Линейная оболочка набора векторов $S$ — множество всех возможных линейных комбинаций векторов из $S$ , то есть множество

\span S \defeq \{ \alpha_1 \cdot \v_1 + \alpha_2 \cdot \v_2 + \dotsb + \alpha_n \cdot \v_n \mid \forall\, \alpha_1, \alpha_2, \dotsc, \alpha_n \in K \}

Линейная оболочка $\span S$ является наименьшим линейным подпространством в $V$ , содержащим все векторы из множества $S$ . Она «натягивает» всё пространство возможных направлений, которые можно достичь, комбинируя векторы из множества $S$ .

Например, в $\RR^3$ оболочка двух неколлинеарных векторов $\v_1$ и $\v_2$ — это плоскость, проходящая через эти векторы и начало координат.

Линейная независимость

Конечный набор векторов $S = \{ \v_1, \v_2, \dotsc, \v_n \}$ в пространстве $V$ называется линейно зависимым, если единственной линейной комбинацией векторов из этого набора, равной нулевому вектору, является тривиальная

\alpha_1 \cdot \v_1 + \alpha_2 \cdot \v_2 + \dotsb + \alpha_n \cdot \v_n = 0 \implies \alpha_1 = \alpha_2 = \dotsb = \alpha_n = 0

Если существует нетривиальный набор коэффициентов (хотя бы один из которых не равен нулю), при котором линейная комбинация равна нулю, то набор векторов называется линейно зависимым.

Неформально говоря, векторы линейно зависимы, если хотя бы один из них является «лишним» и может быть выражен через другие. В линейно независимом наборе каждый вектор вносит что-то новое, новое «направление».

Например, в $\RR^n$ столбцы матрицы $A$ линейно независимы тогда и только тогда, когда однородная система уравнений $A \cdot \x = \0$ имеет только тривиальное решение.

Или, например, в пространстве многочленов $\{ P \in K[x] : \deg P \le n \}$ (все многочлены, степень которых не превышает $n$ ) набор векторов $\{1, x, x^2, \dotsc, x^n\}$ является линейно независимым, так как единственный многочлен, тождественно равный $0$ для всех $x$ — многочлен с нулевыми коэффициентами, то есть $\0$ .

Теперь, имея на вооружении понятия сложения и растяжения, мы можем задать один из самых важных вопросов: а какие «направления» или «элементарные кирпичики» действительно необходимы, чтобы построить всё наше пространство? Линейно независимые векторы — это и есть такие «кирпичики», ни один из которых не является лишним. А их линейная оболочка — это всё, что мы можем из них построить. Естественный следующий шаг — найти такой идеальный набор «кирпичиков», которого будет достаточно для построения вообще любого вектора в пространстве. Этот идеальный набор мы и назовём базисом.

Базис и размерность

Базис линейного пространства

Базис линейного пространства $V$ — такой набор векторов $B = \{\e_1, \e_2, \dotsc, \e_n\}$ , удовлетворяющий двум условиям:

минимальность: базис $B$ — линейно независимая система векторов
полнота: базис $B$ является системой образующих для всего пространства $V$ , то есть $\span B = V$ .

Эквивалентно, базис — это такой набор векторов, что каждый вектор пространства $V$ единственным образом представляется в виде линейной комбинации векторов из этого набора.

Грубо говоря, базис — это система координат. Он позволяет нам забыть о сложной природе исходных объектов (будь то функции, многочлены или что-то ещё) и работать с ними как с привычными столбцами чисел. Это мощнейший мост между абстракцией и вычислениями.

Любое линейное пространство имеет базис. Более того, любое конечное множество образующих пространства можно проредить до базиса, а любой линейно независимый набор можно дополнить до базиса. Для бесконечномерных пространств это утверждение опирается на лемму Цорна.

Координаты векторов в базисе

Пусть $B = \{\e_1, \e_2, \dotsc, \e_n\}$ — базис пространства $V$ . Для любого вектора $\v \in V$ существует единственный набор скаляров $(\alpha_1, \alpha_2, \dotsc, \alpha_n)$ такой, что

\v = \alpha_1 \cdot \e_1 + \alpha_2 \cdot \e_2 + \dotsb + \alpha_n \cdot \e_n

Этот набор скаляров называется координатами вектора $v$ в базисе $B$ .

Базис — это система координат в абстрактном пространстве. Он позволяет отождествить абстрактный вектор $\vv$ с конкретным столбцом его координат $(\alpha_1, \alpha_2, \dotsc, \alpha_n)^\T$ в $K^n$ .

Все базисы одного линейного пространства имеют одинаковую мощность, то есть одинаковое количество элементов в конечномерном случае. Это позволяет считать определить размерность — способ описать, сколько различных значений нужно, чтобы описать векторы этого пространства.

Размерность

Размерность линейного пространства $V$ — количество векторов в его базисе. Обозначается $\dim V$ .

Разберём несколько примеров линейных пространств, их базисов и их размерностей.

Арифметическое пространство $\RR^n$ . Размерность $\dim (\RR^n) = n$ . В нём определяется стандартный школьный базис

\e_1 = (1, 0, 0, \dotsc, 0)^\T \quad \e_2 = (0, 1, 0, \dotsc, 0)^\T \quad \cdots \quad \e_n = (0, 0, \dotsc, 0, 1)^\T

Пространство многочленов $\PPP_n = \{ P \in K[x] : \deg P \le n \}$ . Размерность $\dim (\PPP_n) = n+1$ . В нём определён стандартный базис

1 \quad x \quad x^2 \quad \cdots \quad x^n

Линейные отображения и операторы

Пусть $V$ и $W$ — линейные пространства над одним и тем же полем $K$ .

Отображение $L \colon V \to W$ называется линейным отображением (или линейным операторов, если $V = W$ ), если оно удовлетворяет двум условиям:

сохранение сложения векторов
$L(v + u) = L(v) + L(u) \quad\text{для любых векторов}~ v, u \in V$
сохранение умножения на скаляр: для любого вектора $v \in V$ и любого скаляра $\alpha \in K$ выполняется равенство
$L(\alpha \cdot v) = \alpha \cdot L(v) \quad\text{для любого вектора}~ v \in V ~\text{и любого скаляра}~ \alpha \in K$

Эти два условия эквивалентны одному

L(\alpha \cdot v + \beta \cdot u) = \alpha \cdot L(v) + \beta \cdot L(u) \quad\text{для любых векторов}~ v, u \in V ~\text{и любых скаляров}~ \alpha, \beta \in K

Неформально говоря, линейное отображение — это функция, которая «уважает» линейную структуру пространств: переводит сумму векторов в сумму образов и пропорциональные векторы — в пропорциональные.

Несколько примеров линейных отображений.

Оператор дифференцирования в $K[x]$ . В пространстве всех многочленов оператор $D \colon K[x] \to K[x]$ , заданный правилом $P(x) \mapsto P'(x)$ , является линейным отображением:

D \bigl( \alpha \cdot p(x) + \beta \cdot q(x) \bigr) = \alpha \cdot p'(x) + \beta \cdot q'(x) = \alpha \cdot D \bigl( p(x) \bigr) + \beta \cdot D \bigl( q(x) \bigr)

Оператор интегрирования в $C[a,b]$ . На множестве непрерывных функций с областью определения $[a, b]$ оператор $J \colon C[a,b] \to C[a,b]$ , заданный правилом $f(x) \mapsto \int\limits_a^x f(t) \, dt$ , является линейным отображением:

J \bigl( \alpha \cdot f(x) + \beta \cdot g(x) \bigr) = \alpha \cdot \int\limits_a^x f(x) \, dx + \beta \cdot \int\limits_a^x g(x) \, dx = \alpha \cdot J \bigl( f(x) \bigr) + \beta \cdot J \bigl( g(x) \bigr)

Оператор умножения на фиксированную матрицу в $\RR^n$ . Пусть $A \in \RR^{m \times n}$ — матрица размера $m \times n$ . Оператор $T \colon \RR^n \to \RR^m$ , заданный правилом $x \mapsto A \cdot x$ , является линейным отображением:

A \cdot (\alpha \cdot x + \beta \cdot y) = \alpha \cdot A \cdot x + \beta \cdot A \cdot y

Как мы сейчас увидим, последний пример является универсальным.

Пусть $L \colon V \to W$ — линейное отображение, $\dim V = n$ и $\dim W = m$ .

Зафиксируем базис $\EEE = (\e_1, \e_2, \dotsc, \e_n)$ в пространстве $V$ и базис $\FFF = (\f_1, \f_2, \dotsc, \f_m)$ в пространстве $W$ .

Чтобы полностью задать линейное отображение, достаточно узнать образы базисных векторов. Разложим образ $L(\e_j)$ каждого базисного вектора $\e_j$ по базису $\FFF$ :

L(\e_j) = a_{1, \- j} \cdot \f_1 + a_{2, \- j} \cdot \f_2 + \dotsb + a_{m, \- j} \cdot \f_m = \sum\limits_{i=1}^n a_{i, \- j} \cdot \f_i

Тогда в этих базисах $\EEE$ и $\FFF$ отображению $L$ можно поставить в соответствие матрицу $[T]_{\EEE, \- \FFF}$ размера $m \times n$ , столбцы которой — это координатные столбцы векторов $L(\e_1), L(\e_2), \dotsc, L(\e_n)$ в базисе $\FFF$ :

[T]_{\EEE, \- \FFF} = \pmatrix{ a_{1, \- 1} & a_{1, \- 2} & \cdots & a_{1, \- n} \\ a_{2, \- 1} & a_{2, \- 2} & \cdots & a_{2, \- n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n, \- 1} & a_{n, \- 2} & \cdots & a_{n, \- n} }

С помощью этой матрицы можно выражать образы любых векторов. Сформулирую этот факт в виде важного фундаментального свойства

Вычисление координат образа вектора при линейном отображении

Пусть $\v \in V$ — произвольный вектор, имеющий в базисе $\EEE$ координатную запись $[\v]_\EEE = (v_1, v_2, \dotsc, v_n)^\T$ .

Координаты образа $L(\v)$ в базисе $\FFF$ вычисляются по формуле

\bigl[ L(\v) \bigr]_\FFF = [L]_{\EEE, \- \FFF} \cdot [\v]_\EEE

То есть, умножение координатного столбца вектора на матрицу отображения дает координатный столбец образа этого вектора.

Важно помнить, что матрица линейного отображения зависит от базиса. Одно и то же линейное отображение может иметь разные матричные представления в разных базисах, точно так же как и один и тот же вектор может иметь разные координатные представления в разных базисах.

Преобразование базисов

Пусть $V$ — $n$ -мерное пространство над полем $K$ . Рассмотрим два его базиса $\EEE = (\e_1, \e_2, \dotsc, \e_n)$ и $\EEE' = (\e_1', \e_2', \dotsc, \e_n')$ .

Матрица перехода от базиса $\EEE$ в $\EEE'$ — это квадратная матрица

Изоморфизмы

Изоморфизм и изоморфность

Линейное отображение $L \colon V \to W$ называется изоморфизмом, если оно является биекцией, то есть взаимно однозначным соответствием.

Пространства $V$ и $W$ называются изоморфными, если между ними существует изоморфизм. Этот факт записывается как $V \isom W$ .

Теорема о представлении линейных пространств

Любое $n$ -мерное линейное пространство $V$ над полем $K$ изоморфно $K^n$ .

Зафиксируем в пространстве $V$ какой-то базис $\EEE = (\e_1, \e_2, \dotsc, \e_n)$ .

Рассмотрим отображение $\coord_{\EEE} \colon V \to K^n$ , которое сопоставляет каждому вектору $\v \in V$ столбец его координат в базисе $\EEE$ . Это отображение является изоморфизмом, а значит $V \isom K^n$ .

Ядро и образ

Пусть $L \colon V \to W$ — линейное отображение.

Ядро отображения $L$ — множество всех векторов из пространства $V$ , которые при этом отображении переходят в $\0 \in W$ :

\ker L \defeq \{v \in V : L(v) = \0 \}

Образ отображения $L$ — множество всех векторов из пространства $W$ , которые являются образами каких-то векторов из пространства $V$ . Определение совпадает с определением образа любого отображения.

\im L \defeq \{ L(v) \mid \forall\, v \in V \}

Если $L \colon V \to W$ — линейное отображение, то его ядро является линейным подпространством пространства $V$ , то есть $\ker L \subset V$ , и его образ является линейным подпространством пространства $W$ , то есть $\im L \subset W$ .

Теорема о ранге и дефекте

Пусть $V$ — конечномерное пространство, и $L \colon V \to W$ — линейное отображение.

$\dim V = \dim (\ker L) + \dim (\im L)$

Посмотрим на ядро отображения $\ker L$ . Пусть $\dim (\ker L) = k$ . Построим базис ядра $(\u_1, \u_2, \dotsc, \u_k)$ .

Ядро является подпространством $V$ , а значит мы можем дополнить базис ядра до базиса всего пространства $V$ . Вот пусть мы добавили $r$ векторов и получили базис пространства $V$ :

(\u_1, \u_2, \dotsc, \u_k, ~ \v_1, \v_2, \dotsc, \v_r)

Тогда $\dim V = k + r$ .

Теперь возьмём любой вектор $\v \in V$ и разложим его по базису пространства $V$ :

\v = \alpha_1 \cdot \u_1 + \alpha_2 \cdot \u_2 + \dotsb + \alpha_k \cdot \u_k ~ + ~ \alpha_{k+1} \cdot \v_1 + \alpha_{k+2} \cdot \v_2 + \dotsb + \alpha_{k+r} \cdot \v_r

Посмотрим теперь, куда переходит этот вектор $\v$ при отображении $L$ . Вычислим вектор $L(\v)$ , применяя линейность отображения $L$ :

L(\v) = \alpha_1 \cdot L(\u_1) + \alpha_2 \cdot L(\u_2) + \dotsb + \alpha_k \cdot L(\u_k) ~ + ~ \alpha_{k+1} \cdot L(\v_1) + \alpha_{k+2} \cdot L(\v_2) + \dotsb + \alpha_{k+r} \cdot L(\v_r)

Поскольку $\u_1, \u_2, \dotsc, \u_k \in \ker L$ , то $L(\u_j) = \0$ для всех $1 \le j \le k$ . Значит, у нас зануляются все члены с $\u_j$ , и остаётся

L(\v) = \alpha_{k+1} \cdot L(\v_1) + \alpha_{k+2} \cdot L(\v_2) + \dotsb + \alpha_{k+r} \cdot L(\v_r)

Получается, что мы смогли выразить образ $L(\v)$ вектора $\v$ через вектора $L(\v_1), L(\v_2), \dotsc, L(\v_r)$ . То есть мы смогли найти кандидата на базис в пространстве $\im L$ .

Осталось доказать независимость этого набора векторов. Рассмотрим линейную комбинацию

\gamma_1 \cdot L(\v_1) + \gamma_2 \cdot L(\v_2) + \dotsb + \gamma_r \cdot L(\v_r) = \0

В силу линейности отображения $L$ получаем равенство

L(\gamma_1 \cdot \v_1 + \gamma_2 \cdot \v_2 + \dotsb + \gamma_r \cdot \v_r) = \0

А это уже означает, что вектор $\gamma_1 \cdot \v_1 + \gamma_2 \cdot \v_2 + \dotsb + \gamma_r \cdot \v_r$ лежит в $\ker L$ , то есть мы можем его выразить через базис ядра $(\u_1, \u_2, \dotsc, \u_k)$ .

\gamma_1 \cdot \v_1 + \gamma_2 \cdot \v_2 + \dotsb + \gamma_r \cdot \v_r = \beta_1 \cdot \u_1 + \beta_2 \cdot \u_2 + \dotsb + \beta_k \cdot \u_k

Перенося всё в левую сторону, получаем, что

\gamma_1 \cdot \v_1 + \gamma_2 \cdot \v_2 + \dotsb + \gamma_r \cdot \v_r - \beta_1 \cdot \u_1 - \beta_2 \cdot \u_2 - \dotsb - \beta_k \cdot \u_k = \0

Набор векторов $(\u_1, \u_2, \dotsc, \u_k, ~ \v_1, \v_2, \dotsc, \v_r)$ является базисом пространства $V$ (мы его так построили). Значит, этот набор векторов линейно независимый, а значит из выведенного нами равенства следует, что все коэффициенты равны $0$ . Тогда набор векторов $L(\v_1), L(\v_2), \dotsc, L(\v_r)$ является линейно независимым.

Подытожим. Набор векторов $L(\v_1), L(\v_2), \dotsc, L(\v_r)$ линейно независимый, и любой вектор из пространства $\im L$ можно выразить как линейную комбинацию векторов из этого набора. Значит этот набор является базисом в пространстве $\im L$ , и $\dim (\im L) = r$ .

Получаем в итоге, что

\dim V = k + r = \dim (\ker L) + \dim (\im L)

Обратите внимание, насколько конструктивным было это доказательство. Мы не просто констатировали факт равенства; мы буквально построили базисы для ядра и образа, показав, как они дополняют друг друга. Это не просто формула — это глубокое понимание структуры линейного отображения: оно схлопывает ядро в ноль, а на оставшемся «поперечном» пространстве ведёт себя как изоморфизм на образ.

Пусть $V$ — $n$ -мерное линейное пространство над полем $K$ . Элементы $V$ будем как обычно называть векторами. Если вам не удобно работать с произвольным полем $K$ , вы можете без ущерба для понимания считать, что $K = \RR$ (поле действительных чисел). Все основные идеи и вычислительные алгоритмы от этого не изменятся.

Вспомним, что такое линейная форма. Функция $\varphi \colon V \to \RR$ называется линейной, если для всех $x, y \in V$ и любого скаляра $\lambda \in K$ выполнены два равенства $\varphi (x + y) = \varphi (x) + \varphi (y)$ и $\varphi (\lambda x) = \lambda \cdot \varphi(x)$ . Такие линейные функции $\varphi$ называются линейными функционалами над пространством $V$ . Линейные функционалы сопоставляют вектору из $V$ скаляр из $K$ .

Преобразование $f \colon \RR^n \to \RR^m$ называется линейным, если выполняется свойство

f(a \cdot x + b \cdot y) = a \cdot f(x) + b \cdot f(y)

Любое линейное преобразование может быть представлено в виде

f \pmatrix{x_1 \\ x_2 \\ x_3 \\ \vdots \\ x_n} = \pmatrix{ a_{1 \, 1} \cdot x_1 + a_{1 \, 2} \cdot x_2 + a_{1 \, 3} \cdot x_3 + \dotsb + a_{1 \, n} \cdot x_n \\ a_{2 \, 1} \cdot x_1 + a_{2 \, 2} \cdot x_2 + a_{2 \, 3} \cdot x_3 + \dotsb + a_{2 \, n} \cdot x_n \\ \vdots \\ a_{m \, 1} \cdot x_1 + a_{m \, 2} \cdot x_2 + a_{m \, 3} \cdot x_3 + \dotsb + a_{m \, n} \cdot x_n \\ }

Аксиомы векторного пространства. Примеры: Rⁿ, пространства матриц, пространства функций. Линейная оболочка, базис, размерность. Теорема о базисе. Координаты. Линейные отображения: Определение, ядро и образ. Теорема о ранге и дефекте. Матрицы: Матрица линейного отображения. Связь изменения базиса с матрицами перехода. Ранг матрицы: Линейно независимые строки/столбцы. Вычисление ранга. Невырожденные матрицы. Практика: Реализация базовых операций (сложение, умножение) в коде. Анализ сложности.