线性代数 - 向量空间

93

概述

造物主让我们生活在三维的世界里。我们吃的,喝的,看到的,摸到的都是三维的物体。谁也制造不出二维或四维的东西,对一个物体进行锤、打、捏、揉,甚至进行原子重组,也改变不了这个物体的维数。我们并没有二维化或者四维化这种只出现在科幻小说里的操作(也许以后会有,谁知道呢?)。今天我们要讨论的向量,也存在于它们的世界里。

向量空间

现在想象我们是向量世界的造物主,我们规定这个世界里只有两种操作:向量的加法与向量的数乘。在向量的基础中我们知道向量的加法和数乘可以用向量的线性组合来表示,因此可以说我们只允许向量的线性组合:

$ \begin{array}{l} 3 \mathbf{u} \\ \mathbf{u} + \mathbf{v} \\ c \mathbf{u} + d \mathbf{v} \end{array}$

但是不允许这样的操作:

$ \begin{array}{l} \mathbf{u} \cdot \mathbf{v} \\ \begin{bmatrix} 1&2&3 \end{bmatrix} \to \begin{bmatrix} 1&2&3&4 \end{bmatrix} \end{array} $

就像我们逃不出三维世界一样,向量也逃不出它们的世界——向量的线性组合仍在它们的世界里。这个所谓的向量的世界,叫做向量空间Vector Space)。

向量空间更严格的定义为:

定义 设 $V$ 为 $n$ 维向量的集合,如果集合 $V$ 非空,且集合 $V$ 对于向量的加法及数乘两种运算封闭,那么就称集合 $V$ 为向量空间。

所谓封闭,就是 $V$ 中向量的线性组合仍在 $V$ 中。即若 $\mathbf{u} \in V, \mathbf{v} \in V $,则 $c\mathbf{u} + d\mathbf{v} \in V$。

下面是一些向量空间的例子。

$\mathbb{R}$ 是一个向量空间,它表示整个 $x$ 轴,其中的每个向量都是一维向量,对应 $x$ 轴上的一点。$\mathbb{R}$ 中的任意两个向量的线性组合仍在 $\mathbb{R}$ 中,即 $\mathbb{R}$ 对其中向量的加法和向量的数乘封闭。

同理,$\mathbb{R}^2$ 是一个向量空间,它表示整个 $xy$ 二维平面,其中的每个向量都是二维向量,对应 $xy$ 平面中的一点。向量空间 $\mathbb{R}^3$ 对应 $xyz$ 三维空间,其中的每个向量都是三维向量,对应 $xyz$ 空间中的一点。

特别地,$\mathbb{R}^0$ 也是一个向量空间,它只包含零向量。

任何向量空间必须包含对应维度的零向量,这是因为对于任意向量 $\mathbf{u} \in \mathbb{R}^n$,有 $0\mathbf{u} = \mathbf{0} \in \mathbb{R}^n$。

子空间

定义 假设有向量集 $W$ 与向量空间 $V$,当 $W \subseteq V $,且满足以下三个条件:

  1. $ \mathbf{0} \in W $
  2. 当 $ \mathbf{u} \in W $ 且 $\mathbf{v} \in W$ 时,有 $\mathbf{u} + \mathbf{v} \in W$
  3. 当 $ \mathbf{u} \in W $ 时,有 $k\mathbf{u} \in W$,其中 $k$ 是任意常数(标量)

则称 $W$ 是 $V$ 的子空间Subspace)。

子空间也可以这样定义:

定义 设有向量空间 $V_1$ 及 $V_2$,若 $V_1 \subset V_2$,就称 $V_1$ 是 $V_2$ 的子空间。

利用封闭的定义,也可以说若 $W$ 是 $V$ 的子集,并且 $W$ 对向量的加法和数乘封闭,那么 $W$ 就是 $V$ 的子空间。
利用线性组合的定义,也可以说若 $W$ 是 $V$ 的子集,并且 $W$ 中向量的线性组合仍属于 $W$,那么 $W$ 就是 $V$ 的子空间。
利用向量空间的定义,也可以说当 $W$ 是包含于或等于 $V$ 的向量空间时,$W$ 就就是 $V$ 的子空间。

$\mathbb{R}^3$ 中过原点的平面是 $\mathbb{R}^3$ 的一个子空间:因为该平面中向量的线性组合仍然在该平面中,所以它是一个向量空间;又因为该平面在 $\mathbb{R}^3$ 中,因此它是 $\mathbb{R}^3$ 的一个子空间。注意这个平面与 $\mathbb{R}^2$ 是有区别的,$\mathbb{R}^2$ 仅仅是二维的平面,而这个平面是三维的平面,$\mathbb{R}^2$ 中的向量是二维的,而这个平面中的向量是三维的。

同理,$\mathbb{R}^3$ 中过原点的直线也是 $\mathbb{R}^3$ 的一个子空间。它包含于 $\mathbb{R}^3$ 表示的空间中,并且该直线中的向量的线性组合仍在该直线中。注意这个子空间是和 $\mathbb{R}$ 也是有区别的。

特别地,$\mathbb{R}^3$ 也是 $\mathbb{R}^3$ 的子空间。

注意不经过 $\mathbf{0}$ 点的平面或者直线并不是 $\mathbb{R}^3$ 的子空间,它们连向量空间都不是。

思考一个问题,在 $\mathbb{R}^n$ 中至少取多少个向量,才能使它们的线性组合构成 $\mathbb{R}^n$?我们先来看 $\mathbb{R}^3$ 的情况:假设我们只取 $1$ 个向量,那么这个向量的线性组合仅仅能够表示一条直线,它不等于 $\mathbb{R}^3$。假设我们取 $2$ 个线性无关的向量,那么它们的线性组合能够表示一个平面,它也不等于 $\mathbb{R}^3$。只有取 $3$ 个线性无关的向量时,它们的线性组合才能构成 $\mathbb{R}^3$。这仅仅是讨论了选取的向量线性无关时的情形,如果考虑线性相关的话,得出的结论将是选取向量的个数大于或等于 $3$ 时才能构成 $\mathbb{R}^3$。将维度提高到 $n$,就可以得到结论:在 $\mathbb{R}^n$ 中至少取 $n$ 个向量,才能使它们的线性组合构成 $\mathbb{R}^n$。换言之,如果在 $\mathbb{R}^n$ 中选取个数少于 $n$ 的向量,它们的线性组合仅仅能够成 $\mathbb{R}^n$ 的一个真子空间(即不等于 $\mathbb{R}^n$ 的子空间)。

一些子空间的记号:

  • $L$ 表示通过原点的直线
  • $P$ 表示通过原点的平面
  • $Z$ 表示 $\{\mathbf{0}\}$

列空间

方程组 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 什么时候有解?从 $\mathbf{A}$ 的列向量的角度来考虑:$\mathbf{A}\mathbf{x}$ 是 $\mathbf{A}$ 的列向量的一个线性组合(以 $\mathbf{x}$ 为系数),取不同的 $\mathbf{x}$,这个线性组合也不同,当考虑所有这样的线性组合时,这所有的线性组合就组成了一个向量空间。由于这个向量空间是由 $\mathbf{A}$ 的列向量的线性组合构成的,因此叫做 $\mathbf{A}$ 的列空间Column Space),记作 $C(\mathbf{A})$。回到 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 何时有解的问题上,我们说只有 $\mathbf{b} \in C(\mathbf{A})$ 时,方程组才有解。也就是说 $\mathbf{b}$ 必须是 $\mathbf{A}$ 的列向量的线性组合才有解,而这个解就是值等于 $\mathbf{b} $ 的线性组合的系数。

假设 $\mathbf{A}$ 是一个 $m\times n$ 的矩阵,那么 $\mathbf{A}$ 的每一列向量的维度都是 $m$,因此 $C(\mathbf{A})$ 是 $\mathbb{R}^m$ 的子空间。

方程比未知数多时,$\mathbf{A} \mathbf{x} = \mathbf{b}$ 为何不易有解?假设 $\mathbf{A}$ 是一个 $m \times n$ 的矩阵,即 $\mathbf{A}$ 的列向量个数为 $n$,列向量的维数(也就是列空间 $C(\mathbf{A})$ 的维数)是 $m$,方程比未知数多意味着 $m > n$,也就是列向量的个数小于列空间 $C(\mathbf{A})$ 的维数,因此列向量的线性组合 $\mathbf{A}\mathbf{x}$ 是列空间 $C(\mathbf{A})$ 的一个真子空间 $W$,即 $W \subsetneqq C(\mathbf{A})$,这说明 $W$ 的维数比 $C(\mathbf{A})$ 的维数小,两个集合相差一个维度,它们的差集是相当大的(想象一下 $\mathbb{R}^3$ 与 $\mathbb{R}^3$ 中的平面会差多少?)。而方程组有解仅仅要求 $\mathbf{b} \in C(\mathbf{A})$,此时 $\mathbf{b}$ 很可能不属于 $W$,因此方程组不易有解。

行空间

有列空间,当然就有行空间,行空间与列空间的定义类似,只是把列换成行:矩阵 $\mathbf{A}$ 中行向量的所有线性组合就是 $\mathbf{A}$ 的行空间Row Space),记作 $R(\mathbf{A})$。

假设 $\mathbf{A}$ 是一个 $m\times n$ 的矩阵,那么 $\mathbf{A}$ 的每一行向量的维度都是 $n$,因此 $R(\mathbf{A})$ 是 $\mathbb{R}^n$ 的子空间。

最小子空间

假设 $W$ 是向量空间 $V$ 的任意一子集(注意不一定是子空间),$S$ 是 $W$ 中所有向量的线性组合组成的集合(称为向量的张成Span)),即 $S = \{ \mathbf{s} \mid \mathbf{s} = c_1 \mathbf{w}_1 + c_2 \mathbf{w}_1 + \cdots + c_n \mathbf{w}_n \}$,其中 $c_1, c_2, \cdots, c_n \in \mathbb{R}$,则称 $S$ 是包含 $W$ 的最小子空间Smallest Subspace)。

零空间

现在我们来关注 $\mathbf{A}\mathbf{x} = \mathbf{0}$ 的解集 $\{\mathbf{x}\}$。显然 $\mathbf{x} = \mathbf{0}$ 是方程组的一个解。假设 $\mathbf{x}_1$ 和 $\mathbf{x}_2$ 都是这个方程组的解,那么有:$\mathbf{A}(\mathbf{x}_1 + \mathbf{x}_2) = \mathbf{A}\mathbf{x}_1 + \mathbf{A}\mathbf{x}_2 = \mathbf{0}$。假设 $\mathbf{x}$ 是方程组的解,那么 $\mathbf{A}(c\mathbf{x}) = c\mathbf{A}\mathbf{x} = \mathbf{0}$。由此可见,$\mathbf{A}\mathbf{x} = \mathbf{0}$ 的解集是一个向量空间。这个空间就叫做 $\mathbf{A}$ 的零空间Null Space),记为 $N(\mathbf{A})$。

假设 $\mathbf{A}$ 是一个 $m \times n$ 的矩阵,那么 $\mathbf{x}$ 就是一个 $n$ 维的向量,因此 $N(\mathbf{A})$ 是 $\mathbb{R}^n$ 的子空间。

因为对 $\mathbf{A}$ 的行变换不影响 $\mathbf{A}\mathbf{x}=\mathbf{0}$ 的解,因此 $N(\mathbf{A}) = N(\mathbf{U}) = N(\mathbf{R})$,其中 $\mathbf{U}$ 是 $\mathbf{A}$ 的行阶梯型矩阵(它是一个上三角矩阵,因此用 $U$ 表示),$\mathbf{R}$ 是 $\mathbf{A}$ 的行最简形矩阵。


求 $ \mathbf{A} = \begin{bmatrix} 1&1\\2&1 \end{bmatrix} $ 的零空间。

矩阵的列空间为: $ x_1 \begin{bmatrix} 1\\2 \end{bmatrix} + x_2 \begin{bmatrix} 1\\1 \end{bmatrix} $

显然 $\begin{bmatrix}x_1\\x_2\end{bmatrix} = \begin{bmatrix}0\\0\end{bmatrix}$ 一定是零空间中的向量。

又 $\because$ $\begin{bmatrix} 1\\2 \end{bmatrix}$ 与 $\begin{bmatrix} 1\\1 \end{bmatrix}$ 线性无关,$\therefore \not\exists$ 不全为 $0$ 的 $x_1$ 和 $x_2$,使得 $x_1 \begin{bmatrix} 1\\2 \end{bmatrix} + x_2 \begin{bmatrix} 1\\1 \end{bmatrix} = \mathbf{0}$。

综上,$ \begin{bmatrix} 1&1\\2&1 \end{bmatrix} $ 的零空间为 $N(\mathbf{A}) = \{ \begin{bmatrix}0\\0\end{bmatrix} \}$

上面的这个例子说明可逆矩阵(非奇异矩阵)的零空间只有 $(0,0)$。用列向量的语言来说,就是:如果 $\mathbf{A}$ 的列向量线性无关,那么 $N(\mathbf{A}) = Z$。用秩的语言说,就是:$R(A) = n$,($n$ 为未知数的个数),则 $N(\mathbf{A}) = Z$。下面我们再来看不可逆矩阵(奇异矩阵)的情况:


求 $ \mathbf{A} = \begin{bmatrix} 1&1\\2&2 \end{bmatrix} $ 的零空间。

使用消元法,将 $ \begin{bmatrix} 1&1\\2&2 \end{bmatrix} $ 转换为行阶梯型:$ \begin{bmatrix} 1&1\\0&0 \end{bmatrix} $

这相当于求 $x_1+x_2=0$ 的解。将 $x_2$ 看做自由未知数(或自由变量Free Variable),而 $x_1$ 作为非自由未知数Nonefree Variable)。则可以解得:$x_1 = -x_2$,令 $x_2 = 1$,则解得 $x_1 = -1$。因此 $\begin{bmatrix} -1 \\ 1 \end{bmatrix}$ 是属于 $N(\mathbf{A})$ 的一个向量。

上述过程,是一个求方程组特解Special Solution)的过程。

$x_1+x_2=0$ 是一个向量空间,它等于属于它的任一向量的线性组合。

因此,$N(\mathbf{A}) = \{ c \begin{bmatrix}-1\\1\end{bmatrix}, c \in \mathbb{R} \}$

通过上面这个例子我们得到一个重要结论:$\mathbf{A}\mathbf{x} = \mathbf{0}$ 的零空间是它的特解的所有线性组合。

如果有多个自由变量 $x_1, x_2, \cdots, x_n$,那么应该如何求特解呢?我们可以令 $x_1 = 1$,其余都为 $0$,求出一个特解,再令 $x_2 = 1$,其余为 $0$,再求出一个特解,如此往复,直到所有自由变量都用完为止。最后的零空间,就是所有这些特解的线性组合。我们通过下例来说明:


求 $ x_1 + 2x_2 + x_3 = 0 $ 的解。

令 $x_2 = 1, x_3 = 0$,解得 $(-2, 1, 0)$。
令 $x_3 = 1, x_2 = 0$,解得 $(-1, 0, 1)$。

方程的解为 $c_1 (-2,1,0) + c_2 (-1, 0, 1)$。

一个矩阵转换为行阶梯形 $U$ 或行最简形 $R$ 后,我们把含有主元的列称为主列Pivot Column),没有主元的列称为自由列Free Column)。

通过行最简形矩阵可以快速地找出特解,方法是对选取第一个自由列乘以系数 $1$,其他自由列置 $0$,而主列就是系数为 $1$ 的自由列的负数,再令第二个自由列乘以系数 $1$,其他自由列置 $0$,如此往复,直到所有的自由列用完为止。举个例子:


求下列行最简形矩阵 $\mathbf{R}$ 的零空间 $N(\mathbf{R})$:
$$ \mathbf{R} = \begin{bmatrix} \color{red}{1}&\color{red}{0}&\color{blue}{3}&\color{red}{0}&\color{blue}{2} \\ \color{red}{0}&\color{red}{1}&\color{blue}{5}&\color{red}{0}&\color{blue}{7} \\ \color{red}{0}&\color{red}{0}&\color{blue}{4}&\color{red}{1}&\color{blue}{3} \\ \color{red}{0}&\color{red}{0}&\color{blue}{0}&\color{red}{0}&\color{blue}{0} \\ \color{red}{0}&\color{red}{0}&\color{blue}{0}&\color{red}{0}&\color{blue}{0} \end{bmatrix} $$

红色为主列,蓝色为自由列。

将第一个自由列乘以系数 $1$,第二个自由列乘以系数 $0$,主列的解为第一个自由列的负数,于是第一个特解为:$$ \mathbf{s}_1 = \begin{bmatrix} \color{red}{-3}\\\color{red}{-5}\\\color{blue}{1}\\\color{red}{-4}\\\color{blue}{0} \end{bmatrix} $$

将第二个自由列乘以系数 $1$,第一个自由列乘以系数 $0$,主列的解为第二个自由列的负数,于是第二个特解为:$$ \mathbf{s}_2 = \begin{bmatrix} \color{red}{-2}\\\color{red}{-7}\\\color{blue}{0}\\\color{red}{-3}\\\color{blue}{1} \end{bmatrix} $$

于是:

$$ N(\mathbf{R}) = \{ c_1 \mathbf{s}_1 + c_2 \mathbf{s}_2 \} = \{ c_1 \begin{bmatrix} \color{red}{-3}\\\color{red}{-5}\\\color{blue}{1}\\\color{red}{-4}\\\color{blue}{0} \end{bmatrix} + c_2 \begin{bmatrix} \color{red}{-2}\\\color{red}{-7}\\\color{blue}{0}\\\color{red}{-3}\\\color{blue}{1} \end{bmatrix} \} \quad (c_1, c_2 \in \mathbb{R}) $$

上面这个列子中,我们取 $R$ 的前三行,则变成:$\mathbf{A} = \begin{bmatrix} 1&0&3&0&2 \\ 0&1&5&0&7 \\ 0&0&4&1&3 \end{bmatrix} $,它仍然有两个自由列。于是我们得到一个结论:假设 $\mathbf{A}$ 为 $m\times n$ 的矩阵,则当 $n > m$ 时,则至少存在一个自由列。此时 $N(\mathbf{A})$ 不为 $Z$,即 $\mathbf{A}\mathbf{x}=\mathbf{0}$ 有非零解。

左零空间

$\mathbf{A}$ 的左零空间Left Null Space)是指 $\mathbf{x}^T \mathbf{A} = \mathbf{0}$ 的解集。它与零空间类似,只不过是对 $\mathbf{A}$ 的行向量来求解的,比如下面的方程组:

$$ \begin{bmatrix} x_1 & x_2 & x_3 \end{bmatrix} \begin{bmatrix} 1&1&0 \\ 2&1&0 \\ 1&3&0 \end{bmatrix} = \begin{bmatrix} 0&0&0 \end{bmatrix} $$

我们要讨论的是什么样的行向量的线性组合能构成 $\begin{bmatrix} 0&0&0 \end{bmatrix}$,即找到 $x_1$, $x_2$, $x_3$ 使得下式成立:

$$ x_1 \begin{bmatrix} 1&1&0 \end{bmatrix} + x_2 \begin{bmatrix} 2&1&0 \end{bmatrix} + x_3 \begin{bmatrix} 1&3&0 \end{bmatrix} = \begin{bmatrix} 0 & 0 & 0 \end{bmatrix} $$

为了方便讨论,我们通常将 $\mathbf{x}^T \mathbf{A} = \mathbf{0}$ 的两边转置:$ \mathbf{A}^T \mathbf{x} = \mathbf{0} $,这样问题就转换为了求 $\mathbf{A}^T$ 的零空间。比如要找上面方程的左零空间,则将上面的方程两边转置:

$$ \begin{bmatrix} 1&2&1 \\ 1&1&3 \\ 0&0&0 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 0\\0\\0 \end{bmatrix} $$

化为行最简形:

$$ \begin{bmatrix} 1&0&5 \\ 0&1&-2 \\ 0&0&0 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 0\\0\\0 \end{bmatrix} $$

得到 $\mathbf{A}^T$ 的零空间为:

$$ N(\mathbf{A}^T) = \{ c \begin{bmatrix} -5 \\ 2 \\ 1 \end{bmatrix}, c \in \mathbb{R} \} $$

这同样也是 $\mathbf{A}$ 的左零空间。

假设 $\mathbf{A}$ 是一个 $m \times n$ 的矩阵,那么 $\mathbf{x}^T$ 就是一个 $m$ 维的向量,因此 $N(\mathbf{A}^T)$ 是 $\mathbb{R}^m$ 的子空间。

秩一矩阵

只有一个主元的矩阵为秩一矩阵,秩一矩阵的每一行都是主行的倍数,同时每一列也都是主列的倍数,例如:

$$ \mathbf{A} = \begin{bmatrix} 1&2&3 \\ 2&4&6 \\ 5&10&15 \end{bmatrix} \overset{r}{\sim} \begin{bmatrix} 1&2&3 \\ 0&0&0 \\ 0&0&0 \end{bmatrix} $$

可以看到这个矩阵的每一列都在直线 $ \mathbf{u} = \begin{bmatrix} 1 \\ 2 \\ 5 \end{bmatrix}$ 上,它们分别是 $\mathbf{u}$,$2\mathbf{u}$,$3\mathbf{u}$,把它们的系数写成 $\mathbf{v}^T = \begin{bmatrix} 1&2&3 \end{bmatrix}$,于是矩阵 $\mathbf{A}$ 就可以写成列乘以行的形式:

$$ \mathbf{u}\mathbf{v}^T = \begin{bmatrix} 1 \\ 2 \\ 5 \end{bmatrix} \begin{bmatrix} 1&2&3 \end{bmatrix} $$

现在 $\mathbf{A}\mathbf{x}=\mathbf{0}$ 就可以理解为 $\mathbf{u}(\mathbf{v}^T\mathbf{x}) = \mathbf{0}$,于是得到 $\mathbf{v}^T\mathbf{x} = \mathbf{0}$,即当秩为一时,$N(\mathbf{A})$ 是一个垂直于直线 $R(\mathbf{A})$ 的平面。

$\mathbf{A}\mathbf{x}=\mathbf{b}$ 的解

上面讨论了 $\mathbf{A}\mathbf{x}=\mathbf{0}$ 的解,即 $N(\mathbf{A})$,现在我们来考虑 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 的情况。假设有如下方程组:

$$ \left\{ \begin{array}{l} x_1 + 2x_3 + x_5 = 3 \\ 2x_1 + x_2 + 7x_3 + 4x_5 = 10 \\ 3x_1 + x_2 + 9x_3 + x_4 + 8x_5 = 18 \end{array} \right. $$

我们用消元法解这个方程组,首先写出它的增广矩阵:

$$ \begin{bmatrix} 1&0&2&0&1&3 \\ 2&1&7&0&4&10 \\ 3&1&9&1&8&18 \end{bmatrix} $$

对其做初等行变换,变换成行最简形矩阵:

$$ \xrightarrow[r_3-r_2]{\begin{array}{l} r_2-2r_1 \\ r_3 - 3r_1 \end{array}} \begin{bmatrix} 1&0&2&0&1&3 \\ 0&1&3&0&2&4 \\ 0&0&0&1&3&5 \end{bmatrix} $$

到这里我们看到,$1$,$2$ 和 $4$ 列式主列,而 $3$ 和 $5$ 列是自由列,这意味着 $x_3$ 和 $x_5$ 是自由变量。这个转换为行最简形矩阵形式的方程,我们将它表示为 $\mathbf{A} \mathbf{x} = \mathbf{d}$,在这里 $\mathbf{A} = \begin{bmatrix} 1&0&2&0&1 \\ 0&1&3&0&2 \\ 0&0&0&1&3 \end{bmatrix} $,$\mathbf{d} = \begin{bmatrix} 3 \\ 4 \\ 5 \end{bmatrix}$。把它转换为方程形式:

$$ \left\{ \begin{array}{l} x_1 + 2x_3 + x_5 = 3 \\ x_2 + 3x_3 + 2x_5 = 4 \\ x_4 + 3x_5 = 5 \end{array} \right. $$

解得:

$$ \begin{bmatrix} x_1 \\ x_2 \\ x_4 \end{bmatrix} = \begin{bmatrix} 3 - 2x_3 - x_5 \\ 4 - 3x_3 - 2x_5 \\ 5 - 3x_5 \end{bmatrix} $$

整理,得:


$$ \mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \\ x_5 \end{bmatrix} = \begin{bmatrix} 3 - 2x_3 - x_5 \\ 4 - 3x_3 - 2x_5 \\ x_3 \\ 5 - 3x_5 \\ x_5 \end{bmatrix} = \begin{bmatrix} 3 \\ 4 \\ 0 \\ 5 \\ 0 \end{bmatrix} + x_3 \begin{bmatrix} -2 \\ -3 \\ 1 \\ 0 \\ 0 \end{bmatrix} + x_5 \begin{bmatrix} -1 \\ -2 \\ 0 \\ -3 \\ 1 \end{bmatrix} \quad (x_3, x_5 \in \mathbb{R}) $$

有没有发现什么规律呢?首先看 $\begin{bmatrix} 3 \\ 4 \\ 0 \\ 5 \\ 0 \end{bmatrix}$,它是不是令所有自由变量($x_3$ 和 $x_5$)都为 $0$ 时的特解呢?当然是YES! 再来看 $ x_3 \begin{bmatrix} -2 \\ -3 \\ 1 \\ 0 \\ 0 \end{bmatrix} + x_5 \begin{bmatrix} -1 \\ -2 \\ 0 \\ -3 \\ 1 \end{bmatrix} $,这个线性组合是不是 $\mathbf{A}$ 的零空间呢 $N(\mathbf{A})$ 呢?仔细观察,它正是将 $\mathbf{d}$ 换成 $\mathbf{0}$ 的解,因此答案也是YES!

于是我们得到 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 的通解:

$$ \mathbf{x} = \mathbf{x}_p + \mathbf{x}_n $$

其中,$\mathbf{x}_p$ 是令自由变量为 $0$ 时方程组的特解,$\mathbf{x}_n$ 是系数矩阵 $\mathbf{A}$ 的零空间 $N(\mathbf{A})$。

秩与解

方程组 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 的解与系数矩阵 $\mathbf{A}$ 的秩 $R(\mathbf{A})$ 以及增广矩阵 $\mathbf{B}$ 的秩 $R(\mathbf{B})$ 有着密切的关系。

首先看 $R(\mathbf{A}) < R(\mathbf{B})$ 的情况,比如有如下的行最简形增广阵:

$$ \left[ \begin{array}{ccc|c} 1&0&2&0 \\ 0&1&3&0 \\ 0&0&0&1 \end{array} \right]$$

因为最后一行 $0=1$ 不可能有解,因此方程组 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 无解。

再来看 $R(\mathbf{A}) = R(\mathbf{B})$ 的情况,这种情况在上面已经讨论过了,它有解,并且它的解为:

$$ \mathbf{x} = \mathbf{x}_p + \mathbf{x}_n $$

进一步地,我们已经讨论过,当 $R(\mathbf{A}) = n$ ($n$ 为未知数的个数)时,$\mathbf{x}_n = \mathbf{0}$,这时方程组仅有一个解,即:$\mathbf{x} = \mathbf{x}_p$。而当 $R(\mathbf{A}) < n$ 时,解中一定存在自由变量,因此方程组有无限多解,即 $\mathbf{x} = \mathbf{x}_p + \mathbf{x}_n$。

综上,$n$ 元线性方程组 $\mathbf{A}\mathbf{x}=\mathbf{b}$

⑴ 无解的充分必要条件是 $R(\mathbf{A}) < R(\mathbf{A},\mathbf{b})$
⑵ 有惟一解的充分必要条件是 $R(\mathbf{A}) = R(\mathbf{A},\mathbf{b}) = n$
⑶ 有无限多解的充分必要条件是 $R(\mathbf{A}) = R(\mathbf{A},\mathbf{b}) < n$

线性相关性

向量基础里我们已经接触过向量组的线性相关性了,在这里我们通过方程组 $\mathbf{A}\mathbf{x} = \mathbf{0}$ 的角度再来阐述这个概念。

所谓 $\mathbf{A}$ 的列向量线性无关,是指 $\mathbf{A}\mathbf{x} = \mathbf{0}$ 的解只有零向量,也就是 $\mathbf{A}$ 的零空间 $N(\mathbf{A})$ 等于 $\mathbf{0}$。

从秩的角度看:当 $R(\mathbf{A}) = n$ 时,$\mathbf{A}\mathbf{x} = \mathbf{0}$ 有惟一解 $\mathbf{0}$,即 $N(\mathbf{A}) = \mathbf{0}$,因此 $\mathbf{A}$ 的列向量线性无关。当 $R(\mathbf{A}) < n$ 时,$\mathbf{A}\mathbf{x} = \mathbf{0}$ 的解中一定存在自由变量,因此方程组有无限多解,这就意味着 $\mathbf{A}\mathbf{x} = \mathbf{0}$ 存在非零解,此时 $\mathbf{A}$ 的列向量线性相关。这也说明了当 $n > m$ 时,$\mathbb{R}^m$ 中的 $n$ 个向量一定线性相关。

向量的张成与子空间

如果一个向量组的线性组合构成一个子空间,我们就说这组向量张成Span)为子空间。

一个矩阵的列向量张成为它的列空间。一个矩阵的行向量张成为它的行空间。

张成子空间的向量可以是线性无关的,也可以是线性相关的。如果是线性相关的,那么张成的子空间的维数会小于向量的个数;如果是线性无关的,那么张成的子空间的维数会等于向量个数。


描述 $ \begin{bmatrix} 1&2 \\ 3&6 \end{bmatrix} $ 的列空间。

由于两个列向量 $\begin{bmatrix} 1 \\ 3 \end{bmatrix}$ 和 $\begin{bmatrix} 2 \\ 6 \end{bmatrix}$ 是线性相关的,因此列空间为 $\mathbb{R}^2$ 中的一条直线。


 

描述 $ \begin{bmatrix} 1&2 \\ 1&3 \end{bmatrix} $ 的列空间。

由于两个列向量 $\begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 和 $\begin{bmatrix} 2 \\ 3 \end{bmatrix}$ 是线性无关的,因此列空间为 $\mathbb{R}^2$ 。


 

描述 $\mathbf{A} = \begin{bmatrix} 1&2 \\ 1&3 \\ 4&5 \end{bmatrix} $ 的列空间和行空间。

$\mathbf{A}$ 的两个列向量 $\begin{bmatrix} 1 \\ 1 \\ 4 \end{bmatrix}$ 和 $\begin{bmatrix} 2 \\ 3 \\ 5 \end{bmatrix}$ 是线性无关的,因此 $\mathbf{A}$ 的列空间为 $\mathbb{R}^3$ 中的一个平面。

$\mathbf{A}$ 的三个行向量 $\begin{bmatrix} 1&2 \end{bmatrix}$、$\begin{bmatrix} 1&3 \end{bmatrix}$、$\begin{bmatrix} 4&5 \end{bmatrix}$ 都是 $\mathbb{R}^2$ 中线性无关的向量,因此 $\mathbf{A}$ 的行空间为 $\mathbb{R}^2$。

向量空间的基

$\mathbb{R}^3$ 中的两个向量无法张成 $\mathbb{R}^3$,它只能张成 $\mathbb{R}^3$ 中的一个平面。$\mathbb{R}^3$ 中的四个向量可以张成 $\mathbb{R}^3$,但是他们一定是线性相关的,也就是说其中一个向量一定是另外三个向量的线性组合,因此总有一个向量是多余的。而 $\mathbb{R}^3$ 中三个线性无关的向量恰好能张成 $\mathbb{R}^3$,不多不少。我们将恰好能张成向量空间 $\mathbb{R}^n$ 的向量组称为 $\mathbb{R}^n$ 的一个Basis)。

更严格的定义如下:

定义 设 $V$ 为向量空间,如果 $r$ 个向量 $\mathbf{a}_1,\mathbf{a}_2,\cdots,\mathbf{a}_r \in V$,且满足:

(1) $\mathbf{a}_1,\mathbf{a}_2,\cdots,\mathbf{a}_r$ 线性无关
(2) $V$ 中任一向量都可由 $\mathbf{a}_1,\mathbf{a}_2,\cdots,\mathbf{a}_r$ 线性表示

那么,向量组 $\mathbf{a}_1,\mathbf{a}_2,\cdots,\mathbf{a}_r$ 就称为向量空间 $V$ 的一个Basis)。

基表示能够张成向量空间的最小向量集,向量空间中的每一个向量都可以用基的线性组合来表示,并且这个线性组合的系数是唯一的(证明)。


证明 假设 $\mathbf{v}_1,\mathbf{v}_2,\cdots,\mathbf{v}_n$ 是向量空间 $V$ 的一个基,证明有且仅有一组系数 $a_1,a_2,\cdots,a_n$,使得 $\mathbf{v} = a_1 \mathbf{v}_1 + a_2 \mathbf{v}_2 + \cdots + a_n \mathbf{v}_n$,其中 $\mathbf{v} \in V$。

假设存在两组系数使上式成立,有:

$ \mathbf{v} = a_1 \mathbf{v}_1 + a_2 \mathbf{v}_2 + \cdots + a_n \mathbf{v}_n \\ \mathbf{v} = b_1 \mathbf{v}_1 + b_2 \mathbf{v}_2 + \cdots + b_n \mathbf{v}_n $
两式相减,有:

$ (a_1 - b_1) \mathbf{v}_1 + (a_2 - b_2) \mathbf{v}_2 + \cdots + (a_n-b_n) \mathbf{v}_n = \mathbf{0} $

由于 $\mathbf{v}_1,\mathbf{v}_2,\cdots,\mathbf{v}_n$ 线性无关,因此 $a_1=b_1, a_2=b_2, \cdots, a_n=b_n$,结论得证。

在 $\mathbb{R}^n$ 中任取 $n$ 个线性无关的向量都可以作为 $\mathbb{R}^n$ 的基,因此一个向量空间的基有无限多个。其中有一组比较特殊的基——单位向量组成的基。这组基我们称之为标准基Standard basis)。例如 $\mathbb{R}^3$ 的标准基为:

$$ \begin{bmatrix} 1\\0\\0 \end{bmatrix} \quad\quad \begin{bmatrix} 0\\1\\0 \end{bmatrix} \quad \quad \begin{bmatrix} 0\\0\\1 \end{bmatrix}$$

下面是关于矩阵、向量空间和基的故事:

首先来看一个奇异矩阵:$ \begin{bmatrix} 1&1&2 \\ 0&2&2 \\ 1&2&3 \end{bmatrix} $,因为它的列向量是线性相关的,所以它的列向量无法组成向量空间 $\mathbb{R}^3$。而它的主列(第一列和第二列)是组成列空间的一组基。同样的,它的行向量也是线性相关的,所以它的行向量无法组成向量空间 $\mathbb{R}^3$。而它的主行(第一行和第二行)是组成行空间的一组基。

再来看一个非奇异矩阵:$ \begin{bmatrix} 1&0&1 \\ 0&1&0 \\ 1&1&2 \end{bmatrix} $,因为它的列向量是线性无关的,所以他的列向量可以组成向量空间 $\mathbb{R}^3$。同时 $\mathbb{R}^3$ 也是它的列空间。同样的,它的行向量也是线性无关的,所以他的行向量可以组成向量空间 $\mathbb{R}^3$。同时 $\mathbb{R}^3$ 也是它的行空间。

于是我们得到结论:

当 $n$ 阶方阵 $\mathbf{A}$ 为奇异矩阵时,它的主列(或主行)是列空间(或行空间)的一个基,但不是 $\mathbb{R}^n$ 的基。

当 $n$ 阶方阵 $\mathbf{A}$ 为非奇异矩阵时,它的列空间(行空间)是$\mathbb{R}^n$, 它的列(或行)是 $\mathbb{R}^n$ 的基。

向量空间的维数

我们首先给出向量空间维数的定义:

定义 假设向量空间 $V$ 的基中包含 $r$ 个向量,那么 $r$ 就是向量空间 $V$ 的维数,并称 $V$ 为 $r$ 维向量空间。

那么问题来了,一个向量空间 $V$ 的基中包含的向量个数是唯一的吗?当然是唯一的。我们用 $\mathbb{R}^3$ 来举个例子,$\mathbb{R}^3$ 的基中向量的个数不能是 $1$ 和 $2$,因为它们只能表示 $\mathbb{R}^3$ 中的一条直线或是平面。$\mathbb{R}^3$ 的基中向量的个数也不能是 $4$,按照基的定义,基中的向量是线性无关的,而 $\mathbb{R}^3$ 中的四个向量必定线性相关。因此 $\mathbb{R}^3$ 基中向量的个数一定是 $3$,不多不少。这就证明了 $\mathbb{R}^n$ 的基中包含的向量个数是唯一的(更严格的证明)。


证明 假设 $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_m$ 与 $\mathbf{w}_1, \mathbf{w}_2, \cdots, \mathbf{w}_n$ 都是向量空间 $X$ 的基,试证明 $m=n$。

用反证法。假设 $n > m$,由于 $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_m$ 是 $X$ 的基,因此任一 $\mathbf{w}_i$($1 \leqslant i \leqslant m $)都可以表示为 $ \mathbf{w}_i = a_{1i}\mathbf{v}_1 + a_{2i}\mathbf{v}_2 + \cdots + a_{mi}\mathbf{v}_m$,于是有:

$$ \mathbf{W} = \begin{bmatrix} \mathbf{w}_1 & \mathbf{w}_2 & \cdots & \mathbf{w}_n \end{bmatrix} = \begin{bmatrix} \mathbf{v}_1 & \mathbf{v}_2 & \cdots & \mathbf{v}_m \end{bmatrix} \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} = \mathbf{V} \mathbf{A} $$

其中 $\mathbf{A}$ 是一个 $m\times n $ 的矩阵。由于 $n > m$,因此 $\mathbf{A}$ 中一定存在自由列,使得 $\mathbf{A}\mathbf{x} = \mathbf{0}$ 存在非零解。由于 $\mathbf{V}$ 是非奇异矩阵(根据基的定义),因此 $\mathbf{V}\mathbf{A}\mathbf{x} = \mathbf{0}$ 存在非零解。即 $\mathbf{W}\mathbf{x} = \mathbf{0}$ 存在非零解。因此 $\mathbf{W}$ 的列向量,即 $\mathbf{w}_1, \mathbf{w}_2, \cdots, \mathbf{w}_n$ 线性相关,这与 $\mathbf{w}_1, \mathbf{w}_2, \cdots, \mathbf{w}_n$ 是 $X$ 的基不符,因此 $n \leqslant m$。

同理,假设 $m > n$,将上面证明中的 $\mathbf{v}$ 和 $\mathbf{w}$ 互换,可得结论 $m \leqslant n$。

于是得 $m = n$。证毕。

四个子空间的秩与维度

我们已经讨论了 $\mathbf{A}$ 的四个子空间:行空间,列空间,零空间,左零空间。本节讨论 $\mathbf{A}$ 的秩与它的子空间的维数的关系。

考虑下面 $3 \times 4$ 的矩阵:

$$ \mathbf{A} = \begin{bmatrix} 1&2&0&1 \\ 0&0&1&2 \\ 0&0&0&0 \end{bmatrix} $$

$\mathbf{A}$ 的最高阶子式为 $\begin{vmatrix} 1&0 \\ 0&1 \end{vmatrix}$,因此 $\mathbf{A}$ 的秩 $r=2$。

$\mathbf{A}$ 的主行为第一行和第二行,$\mathbf{A}$ 的行空间由它们张成,它们线性无关,所以是行空间的一个基,由此可知行空间的维数为 $2$。由于行向量的维数是 $n=4$,因此行空间为 $\mathbb{R}^n$ 的子空间。

于是得到:

结论1:$\mathbf{A}$ 的行空间是 $\mathbb{R}^n$ 的子空间,它的维数与 $\mathbf{A}$ 的秩相等,即 $\dim(R(\mathbf{A})) = r$。

$\mathbf{A}$ 的主列为第一列和第三列,$\mathbf{A}$ 的列空间由它们张成,它们线性无关,所以是列空间的一个基,由此可知列空间的维数为 $2$。由于列向量的维数是 $m=3$,因此列空间为 $\mathbb{R}^m$ 的子空间。

于是得到:

结论2:$\mathbf{A}$ 的列空间是 $\mathbf{R}^m$ 的子空间,它的维数与 $\mathbf{A}$ 的秩相等,即 $\dim(C(\mathbf{A})) = r$。

由于 $\mathbf{A}$ 的秩为 $r=2$,那么 $\mathbf{A}\mathbf{x} = \mathbf{0}$ 的解中存在 $n-r=4-2=2$ 个自由变量,因此零空间的维度为 $n-r=2$。由于 $\mathbf{A}\mathbf{x} = \mathbf{0}$ 的解 $\mathbf{x}$ 是 $n$ 维向量,因此零空间是 $\mathbb{R}^n$ 的子空间。

于是得到:

结论3:$\mathbf{A}$ 的零空间是 $\mathbb{R}^n$ 的子空间,它的维数等于 $n-r$,即 $\dim(N(\mathbf{A})) = n - r $。

由于 $\mathbf{A}^T$ 的秩为 $r=2$,那么 $\mathbf{A}^T\mathbf{x} = \mathbf{0}$ 的解中存在 $m-r=3-2=1$ 个自由变量,因此左零空间的维度为 $m-r=1$。由于 $\mathbf{A}^T\mathbf{x} = \mathbf{0}$ 的解 $\mathbf{x}$ 是 $m$ 维向量,因此左零空间是 $\mathbb{R}^m$ 的子空间。

于是得到:

结论4:$\mathbf{A}$ 的左零空间是 $\mathbb{R}^m$ 的子空间,它的维数等于 $m-r$,即 $\dim(N(\mathbf{A}^T)) = m - r$。

根据结论1和结论3,得:

结论5:$R(\mathbf{A}) \subseteq \mathbb{R}^n$,$N(\mathbf{A}) \subseteq \mathbb{R}^n$,$\dim(R(\mathbf{A})) + \dim(N(\mathbf{A})) = n $。

根据结论2和结论4,得:

结论6:$C(\mathbf{A}) \subseteq \mathbb{R}^m$,$N(\mathbf{A}^T) \subseteq \mathbb{R}^m$,$\dim(C(\mathbf{A})) + \dim(N(\mathbf{A}^T)) =m $。


以上就是向量空间的内容,感谢阅读!

版权声明:本文为原创文章,转载请注明出处。http://cynhard.com/2018/10/15/LA-Vector-Spaces/

推荐文章