线性代数 - 对称矩阵及二次型

概述

对称矩阵是比较特殊的矩阵,它的特征值都为实数,并且它的特征向量两两正交。而二次型就是形如 $z = x^2+xy+y^2$ 这样的每项的次数都为 $2$ 的多项式。本篇就来讨论对称矩阵与二次型。

继续阅读全文 »

线性代数 - 解线性方程组

概述

解线性方程组是线性代数中最重要的课题之一,今天我们就来讲解相关概念和线性方程组的解法。

什么是线性方程组?考虑下面的方程组:


$$ \left\{ \begin{array}{rl} 2x + y = 5 \\ x - y = 1 \end{array} \right. \tag{1} $$

可以发现方程组的未知数 $x$ 和 $y$ 都是一次的,而且不存在 $xy$ 这样的项。这样的方程组就是线性方程组。

为了更直观地理解什么是线性方程组,我们首先从行图和列图入手。

继续阅读全文 »

线性代数 - 奇异值分解

概述

特征值与特征向量 一篇中我们讨论了 $n$ 阶对称矩阵 $\mathbf{S}$ 的对角化。即任一对称矩阵 $\mathbf{S}$ 都可以分解为 $\mathbf{Q} \boldsymbol{\Lambda} \mathbf{Q}^T$。本篇将介绍任一 $m \times n$ 的矩阵 $\mathbf{A}$ 的对角化,即奇异值分解Singular Value Decomposition)。任一 $m \times n$ 的矩阵 $\mathbf{A}$ 都可以分解为一个 $m \times m$ 的正交矩阵 $\mathbf{U}$,一个 $m \times n$ 的对角矩阵 $\boldsymbol{\Sigma}$ 以及一个 $n \times n$ 的正交矩阵 $\mathbf{V}$ 的转置 $\mathbf{V}^T$ 的乘积,即:

$$ \mathbf{A} = \mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^T $$

$\mathbf{A}$ 为什么可以如此分解呢?首先来看奇异值分解的原理。

继续阅读全文 »

线性代数 - 正交与投影

向量的正交

什么是向量的正交?观察下图中的两对向量,猜猜哪一对是正交?

图1 - 猜猜哪个是正交?

继续阅读全文 »

线性代数 - 向量空间

概述

造物主让我们生活在三维的世界里。我们吃的,喝的,看到的,摸到的都是三维的物体。谁也制造不出二维或四维的东西,对一个物体进行锤、打、捏、揉,甚至进行原子重组,也改变不了这个物体的维数。我们并没有二维化或者四维化这种只出现在科幻小说里的操作(也许以后会有,谁知道呢?)。今天我们要讨论的向量,也存在于它们的世界里。

继续阅读全文 »