一个错误的修正，也是本讲的引子

上一讲结尾，Strang 想给 $\mathbb{R}^3$ 换一组基，取了

$$\mathbf{v}_1=\begin{bmatrix}1\\1\\2\end{bmatrix},\quad \mathbf{v}_2=\begin{bmatrix}2\\2\\5\end{bmatrix},\quad \mathbf{v}_3=\begin{bmatrix}3\\3\\8\end{bmatrix}.$$

他以为第三个向量跳出了前两个张成的平面。课后一位学生指出：这组向量相关。

验证的方法不是硬解组合系数，而是看矩阵

$$A=\begin{bmatrix}1&2&3\\1&2&3\\2&5&8\end{bmatrix}.$$

第一行和第二行完全相同，所以 $A$ 不可逆，列必然相关。直接算也确实如此：

$$\mathbf{v}_1-2\mathbf{v}_2+\mathbf{v}_3=\mathbf{0}.$$

这个修正引出本讲的核心：行之间的关系会决定列的独立性。要讲清这件事，需要把行也当成一个空间来看。

时间轴

四个子空间

图：四个基本子空间：维数、基与两组正交关系。

对 $m\times n$ 矩阵 $A$：

行空间写成 $C(A^\top)$，只是把躺着的行向量转成列向量，方便沿用列空间的全部结论。左零空间的名字来自转置：

$$A^\top\mathbf{y}=\mathbf{0} \quad\Longleftrightarrow\quad \mathbf{y}^\top A=\mathbf{0}.$$

$\mathbf{y}^\top$ 是一个行向量，从左边乘 $A$，所以叫左零空间。

四个空间的位置关系

在 $\mathbb{R}^n$ 里放行空间与零空间，它们的维数相加为 $n$；在 $\mathbb{R}^m$ 里放列空间与左零空间，维数相加为 $m$。这两组空间分别把输入空间与输出空间「分干净」了——后面会看到，它们还是正交补。

四个基与四个维数

列空间：主元列

对 $A$ 消元，找出主元所在的列。取原矩阵 $A$ 的这些列，它们构成列空间的一组基，数量为 $r$。

为什么必须是 $A$ 的列而不是行简化形 $R$ 的列？因为行变换保持行空间，却会改变列空间。$R$ 的列空间一般与 $A$ 的不同。

行空间：$R$ 的前 $r$ 行

行变换是行与行之间的线性组合，因此行空间不变。把 $A$ 化成行简化形 $R$ 后，$R$ 的非零行就是一组基。

更准确地说：$R$ 的前 $r$ 行（非零行）构成行空间的基，维数为 $r$。这也顺带证明了行秩等于列秩：两者都等于主元个数。

零空间：特殊解

对每个自由变量，令它取 1、其余自由变量取 0，解出主元变量，得到一个特殊解。共有 $n-r$ 个，构成零空间的基。

左零空间：来自消元矩阵 $E$

左零空间的基不那么直观。做法是高斯-若尔当消元的「增广」版本：

$$[A \mid I]\ \longrightarrow\ [R \mid E],$$

其中 $E$ 记录了所有行变换，满足

$$EA=R.$$

$E$ 是 $m\times m$ 的。它的最后 $m-r$ 行构成左零空间的一组基。

一个小例子

取

$$A=\begin{bmatrix}1&2&3\\2&4&6\end{bmatrix}.$$

第二行是第一行的两倍，秩 $r=1$。消元：$r_2-2r_1=0$，对应的消元矩阵

$$E=\begin{bmatrix}1&0\\-2&1\end{bmatrix}.$$

$E$ 的最后 $m-r=1$ 行是 $(-2,1)$。验证：

$$(-2,1)\begin{bmatrix}1&2&3\\2&4&6\end{bmatrix}=(0,0,0).$$

它确实是左零空间的一组基。直观含义是：第二行减去两倍第一行得到零行，这个系数组合就是左零空间里的向量。

维数为什么这样分配

四个维数满足两条加法关系：

$$\dim C(A)+\dim N(A)=r+(n-r)=n,$$ $$\dim C(A^\top)+\dim N(A^\top)=r+(m-r)=m.$$

第一条对应「$n$ 个变量 = $r$ 个主元变量 + $n-r$ 个自由变量」；第二条把同样的逻辑用在 $A^\top$ 上——$A^\top$ 是 $n\times m$，有 $m$ 列，所以主元与自由变量相加为 $m$。

行秩等于列秩

这是本讲最重要的定理之一：

$$\dim C(A)=\dim C(A^\top)=r.$$

它解释了开头的错误：矩阵有两行相同，行空间维数至多为 2，因此列空间维数也至多为 2，三个列向量必然相关。

矩阵本身也可以构成向量空间

最后几分钟把「向量」的概念再拓宽一次。所有 $3\times3$ 矩阵构成一个向量空间 $M$：矩阵可以相加、可以乘标量，零矩阵是零元素。注意这里不使用矩阵乘法——向量空间只要求加法与数乘。

于是可以讨论子空间：

对角矩阵的基可以取三个「只有一个对角元为 1」的矩阵，因此维数为 3。

交与和

• 交 $S\cap U$：既对称又上三角，只能是对角矩阵，维数 3。
• 并不是子空间（两条不同方向的直线并起来，连加法都不封闭）。
• 和 $S+U$：任取一个对称矩阵加一个上三角矩阵，可以得到任意 $3\times3$ 矩阵，因此 $S+U=M$，维数 9。

维数满足

$$\dim S+\dim U=\dim(S\cap U)+\dim(S+U),$$

即 $6+6=3+9$。这不是巧合，而是子空间维数的普遍公式。

本讲结论

• 每个矩阵自带四个子空间，分别住在 $\mathbb{R}^m$ 与 $\mathbb{R}^n$。
• 四个基：$A$ 的主元列、$R$ 的前 $r$ 行、特殊解、$E$ 的最后 $m-r$ 行。
• 四个维数：$r,\ n-r,\ r,\ m-r$。
• 行秩等于列秩，这是「行约束列」的定量版本。
• 矩阵本身可以看作向量，从而拥有子空间、基与维数。

理解检验

1. 为什么列空间的基要取 $A$ 的主元列，而不能取 $R$ 的列？

参考答案：行变换保持行空间与零空间，却会改写列向量，因此 $C(R)\ne C(A)$ 一般不成立。$R$ 的列已经被消元改过，用它们张成的是另一个空间。

$A$ 的主元列则同时无关且张成 $C(A)$：行变换不改变列之间的线性关系，所以主元列在 $R$ 中对应的列无关，$A$ 的主元列也无关；又因为 $R$ 的每一列都是其主元列的组合，且组合系数在行变换前后不变，所以 $A$ 的每一列也是 $A$ 的主元列的同一组合。两组性质合起来，$A$ 的主元列构成 $C(A)$ 的基，个数为 $r$。

2. 消元矩阵 $E$ 的最后 $m-r$ 行为什么是左零空间的基？

参考答案：由 $EA=R$ 可知 $R$ 的第 $i$ 行等于 $E$ 的第 $i$ 行左乘 $A$。矩阵 $R$ 只有前 $r$ 行非零，第 $r+1$ 到第 $m$ 行全为零行，所以对这些行有

$$E_i A=\mathbf{0}\quad\Longleftrightarrow\quad A^\top E_i^\top=\mathbf{0},$$

即 $E$ 的最后 $m-r$ 行都属于左零空间 $N(A^\top)$（写成行向量）。它们线性无关，因为 $E$ 可逆（它是若干初等矩阵的乘积，行列式非零）。而 $\dim N(A^\top)=m-r$，所以这 $m-r$ 个无关向量恰好构成一组基。

3. 一个 $4\times6$ 矩阵秩为 2，四个子空间的维数各是多少？它们分别住在哪个 $\mathbb{R}^k$？

参考答案：$m=4,\ n=6,\ r=2$。

校验：$2+4=6=n$，$2+2=4=m$。注意列空间与左零空间都在 $\mathbb{R}^4$ 里，行空间与零空间都在 $\mathbb{R}^6$ 里。

4. 对称矩阵空间与上三角矩阵空间的交、和分别是什么？维数是否满足加法公式？

参考答案：在 $3\times3$ 矩阵空间中，设 $S$ 为对称矩阵、$U$ 为上三角矩阵。

• 交 $S\cap U$：既对称又上三角。上三角矩阵满足 $i>j$ 时 $a_{ij}=0$，对称性又要求 $a_{ji}=a_{ij}$，于是所有非对角元都为 $0$，只剩对角矩阵，$\dim(S\cap U)=3$。
• 和 $S+U$：任取一个对称矩阵与一个上三角矩阵相加可以得到任意矩阵。一个构造是：对任意 $M$，把 $M$ 的下三角部分（不含对角）单独拿出来，其转置是上三角的，两者相加恰好还原 $M$ 的对角及以下部分；剩余部分用上三角补上。所以 $S+U=M$，$\dim(S+U)=9$。

代入公式

$$\dim S+\dim U=6+6=12=3+9=\dim(S\cap U)+\dim(S+U),$$

满足。

5. 如果一个矩阵有两行相同，你能立刻对它的秩说什么？

参考答案：两行相同意味着这两行线性相关，所以行空间维数至多为 $m-1$，由行秩等于列秩，

$$\operatorname{rank}(A)=\dim C(A^\top)\le m-1<m .$$

也就是说矩阵不是满行秩，$A^\top$ 必有非零零空间（左零空间维数至少为 $1$）；若 $A$ 是方阵，则 $A$ 不可逆。对列的影响是：当 $n\ge m$ 时列数不少于秩的上界，列必然相关——这正是本讲开头 $3\times3$ 例子中「第一行与第二行相同 $\Rightarrow$ 三列相关」的道理。

与前后课程的关系

上一讲定义了无关、基与维数；这一讲把它们一次性用在矩阵的四个子空间上。下一讲继续拓宽「向量空间」的边界：矩阵空间、函数空间，以及秩一矩阵作为所有矩阵的积木。

An error corrected, and the lecture it opens

At the end of the previous lecture Strang tried to replace the standard basis of $\mathbb{R}^3$ with

$$\mathbf{v}_1=\begin{bmatrix}1\\1\\2\end{bmatrix},\quad \mathbf{v}_2=\begin{bmatrix}2\\2\\5\end{bmatrix},\quad \mathbf{v}_3=\begin{bmatrix}3\\3\\8\end{bmatrix},$$

assuming the third vector stepped out of the plane spanned by the first two. A student pointed out that the three are dependent.

The check does not require solving for coefficients. Form the matrix

$$A=\begin{bmatrix}1&2&3\\1&2&3\\2&5&8\end{bmatrix}.$$

Rows one and two are identical, so $A$ is singular and its columns must be dependent. Direct calculation confirms

$$\mathbf{v}_1-2\mathbf{v}_2+\mathbf{v}_3=\mathbf{0}.$$

The lesson opens the lecture: relations among rows constrain the columns. To say that precisely, rows have to be treated as a space of their own.

Timeline

The four subspaces

Figure：The four subspaces: dimensions, bases and orthogonality。

For an $m\times n$ matrix $A$:

Writing the row space as $C(A^\top)$ just stands the rows up so that every fact proved for column spaces applies. The left null space earns its name by transposing:

$$A^\top\mathbf{y}=\mathbf{0} \quad\Longleftrightarrow\quad \mathbf{y}^\top A=\mathbf{0}.$$

Now $\mathbf{y}^\top$ is a row vector multiplying $A$ from the left.

Where the spaces sit

In $\mathbb{R}^n$, the row space and null space have dimensions adding to $n$. In $\mathbb{R}^m$, the column space and left null space have dimensions adding to $m$. Each pair splits one ambient space completely — and, as later lectures show, each pair is an orthogonal complement.

Four bases, four dimensions

Column space: the pivot columns

Run elimination on $A$ and identify the pivot columns. Take those columns from the original $A$; they form a basis, and there are $r$ of them.

Why not the pivot columns of the reduced form $R$? Because row operations preserve the row space but change the column space. The columns of $R$ generally span a different space.

Row space: the first $r$ rows of $R$

Row operations combine rows with rows, so the row space is unchanged. Once $A$ is reduced to $R$, the nonzero rows of $R$ form a basis.

More precisely, the first $r$ (nonzero) rows of $R$ form a basis of the row space. This also proves row rank equals column rank: both count pivots.

Null space: the special solutions

For each free variable, set it to 1 and the other free variables to 0, then solve for the pivot variables. The $n-r$ resulting vectors form a basis of the null space.

Left null space: via the elimination matrix $E$

This basis is less immediate. Use the augmented Gauss-Jordan form:

$$[A \mid I]\ \longrightarrow\ [R \mid E],$$

where $E$ records every row operation and satisfies

$$EA=R.$$

$E$ is $m\times m$. Its last $m-r$ rows form a basis of the left null space.

A small example

Take

$$A=\begin{bmatrix}1&2&3\\2&4&6\end{bmatrix}.$$

The second row is twice the first, so $r=1$. Elimination does $r_2-2r_1=0$, and the elimination matrix is

$$E=\begin{bmatrix}1&0\\-2&1\end{bmatrix}.$$

Its last $m-r=1$ row is $(-2,1)$. Check:

$$(-2,1)\begin{bmatrix}1&2&3\\2&4&6\end{bmatrix}=(0,0,0).$$

So $(-2,1)$ is a basis of the left null space. The meaning is concrete: row two minus twice row one gives the zero row, and those coefficients are the vector.

Why the dimensions split this way

The four dimensions satisfy two additive relations:

$$\dim C(A)+\dim N(A)=r+(n-r)=n,$$ $$\dim C(A^\top)+\dim N(A^\top)=r+(m-r)=m.$$

The first mirrors "$n$ variables = $r$ pivot variables + $n-r$ free variables". The second applies the same logic to $A^\top$, which is $n\times m$ and therefore has $m$ columns.

Row rank equals column rank

This is the central theorem of the lecture:

$$\dim C(A)=\dim C(A^\top)=r.$$

It resolves the opening error: two identical rows mean the row space has dimension at most 2, so the column space does too, and three columns must be dependent.

Matrices are themselves vectors

The last minutes widen the definition once more. All $3\times3$ matrices form a vector space $M$: they can be added and scaled, and the zero matrix is the zero element. Note that matrix multiplication is not used — a vector space only needs addition and scalar multiplication.

Subspaces follow:

A basis of $D$ is the three matrices with a single 1 on one diagonal position, so the dimension is 3.

Intersection and sum

• Intersection $S\cap U$: symmetric and upper triangular forces diagonal, dimension 3.
• Union is not a subspace: two differently directed lines fail closure under addition.
• Sum $S+U$: any symmetric plus any upper triangular can produce an arbitrary $3\times3$ matrix, so $S+U=M$, dimension 9.

Dimensions obey

$$\dim S+\dim U=\dim(S\cap U)+\dim(S+U),$$

that is, $6+6=3+9$. This is not a coincidence but a general formula for subspaces.

Takeaways

• Every matrix carries four subspaces, living in $\mathbb{R}^m$ and $\mathbb{R}^n$.
• Bases: pivot columns of $A$, first $r$ rows of $R$, special solutions, last $m-r$ rows of $E$.
• Dimensions: $r$, $n-r$, $r$, $m-r$.
• Row rank equals column rank — the quantitative form of "rows constrain columns".
• Matrices can be treated as vectors, with their own subspaces, bases, and dimensions.

Check your understanding

1. Why must a column-space basis use the pivot columns of $A$ rather than the columns of $R$?

Reference answer: Row operations preserve the row space and the null space but rewrite the columns, so generally $C(R)\ne C(A)$. The columns of $R$ have been altered by elimination and span a different space.

The pivot columns of $A$ are both independent and spanning for $C(A)$: row operations do not change linear relations among columns, so the pivot columns of $A$ are independent because their counterparts in $R$ are; and every column of $R$ is a combination of its pivot columns with coefficients unchanged by the row operations, so every column of $A$ is the same combination of the pivot columns of $A$. Hence the pivot columns of $A$ form a basis of $C(A)$, and there are $r$ of them.

2. Why do the last $m-r$ rows of the elimination matrix $E$ form a basis of the left null space?

Reference answer: From $EA=R$, the $i$-th row of $R$ equals the $i$-th row of $E$ times $A$. Since $R$ has only $r$ nonzero rows, rows $r+1,\dots,m$ are zero, so for each of them

$$E_i A=\mathbf{0}\quad\Longleftrightarrow\quad A^\top E_i^\top=\mathbf{0},$$

meaning the last $m-r$ rows of $E$ (read as row vectors) lie in $N(A^\top)$. They are linearly independent because $E$ is invertible, being a product of elementary matrices with nonzero determinant. Since $\dim N(A^\top)=m-r$, these $m-r$ independent vectors form a basis.

3. For a $4\times6$ matrix of rank 2, give the four dimensions and the ambient space of each.

Reference answer: $m=4$, $n=6$, $r=2$.

Check: $2+4=6=n$ and $2+2=4=m$. The column and left null spaces live in $\mathbb{R}^4$; the row and null spaces live in $\mathbb{R}^6$.

4. What are the intersection and sum of the symmetric and upper triangular matrix spaces? Do the dimensions satisfy the formula?

Reference answer: In the space of $3\times3$ matrices, let $S$ be symmetric and $U$ upper triangular.

• Intersection $S\cap U$: a matrix that is both. Upper triangular means $a_{ij}=0$ for $i>j$; symmetry forces $a_{ji}=a_{ij}$, so all off-diagonal entries vanish. The intersection is the diagonal matrices, of dimension $3$.
• Sum $S+U$: every matrix is a sum of a symmetric and an upper triangular matrix. One construction: for an arbitrary $M$, take the strictly lower triangular part separately; its transpose is upper triangular, and adding the two recovers the diagonal-and-below part of $M$; the rest is upper triangular. Hence $S+U=M$ and $\dim(S+U)=9$.

Substituting,

$$\dim S+\dim U=6+6=12=3+9=\dim(S\cap U)+\dim(S+U),$$

so the formula holds.

5. If a matrix has two identical rows, what can you say immediately about its rank?

Reference answer: Two identical rows are linearly dependent, so the row space has dimension at most $m-1$; since row rank equals column rank,

$$\operatorname{rank}(A)=\dim C(A^\top)\le m-1<m .$$

So the matrix is not of full row rank, $A^\top$ has a nontrivial null space (left null space of dimension at least $1$), and if $A$ is square it is singular. On the column side: when $n\ge m$, the columns are necessarily dependent — exactly the lesson of the opening $3\times3$ example, where identical first and second rows forced the three columns to be dependent.

How this connects to the course

The previous lecture defined independence, basis, and dimension. This one applies them to a matrix's four subspaces. The next lecture widens "vector space" again: matrix spaces, function spaces, and rank-one matrices as the building blocks of all matrices.