【机器学习|数学基础】Mathematics for Machine Learning系列之线性代数(13):线性方程组的解的结构

883 阅读3分钟

小知识,大挑战!本文正在参与“程序员必备小知识”创作活动。

前言

Hello!小伙伴!

非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出~

 

自我介绍 ଘ(੭ˊᵕˋ)੭

昵称:海轰

标签:程序猿|C++选手|学生

简介:因C语言结识编程,随后转入计算机专业,有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python

学习经验:扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语!

 

机器学习小白阶段

文章仅作为自己的学习笔记 用于知识体系建立以及复习

知其然 知其所以然!

若查看数学公式不全或显示错误

可以查看:MML学习笔记(十三):线性方程组的解的结构

4.4 线性方程组的解的结构

解向量

设有齐次线性方程组

{a11x1+a12x2+....+a1nxn=0a21x1+a22x2+...+a2nxn=0...........am1x1+am2x2+....+amnxn=0\begin{cases} a_{11}x_1+a_{12}x_2+....+a_{1n}x_n=0 \\ a_{21}x_1+a_{22}x_2+...+a_{2n}x_n=0\\ ...........\\ a_{m1}x_1+a_{m2}x_2+....+a_{mn}x_n=0\\ \end{cases}

A=[a11a12...a1na21a22...a2n......am1am2...amn]x=[x1x2...xn]A=\begin{bmatrix} a_{11} & a_{12} &... & a_{1n}\\ a_{21} & a_{22} & ... &a_{2n}\\ . & . & & . \\ . & . & & . \\ a_{m1} & a_{m2} &... & a_{mn}\\ \end{bmatrix} ,x=\begin{bmatrix} x_1\\ x_2\\ .\\ .\\ .\\ x_n \end{bmatrix}

Ax=0Ax=\boldsymbol0

x1=ζ11,x2=ζ21,....,xn=ζn1x_1=\zeta_{11},x_2=\zeta_{21},....,x_n=\zeta_{n1}为方程的解,则

x=ζ1=[ζ11ζ21...ζn1]x=\zeta_1=\begin{bmatrix} \zeta_{11}\\ \zeta_{21}\\ .\\ .\\ .\\ \zeta_{n1}\\ \end{bmatrix}

称为方程组的解向量(所有解中的一个解,在有解的情况下)

性质1

x=ζ1,x=ζ2x=\zeta_1,x=\zeta_2都为方程Ax=0Ax=\boldsymbol0的解,则x=ζ1+ζ2x=\zeta_1+\zeta_2也是方程Ax=0Ax=\boldsymbol0的解

证明:

因为x=ζ1,x2=ζ2x=\zeta_1,x_2=\zeta_2为方程Ax=0Ax=\boldsymbol0的解

所以

Aζ1=0,Aζ2=0A\zeta_1=\boldsymbol0,A\zeta_2=\boldsymbol0

那么

A(ζ1+ζ2)=Aζ1+Aζ2=0+0=0A(\zeta_1+\zeta_2)=A\zeta_1+A\zeta_2=\boldsymbol0+\boldsymbol0=\boldsymbol0

所以x=ζ1+ζ2x=\zeta_1+\zeta_2也是方程Ax=0Ax=0的解

性质2

x=ζ1x=\zeta_1为方程Ax=0Ax=\boldsymbol0的解,kk为实数,则x=kζ1x=k\zeta_1也是方程Ax=0Ax=\boldsymbol0的解

证明:

因为x=ζ1x=\zeta_1为方程Ax=0Ax=\boldsymbol0的解

所以有

Aζ1=0A\zeta_1=\boldsymbol0

那么

A(kζ1)=k(Aζ1)=k0=0A(k\zeta_1)=k(A\zeta_1)=k*\boldsymbol0=\boldsymbol0

所以x=kζ1x=k\zeta_1也是方程Ax=0Ax=\boldsymbol0的解

通解(齐次线性方程组)

方程Ax=0Ax=\boldsymbol0的全体解所组成的集合记作SS

SS中存在一个最大无关组S0:ζ1,ζ2,...,ζtS_0:\zeta_1,\zeta_2,...,\zeta_t

使得方程Ax=0Ax=\boldsymbol0任一解都可以由S0S_0线性表示;

另一方面,S0S_0的任意线性组合x=k1ζ1+k2ζ2+....+ktζtx=k_1\zeta_1+k_2\zeta_2+....+k_t\zeta_t都是方程Ax=0Ax=\boldsymbol0的解

所以x=k1ζ1+k2ζ2+....+ktζtx=k_1\zeta_1+k_2\zeta_2+....+k_t\zeta_t称为通解

基础解系(齐次线性方程组)

齐次线性方程组的解集的最大无关组称为该齐次线性方程组的基础解系

若要求齐次线性方程组的通解,则只需要求出它的基础解系

定理7

m×nm×n矩阵AA的秩R(A)=rR(A)=r,则nn元齐次线性方程组Ax=0Ax=\boldsymbol0的解集SS的秩R(S)=nrR(S)=n-r

举例

例12

求齐次线性方程组{x1+x2x3x4=02x15x2+3x3+2x4=07x17x+3x3+x4=0\begin{cases} x_1 + x_2 - x_3 -x_4=0\\ 2x_1 - 5x_2 + 3x_3+2x_4=0\\ 7x_1-7x_+3x_3+x_4=0 \end{cases}的基础解系与通解

解答:

对系数方程进行初等行变换,得到行最简矩阵

A=[111125327731][1027370157470000]A=\begin{bmatrix} 1 & 1 & -1 & -1\\ 2 & -5 & 3 & 2\\ 7 &- 7 & 3 &1 \end{bmatrix}\sim\begin{bmatrix} 1 & 0 & -\frac{2}{7} & -\frac{3}{7}\\ 0 & 1 & -\frac{5}{7} & -\frac{4}{7}\\ 0 & 0 & 0 & 0 \end{bmatrix}

从而

{x127x337x4=0x257x347x4=0\begin{cases} x_1 -\frac{2}{7}x_3 -\frac{3}{7}x_4=0\\ x_2 -\frac{5}{7}x_3 -\frac{4}{7}x_4=0 \end{cases}

x3=c1,x4=c2x_3=c_1,x_4=c_2,有

{x1=27c1+37c2x2=57c1+47c2x3=c1x4=c2\begin{cases} x_1 =\frac{2}{7}c_1 +\frac{3}{7}c_2\\ x_2 =\frac{5}{7}c_1 +\frac{4}{7}c_2\\ x_3=c_1\\ x_4=c_2 \end{cases}

得到通解

x=[x1x2x3x4]=c1[275700]+c2[374700]x=\begin{bmatrix} x_1\\ x_2\\ x_3\\ x_4 \end{bmatrix}=c_1\begin{bmatrix} \frac{2}{7}\\ \frac{5}{7}\\ 0\\ 0 \end{bmatrix}+c_2\begin{bmatrix} \frac{3}{7}\\ \frac{4}{7}\\ 0\\ 0 \end{bmatrix}

例13

Am×nBn×l=0A_{m×n}B_{n×l}=0,证明R(A)+R(B)nR(A)+R(B)\leq n

证明:

B=(b1,b2,...,bl)B=(b_1,b_2,...,b_l),则有

A(b1,b2,...,bl)=(0,0,...,0)A(b_1,b_2,...,b_l)=(0,0,...,0)

Abi=0(i=1,2,...,l)Ab_i=0(i=1,2,...,l)

说明bib_i是齐次方程Ax=0Ax=0的一个解(BB中的每一个列向量都是方程Ax=0Ax=0的解)

令方程Ax=0Ax=0的解集为SS

因为biS(BSB是解集S的子集)b_i \in S(B \subseteq S,B是解集S的子集)

所以

R(b1,b2,...,bl)R(S)R(b_1,b_2,...,b_l)\leq R(S)

R(B)R(S)R(B) \leq R(S)

又由定理7可知

R(A)+R(S)=nR(A)+R(S)=n

综上,得

R(A)+R(B)nR(A)+R(B)\leq n

例14

nn元齐次线性方程组Ax=0Ax=0Bx=0Bx=0同解,证明R(A)=R(B)R(A)=R(B)

证明:

因为方程组Ax=0Ax=0Bx=0Bx=0同解,设其共同的解集为SS

由定理7可知

R(A)=nR(S)R(A)=n-R(S)

R(B)=nR(S)R(B)=n-R(S)

所以 R(A)=R(B)R(A)=R(B)

Note:当矩阵AABB的列数相等时,若需要证明R(A)=R(B)R(A)=R(B),则只需要证明齐次方程Ax=0Ax=0Bx=0Bx=0同解

例15

证明:R(ATA)=R(A)R(A^TA)=R(A)

证明:

由例14可知,若需要证明R(ATA)=R(A)R(A^TA)=R(A)

则只需要证明齐次方程Ax=0Ax=0(ATA)x=0(A^TA)x=0同解

情况一:当Ax=0Ax=0

(AT)Ax=AT(Ax)=AT0=0(A^T)Ax=A^T(Ax)=A^T0=0

说明x是两个方程的同一个解

情况二:当(ATA)x=0(A^TA)x=0

xT(ATA)x=0x^{T} (A^TA)x=0

xTATAx=0x^TA^TAx=0

(Ax)TAx=0(Ax)^TAx=0

则可以说明Ax=0Ax=0

矩阵A=0A=0的充分必要条件是方阵ATA=0A^TA=0

综合情况一和二

可以知道方程Ax=0Ax=0(ATA)x=0(A^TA)x=0同解

性质3

非齐次线性方程组

{a11x1+a12x2+...+a1nxn=b1a21x1+a22x2+...+a2nxn=b2..................an1x1+an2x2+...+annxn=bn\begin{cases} a_{11}x_1 + a_{12}x_2 +... + a_{1n}x_n=b_1\\ a_{21}x_1 + a_{22}x_2 +... + a_{2n}x_n=b_2\\ ..................\\ a_{n1}x_1 + a_{n2}x_2 +... + a_{nn}x_n=b_n\\ \end{cases}

也可以记作

Ax=bAx=b

x=η1x=\eta_1x=η2x=\eta_2都是方程Ax=bAx=b的解,则x=η1η2x=\eta_1-\eta_2是对应齐次方程Ax=0Ax=0的解

证明:

因为x=η1x=\eta_1x=η2x=\eta_2是方程Ax=bAx=b的解

Aη1=bAη2=bA\eta_1=b、A\eta_2=b

那么

A(η1η2)=Aη1Aη2=bb=0A(\eta_1-\eta_2)=A\eta_1 - A\eta_2 = b - b = 0

所以x=η1η2x=\eta_1-\eta_2是对应齐次方程Ax=0Ax=0的解

结语

说明:

  • 参考于 课本《线性代数》第五版 同济大学数学系编
  • 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记,记录从0到1的一个过程

希望对您有所帮助,如有错误欢迎小伙伴指正~

我是 海轰ଘ(੭ˊᵕˋ)੭

如果您觉得写得可以的话,请点个赞吧

谢谢支持 ❤️