三元、四元方程,与二元方程无本质的不同,皆是线性方程。

记作:

简单计算 使用初等行变换,或者行列式?法则来求。

问题来了,A是奇异的,或者非方阵,怎么办?

举个例子,大数据分析中的数据拟合,最简单的线性拟合:

是向量 和向量 的向量空间,该空间是一个三维平面,但向量 明显不在这个平面上,是导致该超定方程组无解的原因。

但是,向量 可以在向量空间中投影得到 ,求解 就能得到结果。

超定方程,有一个近似解,称之为最小二乘解。

最小二乘解(未知量个数不大于方程个数)

未知量的数量不大于方程的数量,称该方程是矛盾的或超定的。这种情况下,方程组无解。求解该方程就变成了寻找一个(组)向量 使得 到最小。

根据投影已知,此时方程的最小二乘解是: ,下面给出证明。

证明:首先构造目标函数:

很明显,函数 为二次型函数。由于 ,因此二次项是正定的。利用局部极小点 的一阶必要条件,可求得 的唯一极小点,即极小点满足:

不定方程有很多解,但是离原点最近的只有一个,如何求这个最近的点?

方程的数量不大于未知量的数量。因此,该方程组可能存在无数个解。但是,接下来将发现,只存在一个最接近原点的解,即 的解中范数 最小的 。也就是说, 是如下优化问题的解:

直接给出结论,此时问题的最小范数解是: (注意与上面最小二乘解的形式的区别),下面给出证明。

韩信带1500名兵士打仗,战死四五百人,站3人一排,多出2人;站5人一排,多出4人;站7人一排,多出3人。韩信很快说出人数:1004。

再看方程1,从35的整数倍中寻找一个 的,35就可以。还能有谁呢?

70不行,105也不行,140可以,所以以下都可以:

由于,三次项系数为0,可得: