三元、四元方程,与二元方程无本质的不同,皆是线性方程。
记作:
简单计算 使用初等行变换,或者行列式?法则来求。
问题来了,A是奇异的,或者非方阵,怎么办?
举个例子,大数据分析中的数据拟合,最简单的线性拟合:
是向量 和向量 的向量空间,该空间是一个三维平面,但向量 明显不在这个平面上,是导致该超定方程组无解的原因。
但是,向量 可以在向量空间中投影得到 ,求解 就能得到结果。
超定方程,有一个近似解,称之为最小二乘解。
最小二乘解(未知量个数不大于方程个数)
未知量的数量不大于方程的数量,称该方程是矛盾的或超定的。这种情况下,方程组无解。求解该方程就变成了寻找一个(组)向量 使得 到最小。
根据投影已知,此时方程的最小二乘解是: ,下面给出证明。
证明:首先构造目标函数:
很明显,函数 为二次型函数。由于 ,因此二次项是正定的。利用局部极小点 的一阶必要条件,可求得 的唯一极小点,即极小点满足:
不定方程有很多解,但是离原点最近的只有一个,如何求这个最近的点?
方程的数量不大于未知量的数量。因此,该方程组可能存在无数个解。但是,接下来将发现,只存在一个最接近原点的解,即 的解中范数 最小的 。也就是说, 是如下优化问题的解:
直接给出结论,此时问题的最小范数解是: (注意与上面最小二乘解的形式的区别),下面给出证明。
韩信带1500名兵士打仗,战死四五百人,站3人一排,多出2人;站5人一排,多出4人;站7人一排,多出3人。韩信很快说出人数:1004。
再看方程1,从35的整数倍中寻找一个 的,35就可以。还能有谁呢?
70不行,105也不行,140可以,所以以下都可以:
由于,三次项系数为0,可得: