[第28集] 正定矩阵和最小值

根据网易公开课之MIT线性代数视频所做的笔记—[第28集] 正定矩阵和最小值。

—————————————————————————————

    视频地址：http://v.163.com/special/opencourse/daishu.html

—————————————————————————————

这节课的内容：

怎么判断一个矩阵是否是正定矩阵

x^TAx>0的几何解释

椭圆和正定性有关，双曲线与正定性无关.

当极小值存在时，如何很漂亮的求出极小值.

正定矩阵的四种判断方式：

①λ1>0, λ2>0

②a>0,ac-b²>0

③a>0, (ac-b²)/a>0

④x^TAx>0

 

例题，判断是否正定矩阵：

可以看出为奇异阵，则特征值有一个为0，因为矩阵的迹为（2+18）=20，则另一个特征值为20；

矩阵主元之一为2，因为是奇异阵，另一个主元不存在。

当矩阵的特征值全大于0时，为正定；

有一个等于0时，半正定；

小于0时，非正定？

判断是否为正定：

①λ=0，不符合

②ac-b²=0，不符合

③ac-b²=0,不符合

④x^TAx ?

推导：

判断 ax²+2bxy+cy² 是否大于0？

知识点回顾：

矩阵主对角元素的和（矩阵的迹）等于特征值之和；

矩阵特征值的积等于行列式的值。（根据定义，矩阵的行列式消元时，行列式的值不变，而行列式经过消元能变为对角矩阵，此时行列式主对角线上的元素全是其特征值，此时行列式的值又等于主对角线上的元素的积）

对于变化的矩阵，把18换成7的时候，求得的 x^TAx 为：

f(x,y) = 2x²+12xy+7y²

当y取0时，f(x,y) = 2x²，抛物线方向向上;

当x取0时，f(x,y) = 7y²，抛物线方向向上；

当x取y时，f(x,y) = 21y²，抛物线方向向上；

当x取-y时，f(x,y) = -3y²，抛物线方向向下；

因此，方程不是对任意的(x,y)都向上，即不能保证f(x,y)大于0，非正定矩阵。

回到原方程，把18改为20，求得 x^TAx 为：

f(x,y) = 2x²+12xy+20y² = 2(x+？y)²+？y² = 2(x+3y)²+2y²

因此，取 7 时，后面减去11y²，非正定；

取20时，后面加上2y²，正定；

取18时，后面为0，非正定？？？

对f(x,y)，令其等于1，得到的是在z=1方向上的一个椭圆截面。

 

方程f(x,y) = 2(x+3y)²+2y²里面数字的数学意义：

实际上这些数字来自于消元。

配方法是高斯消元中将其表示成平方项的方法。在配方法中，主元在外面，倍数在里面。

矩阵第二行减去第一行的3倍，剩余为2。配方后，倍数留在平方项里面，主元是平方项外面的系数，这就是为什么正主元得到的是平方和。

 

二阶导数矩阵

fxx表示f在x方向上的二阶导数；fyy表示f在y方向上的二阶导数；fxy是f关于x关于y的二阶导数，fyx是f关于y关于x的二阶导数，这两者用于抵消混合导数的影响，因为fxy=fyx（不管求导顺序如何，两者都相等），从而实现矩阵的对称性。判定二阶导数大于0，变成了判定二阶导数矩阵的正定性。

微积分中，判定一个函数有极小值的条件就是，一阶导数等于0，二阶导数矩阵必须为正定矩阵。

 

例题

很特别的一组行列式，子行列式的值分别为：2，3，4；

主元(pivots)：2，3/2，4/3；

特征值(eigenvalues)：2-2^0.5，2，2+2^0.5；

f(x1,x2,x3) = 2×1²+2×2²+2×3²

这是椭圆体的方程。

三个轴的方向就是特征向量的方向，轴的长度由特征值大小来决定。

主轴定理：特征向量矩阵Q乘以特征值矩阵Λ再乘以特征向量矩阵的转置。

特征向量说明主轴的方向，特征值说明主轴的长度。

 

关于空间维数的理解：

f(x1, x2, x3, x4, ……, xn)

当n=2时，f=1，是在z=1截面上的一个椭圆；

当n=3时，f=1，是距离原点1的空间内一个椭圆体；

同样维数展开，可以拓展到n维空间去了，这个不好描述，只能想象去。