线性代数
正定矩阵(s.p.d., symmetric positive definiteness)
实对称矩阵 𝐀 是正定矩阵当且仅当 vTAv>0 对任意 v=0 都成立.
实对称矩阵 𝐀 是半正定矩阵当且仅当 vTAv≥0 对任意 v=0 都成立.
如果A是正定矩阵,则B=[A−A−AA] 一定是半正定矩阵。
证明:
记 x,y 为两个向量,[xTyT]和[xy] 是拼接得到的更长的行向量和列向量。
[xTyT]B[xy]=[xTyT][A−A−AA][xy]=(x−y)TA(x−y)⩾0
当且仅当 x=y 时结果等于0,所以B一定是半正定矩阵。
正定矩阵的充分条件
如果一个矩阵满足, aii>Σi=j∣aij∣ for all i(即每一行中,除掉位于对角线上的那个元素的所有元素之和都小于对角线上的那个元素),则称该矩阵是对角占优的,它必定为正定矩阵。
用这个方法可快速判断矩阵是否正定。
矩阵微积分
多元函数:函数的自变量是一个向量,如 f(x)=f(x,y,z)=x2+y2+z2
标量函数:函数的输出是一个标量,如 f(x)=f(x,y,z)=x2+y2+z2
向量函数:函数的输出是一个向量,如 f(x)=f(x,y,z)=⎣⎢⎡P(x,y,z)Q(x,y,z)R(x,y,z)⎦⎥⎤=[2x,2y,2z]T∈R3
标量函数对向量求导
对向量求导的结果横着写
标量函数对向量求导的结果是行向量
令 x=[x,y,z]T , f(x)∈R ,则:
df=∂x∂fdx+∂y∂fdy+∂z∂fdz=[∂x∂f,∂y∂f,∂z∂f]⎣⎢⎡dxdydz⎦⎥⎤
dx=⎣⎢⎡dxdydz⎦⎥⎤
∂x∂f=[∂x∂f,∂y∂f,∂z∂f]
标量函数的梯度
标量函数的梯度是一个向量,等于对向量求导的转置
对于多元函数 f(x)
∇f=⎣⎢⎢⎡∂x∂f∂y∂f∂z∂f⎦⎥⎥⎤=[∂x∂f,∂y∂f,∂z∂f]T=[∂x∂f]T
可以把梯度算子 ∇ 看作向量 [∂x∂,∂y∂,∂z∂]T
Jacobian Matrix、散度、旋度
向量函数对自变量求导,得到一个矩阵,称为 Jacobian Matrix(雅可比矩阵)
对于向量函数 f(x)=⎣⎢⎡P(x)Q(x)R(x)⎦⎥⎤∈R3
J(x)=∂x∂f=⎣⎢⎢⎡∂x∂P∂x∂Q∂x∂R∂y∂P∂y∂Q∂y∂R∂z∂P∂z∂Q∂z∂R⎦⎥⎥⎤ (上边向量 f 求导后仍然竖着写,下边对向量 x 求导横着写)
散度(divergence)
向量函数的散度等于其雅可比矩阵的迹,是一个标量
div f=∇⋅f=∂x∂P+∂y∂Q+∂z∂R
旋度(curl, rotation)
向量函数的旋度还是一个向量
∇×f=∣∣∣∣∣∣∣i∂x∂Pj∂y∂Qk∂z∂R∣∣∣∣∣∣∣=⎣⎢⎢⎡∂y∂R−∂z∂Q∂z∂P−∂x∂R∂x∂Q−∂y∂P⎦⎥⎥⎤
Hessian Matrix(海森矩阵)
对于多元函数 f(x)∈R ,其梯度的雅可比矩阵称作海森矩阵
H=∂(x)∂∇f=⎣⎢⎢⎡∂x2∂2f∂x∂y∂2f∂x∂z∂2f∂x∂y∂2f∂y2∂2f∂y∂z∂2f∂x∂z∂2f∂y∂z∂2f∂z2∂2f⎦⎥⎥⎤
当两个二阶偏导函数(如 ∂x∂y∂2f 和 ∂y∂x∂2f )在某一点都连续时,函数在该点可微,求导顺序不影响在这一点的求导结果,所以这里把 Hessian 矩阵写作对称矩阵。
如果 Hessian 矩阵是正定矩阵,则函数在该点为凸函数。如果梯度为0,则该点为函数的极小值。
如果一个函数的 Hessian 在定义域上一直是正定矩阵,则该函数只存在一个极小值,也是函数的最小值。
Laplacian算子
Δf=∇⋅∇f=∇2f=∂x2∂2f+∂y2∂2f+∂z2∂2f
泰勒公式
f(x)=f(x0)+∂x∂f(x0)(x−x0)+21∂x2∂2f(x0)(x−x0)2+...=f(x0)+[∇f(x0)]T(x−x0)+2!1[x−x0]TH(x0)[x−x0]+on
这里的H是Hessian矩阵, H(x0)=⎣⎢⎢⎢⎢⎢⎢⎡∂x12∂2f(x0)∂x2∂x1∂2f(x0)⋮∂xn∂x1∂2f(x0)∂x1∂x2∂2f(x0)∂x22∂2f(x0)⋮∂xn∂x2∂2f(x0)⋯⋯⋱⋯∂x1∂xn∂2f(x0)∂x2∂xn∂2f(x0)⋮∂xn2∂2f(x0)⎦⎥⎥⎥⎥⎥⎥⎤
如果H是正定矩阵,则二阶项大于0。
向量的长度对自身求导