__2017-12-11 如一模式识别研究

如一模式识别研究

图像识别>>SVD详解及软件实现

转自:http://www.cnblogs.com/CBF-Linux/p/3680171.html

SVD详解

矩阵的奇异值(singular value decompostion, SVD)在最优化问题、特征值问题、最小二乘方问题、广义逆矩阵问题及统计学方面都有重要的应用。本人在研究生物基因组规模的代谢网络和图像识别的相关算法时,都大量的涉及了这一方面的内容,因此开始对此进行初步的理解和研究。我们从基础的概念开始,逐渐深入。

1 奇异矩阵

对于一个方阵A,如果行列式|A|=0,则A是奇异矩阵;如果|A| !=0, 则是非奇异矩阵。

已知 |A| !=0 -> A可逆, 所以可逆矩阵是非奇异矩阵;

如果A是奇异矩阵,则 AX=0 有无穷多个解,AX=b有无穷多个解或者无解;(why?)

如果A是非奇异矩阵,则AX=0有零解,AX=b有唯一解。

A(n×n) is a singular matrix <=> Rank(A)

A(n×n) is a non-singular matrix <=> Rank(A)=n.

2 正交矩阵:如果实方阵Q满足 QTQ = I,或Q-1 = QT则称Q为正交矩阵。

容易证明,正交矩阵的列向量是两两正交的单位向量。

推论:1 正交向量是非奇异的。

证明:det(QTQ)= detQT×detQ = (detQ)2 = 1 ≠ 0

所以|Q| ≠0

2 正交矩阵的逆矩阵仍然是正交矩阵。

证明:由Q-1=QT 有

(Q-1)T×Q-1 = Q×Q-1 = I

3 正交矩阵的乘积仍然是正交矩阵。

证明:由QT= Q-1有

( Q1Q2)T×Q1Q2 = (Q1TQ1)×(Q2TQ2)=(Q1×Q2-1)×(Q2×Q

定理1:

定理:设A∈Rn×n非奇异,则存在正交矩阵P和Q,使得

PTAQ = diag(σ1,σ2,...σn)

其中σi>0 (i=1,2,3...n)。

证:因为 A非奇异,所以ATA为是实对称正定矩阵。于是存在正交矩阵Q,使得

QT(ATA)Q = diag(λ1,λ2,λ3...λn)

其中,λi>0(i = 1,2,...n)为ATA的特征值。令

σi = sqrt(λi),(i=1,2,3 ..n),Λ = diag(σ1,σ2,σ3...σn)

则有

QT(ATA)Q = Λ2

或者 (AQΛ-1)TAQ = Λ

再令 P = AQΛ-1,于是有

PTP = (AQΛ)(AQΛ)=I

即P为正交矩阵,且使

PTAQ = Λ = diag(σ1,σ2,σ3...σn)

改写为

A = P · diag(σ1,σ2,σ3...σn) ·QT

称为矩阵A的正交对角分解。

定义:设A∈Crm×n(r>0),AHA的特征值为

λ1≥λ2≥λ3≥...λr>λr+1 = ... = λn = 0

则称σi = sqrt(λi),(i=1,2,3 ..n)为A的奇异值。当A为零矩阵时,奇异值均为零。

定理:设A∈Crm×n,(r>0),则存在m阶酋矩阵A和n阶酋矩阵V,使得

其中, = diag(σ1,σ2,σ3...σn),σi为全部的非零奇异值。

SVD的实现:

MATLAB版

命令描述:

参考:

1 百度百科:http://baike.baidu.com/link?url=qd97iJv7XcZ9fd99p4FN-L8Kafyz0LjG82J8g5pFdLk5Q2VV0WWCzVXyc9mKUvqt

2 《矩阵论》(西工大版)

3 WiKi

4 MATLAB ->help

关于SVD分解的好文:

http://www.puffinwarellc.com/index.php/news-and-articles/articles/30-singular-value-decomposition-tutorial.html

http://www.ams.org/samplings/feature-column/fcarc-svd

http://leftnoteasy.cnblogs.com/

评论留言区

:
  

作者: 游客 ; *
评论内容: *
带*号为必填项目

如一模式识别更新提示

matlab在图像处理方面的应用有更新

如一模式识别 友情链接

关于本站作者     chinaw3c     mozilla