##### 奇异值分解 - 奇异值分解 - **奇异值分解**指[[矩阵]] $A$ 分解为[[正交矩阵]]或者[[酉矩阵]] $U$ 和 $V$, 以及形似对角矩阵 $\Sigma$, 即 $A = U\Sigma V^*$, 奇异值分解是[[正交特征值分解]]的一种推广, 关键概念是[[奇异值]] - $A_{m\times n}$ 矩阵 - $\text{rank}A=r$ - $A^*A$ 与 $AA^*$ 对称矩阵或埃尔米特矩阵 - $U_{m\times m}=\begin{bmatrix}\mathbf{u_1}&\cdots&\mathbf{u_r}&\cdots& \mathbf{u_m}\end{bmatrix}$ 正交矩阵或酉矩阵 - $\mathbf{u_i}$ 是 $AA^*$ 的特征向量, 称为 $A$ 的左奇异向量. $AA^*\mathbf{u_i}=\sigma_i^2\mathbf{u_i}$ - $V_{n\times n}=\begin{bmatrix}\mathbf{v_1}&\cdots&\mathbf{v_r}&\cdots& \mathbf{v_n}\end{bmatrix}$ 正交矩阵或酉矩阵 - $\mathbf{v_i}$ 是 $A^*A$ 的特征向量, 称为 $A$ 的右奇异向量. $A^*A\mathbf{v_i}=\sigma_i^2\mathbf{v_i}$ - $\Sigma_{m\times n}=\begin{bmatrix} D & 0\\ 0 & 0 \end{bmatrix}$ $D_{r\times r}=\begin{bmatrix}\sigma_1& & \\& \ddots&\\& &\sigma_r\end{bmatrix}$ 对角矩阵 - $\sigma_i$ 是 $A$ 的奇异值, 就是 $A^*A$ 与 $AA^*$ 特征值的平方根 $\sigma_i=\sqrt{\lambda_i}$ - $\displaystyle A = U\Sigma V^*=\sigma_1\mathbf{u_1}\mathbf{v_1}^*+\cdots+\sigma_r\mathbf{u_r}\mathbf{v_r}^*=\sum^{r}_{i=1}\sigma_i\mathbf{u_i}\mathbf{v_i}$ - $A = U\Sigma V^*=\begin{bmatrix}\mathbf{u_1}&\cdots&\mathbf{u_r}&\cdots& \mathbf{u_m}\end{bmatrix}\begin{bmatrix}\sigma_1& & &\\& \ddots&&\\& &\sigma_r&\\&&&0\end{bmatrix}\begin{bmatrix}\mathbf{v_1}^*\\\vdots\\\mathbf{v_r}^*\\\vdots\\ \mathbf{v_n}^*\end{bmatrix}$ >[!example]- $\begin{bmatrix} 4 & 11 & 14\\ 8 & 7 & -2\end{bmatrix}=\begin{bmatrix} \frac{3}{\sqrt{10}} & -\frac{1}{\sqrt{10}}\\ \frac{1}{\sqrt{10}} & \frac{3}{\sqrt{10}} \end{bmatrix}\begin{bmatrix} 6\sqrt{10} & 0 & 0\\ 0 & 3\sqrt{10} & 0\end{bmatrix}\begin{bmatrix} \frac{1}{3} & \frac{2}{3} & \frac{2}{3}\\ \frac{2}{3} & \frac{1}{3} & -\frac{2}{3}\\ \frac{2}{3} &-\frac{2}{3} & \frac{1}{3} \end{bmatrix}$ >- 将 $A^*A$ [[特征值分解]], 即求特征值及对应标准正交集 > - $A^*A=\begin{bmatrix} 80 & 100 & 40\\ 100 & 170 & 140\\ 40 & 140 & 200 \end{bmatrix}=\begin{bmatrix} \frac{1}{3} & -\frac{2}{3} & \frac{2}{3}\\ \frac{2}{3} & -\frac{1}{3} & -\frac{2}{3}\\ \frac{2}{3} & \frac{2}{3} & \frac{1}{3} \end{bmatrix}\begin{bmatrix} 360 & 0 & 0\\ 0 & 90 & 0\\ 0 & 0 & 0 \end{bmatrix}\begin{bmatrix} \frac{1}{3} & -\frac{2}{3} & \frac{2}{3}\\ \frac{2}{3} & -\frac{1}{3} & -\frac{2}{3}\\ \frac{2}{3} & \frac{2}{3} & \frac{1}{3} \end{bmatrix}^*$ >- 算出 $V$ 和 $\Sigma$ > - $V=\begin{bmatrix} \frac{1}{3} & -\frac{2}{3} & \frac{2}{3}\\ \frac{2}{3} & -\frac{1}{3} & -\frac{2}{3}\\ \frac{2}{3} & \frac{2}{3} & \frac{1}{3} \end{bmatrix}$ > - $\Sigma=\begin{bmatrix} 6\sqrt{10} & 0 & 0\\ 0 & 3\sqrt{10} & 0\end{bmatrix}$ >- 构造 $U$ > - $\displaystyle\mathbf{u_1}=\frac{A\mathbf{v_1}}{\sigma_1}=\frac{1}{6\sqrt{10}}\begin{bmatrix} 18\\6 \end{bmatrix}=\begin{bmatrix} \frac{3}{\sqrt{10}}\\\frac{1}{\sqrt{10}} \end{bmatrix}$ > - $\displaystyle\mathbf{u_2}=\frac{A\mathbf{v_2}}{\sigma_2}=\frac{1}{3\sqrt{10}}\begin{bmatrix} 3\\-9 \end{bmatrix}=\begin{bmatrix} \frac{1}{\sqrt{10}}\\-\frac{3}{\sqrt{10}} \end{bmatrix}$ > - $U=\begin{bmatrix} \frac{3}{\sqrt{10}} & -\frac{1}{\sqrt{10}}\\ \frac{1}{\sqrt{10}} & \frac{3}{\sqrt{10}} \end{bmatrix}$