next up previous contents
Next: 2. Analyse des systèmes Up: 1.3 Décomposition des matrices Previous: 1.3.3 Décomposition de CHOLESKY


1.3.4 Décomposition en valeurs singulières -SVD (help svd)

Les valeurs singulières d'une matrice $A$ sont les racines carrées des valeurs propres de $A^TA$. on les note $\sigma_i$ :

\begin{displaymath}
\framebox[1.1\width]{$\sigma_i=\sqrt{\lambda_i(A^TA)}$}\;.
\end{displaymath}

Alors que les valeurs propres sont liées aux directions invariantes par la transformation $A$, les valeurs singulères contiennent l'information "métrique" sur cette transformation. L'image du cercle unité par $A$ est un ellipsoïde dont la longueur des demi-axes principaux correspondent aux valeurs singulières maximale et minimale :

\begin{displaymath}
\sigma_{max}=\max_{u\neq0}\frac{\Vert Au\Vert}{\Vert u\Vert}...
...d \sigma_{min}=\min_{u\neq0}\frac{\Vert Au\Vert}{\Vert u\Vert}
\end{displaymath}

$\Vert x\Vert$ désigne la norme euclidienne de x: $\Vert x\Vert=\sqrt{x^Tx}$.

Décomposition en valeurs singulières Soit $A$ une matrice de dimension $m\times n$ et de rang $r$ ($r<\min(m, n)$). $A$ peut être factorisée sous la forme:

$\displaystyle A$ $\textstyle =$ $\displaystyle U_{m \times m}\Sigma_{m\times n} V_{n\times n}^*$  
  $\textstyle =$ $\displaystyle [U_1,\;U_2] \left[\begin{array}{cc}
\Sigma_{1_{r \times r}} & \em...
...y} \right]\begin{array}{l}
\vert r\times n \\
\vert r \times (n-r)
\end{array}$  

avec :
$\bullet$
$U \in \C^{m\times m}$ matrice unitaire ( $UU^*=I_{m\times m}$),
$\bullet$
$V \in \C^{n\times n}$ matrice unitaire ( $VV^*=I_{n\times n}$),
$\bullet$
$\Sigma_1=\mbox{diag}(\sigma_i),\quad
i=1,\cdots, r$ avec $\sigma_1>\sigma_2>\cdots>\sigma_r>0$,
$\bullet$
$U_1$ et $U_2$ de dimension $m\times r$ et $m \times (m-r)$ respectivement,
$\bullet$
$V_1$ et $V_2$ de dimension $n\times r$ et $n \times (n-r)$ respectivement.
$U$ est la matrice des vecteurs singuliers $U=[u_1, u_2, \cdots, u_m]$ (voir figure 1.2). $V$ est la matrice des vecteurs dont les images par $A$ sont les vecteurs singuliers $V=[v_1, v_2, \cdots, v_n]$. En effet :

\begin{displaymath}
Av_i=U\Sigma V^* v_i\quad \mbox{or}
\end{displaymath}


\begin{displaymath}
V^*v_i=\left[\begin{array}{c}
0 \\
\vdots\\
0\\
1  ...
...
\vdots \\
n
\end{array}\quad \mbox{car $V$ est unitaire}
\end{displaymath}


\begin{displaymath}
\framebox[1.1\width]{$A v_i=\sigma_i u_i$}\;.
\end{displaymath}

Les dernières colonnes de $V$ correspondantes aux valeurs singulières nulles engendrent le noyau de la matrice $A$, les autres colonnes correspondantes aux valeurs singulières non-nulles engendrent l'espace image de $A$

Figure 1.2: Illustration en dimension 2
\includegraphics[width=10cm]{/alazard/enseignement/ENSAE3/representation/ellips}

Pseudo-inverse de MOORE-PENROSE

\begin{displaymath}
A^+=V\Sigma^+U^*=V_1\Sigma^+U_1^*
\end{displaymath}

avec $\Sigma^+=\left[\begin{array}{cc}
{\Sigma_1^{-1}}_{r\times r} & 0 \\
0 & 0
\end{array}\right]$ et $\Sigma_1^{-1}=diag(\frac{1}{\sigma_1}, \cdots, \frac{1}{\sigma_r})$.
$\bullet$
$A^+=(A^TA)^{-1}A^T$ si $m>n$ et $r=n$ ($A$ de rang plein en colonne),
$\bullet$
$A^+=A^T(AA^T)^{-1}$ si $m<n$ et $r=m$ ($A$ de rang plein en ligne).
(Il s'agit d'égalité algébrique, d'un point de vue numérique c'est totalement différent).

Propriétés des valeurs singulières

$\bullet$
$\sigma_{max}(.)$ est une norme matricielle, on a donc toutes les propriétés des normes: $\sigma_{max}(AB) \le \sigma_{max}(A)\sigma_{max}(B)$.
$\bullet$
$\sigma_{max}(A)=\max_{u\;/\Vert u\Vert\neq0}\frac{\Vert Au\Vert}{\Vert u\Vert}$.
$\bullet$
$\sigma_{min}(A^{-1})=\frac{1}{\sigma_{max}(A)};\quad \sigma_{max}(A^{-1})=\frac{1}{\sigma_{min}(A)}$.
$\bullet$
$\sigma_{max}(VAU)=\sigma_{max}(A)\quad
\forall\;U, V\;\mbox{unitaires}$.
$\bullet$
Si $A$ est symétrique alors $\sigma_i(A)=\vert\lambda_i(A)\vert$.
$\bullet$
Propriété de singularité

\begin{displaymath}
\sigma_{max}(E)<\sigma_{min}(A) \Rightarrow \sigma_{min}(A+E)>0
\end{displaymath}

$\sigma_{min}(A)$ représente la taille minimale de la matrice $E$ telle que $A+E$ soit singulière.


next up previous contents
Next: 2. Analyse des systèmes Up: 1.3 Décomposition des matrices Previous: 1.3.3 Décomposition de CHOLESKY
alazard
2002-11-25
'use strict';