Analyse canonique des corrélations

L'analyse canonique des corrélations, (ACC) parfois aussi nommé analyse des corrélations canoniques, (canonical-correlation analysis en anglais, CCA) permet de comparer deux groupes de variables quantitatives appliqués tous deux sur les mêmes individus. Le but de l'analyse canonique est de comparer ces deux groupes de variables pour savoir s'ils décrivent un même phénomène, auquel cas on pourra se passer d'un des deux groupes de variables.

Un exemple parlant est celui des analyses médicales effectuées sur les mêmes échantillons par deux laboratoires différents. L'analyse canonique généralise des méthodes aussi diverses que la régression linéaire multiple, l'analyse discriminante et l'analyse factorielle des correspondances.

Histoire

La méthode a été introduite pour la première fois par Harold Hotelling en 1936, bien que, dans le contexte des angles entre sous-espaces (en), le concept mathématique ait été publié par Camille Jordan dès 1875.

Définition mathématique

Analyse Canonique des Correlations : matrices des corrélations sur les données nutrimouse du package CCA de R d'après l'article d'Ignacio et al. dans « Journal of Statistical Software (volume 23, issue 12, January 2008) »

Soient deux vecteurs colonnes X et Y de dimensions respectives n et m : $X=(x_{1},\dots ,x_{n})^{\mathrm {T} }$et $Y=(y_{1},\dots ,y_{m})^{\mathrm {T} }$de variables aléatoires ayant un moment d'ordre deux fini. On peut définir la covariance croisée $\Sigma _{XY}=\operatorname {cov} (X,Y)$ comme la matrice de taille n × m dont l'élément (i,j) est la covariance de x_i et y_j. En pratique, cette covariance est souvent estimée à partir d'un échantillon de X et Y, c'est-à-dire d'après deux matrices dont chaque colonne est une réalisation de X et Y.

L'analyse canonique des corrélations recherche deux vecteurs a et b de dimensions respectives n et m qui maximisent la corrélation entre les produits scalaires (a·X) et (b·Y). En d'autres termes :

$(a^{*},b^{*})={\underset {(a,b)}{\operatorname {argmax} }}\operatorname {corr} (a^{\mathrm {T} }X,b^{\mathrm {T} }Y)$

Pour avoir une solution unique, on peut rajouter une contrainte sur les variances tel que : $\operatorname {var} (a^{\mathrm {T} }X)=\operatorname {var} (b^{\mathrm {T} }Y)=1.$

Les variables aléatoires U = a·X et V = b·Y sont la première paire de variables canoniques. On peut alors répéter la procédure pour obtenir une seconde paire de variables non corrélée à la première et ainsi de suite : $$(a_{k},b_{k})={\underset {(a,b)}{\operatorname {argmax} }}\operatorname {corr} (a^{T}X,b^{T}Y)\quad {\text{sous contrainte que }}\operatorname {cov} (a^{T}X,a_{j}^{T}X)=\operatorname {cov} (b^{T}Y,b_{j}^{T}Y)=0{\text{ for }}j=1,\dots ,k-1.$$

Analyse Canonique des Correlations : représentation des variables et des individus dans le plan des deux premières variables canoniques sur les données nutrimouse du package CCA de R d'après l'article d'Ignacio et al. dans « Journal of Statistical Software (volume 23, issue 12, January 2008) »

Dérivation

Soit $\Sigma _{XY}$ la matrice de covariance croisée associée à une paire de variables aléatoires vectorielles $X$ et $Y$. La fonction objectif à maximiser est :

$\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a}}{\sqrt {b^{T}\Sigma _{YY}b}}}}.$

On introduit un changement de base en posant :

$c=\Sigma _{XX}^{1/2}a,\qquad d=\Sigma _{YY}^{1/2}b,$

où $\Sigma _{XX}^{1/2}$ et $\Sigma _{YY}^{1/2}$ sont obtenues par décomposition spectrale (ou par diagonalisation) :

$\Sigma _{XX}^{1/2}=V_{X}D_{X}^{1/2}V_{X}^{\top },\qquad V_{X}D_{X}V_{X}^{\top }=\Sigma _{XX},$

$\Sigma _{YY}^{1/2}=V_{Y}D_{Y}^{1/2}V_{Y}^{\top },\qquad V_{Y}D_{Y}V_{Y}^{\top }=\Sigma _{YY}.$

On obtient alors :

$\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{{\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.$

D’après l’inégalité de Cauchy-Schwarz :

$\rho \leq {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}}.$

L’égalité est atteinte si les vecteurs $d$ et $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ sont colinéaires. Le maximum de $\rho$ est atteint lorsque $c$ est le vecteur propre associé à la plus grande valeur propre de la matrice :

$\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2},$

ce qui correspond au quotient de Rayleigh. Les paires suivantes sont obtenues en considérant les valeurs propres décroissantes. L’orthogonalité des solutions découle de la symétrie des matrices considérées.

De manière équivalente, $c$ et $d$ peuvent être interprétés comme les vecteurs singuliers gauche et droit associés à la plus grande valeur singulière de la matrice de corrélation (voir décomposition en valeurs singulières).

Solution

La solution s’écrit :

• $c$ est un vecteur propre de $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$ ;
• $d$ est proportionnel à $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$.

Réciproquement :

• $d$ est un vecteur propre de $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/2}$ ;

• $c$ est proportionnel à $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$.

En revenant aux coordonnées initiales :

• $a$ est un vecteur propre de $\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}$ ;
• $b$ est proportionnel à*$\Sigma _{YY}^{-1}\Sigma _{YX}a$ ;

et

• $b$ est un vecteur propre de$\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}$ ;
• $a$ est proportionnel à$\Sigma _{XX}^{-1}\Sigma _{XY}b$.

Les variables canoniques sont donc définies par :

• $U=a^{T}X=c^{T}\Sigma _{XX}^{-1/2}X,$
• $V=b^{T}Y=d^{T}\Sigma _{YY}^{-1/2}Y.$

Tests d’hypothèses

Chaque ligne peut être testée pour sa significativité par la méthode suivante. Les corrélations étant ordonnées, dire que la ligne $i$ est nulle implique que toutes les corrélations suivantes sont également nulles. Si l’on dispose de $p$ observations indépendantes dans un échantillon et que ${\widehat {\rho }}_{i}$ est la corrélation estimée pour $i=1,\dots ,\min {(m,n)}$, alors, pour la $i$-ème ligne, la statistique de test est :

$\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min {(m,n)}}(1-{\widehat {\rho }}_{j}^{2}),$

qui suit asymptotiquement une loi du chi carré avec $(m-i+1)(n-i+1)$ degrés de liberté pour $p$ grand. Comme toutes les corrélations de $\min {(m,n)}$ à $p$ sont logiquement nulles (et estimées comme telles), le produit des termes au-delà de ce point est sans importance.

On remarque que, dans le cas d’un petit échantillon avec $p<n+m$, les $m+n-p$ plus grandes corrélations sont nécessairement égales à 1, rendant le test dénué de sens.

Applications pratiques

Une utilisation typique de la corrélation canonique dans un contexte expérimental consiste à considérer deux ensembles de variables et à identifier ce qu’ils ont en commun. Par exemple, en psychologie, on peut considérer deux tests de personnalité multidimensionnels bien établis, tels que le Minnesota Multiphasic Personality Inventory (MMPI-2) et le NEO Personality Inventory. En examinant les relations entre les facteurs du MMPI-2 et ceux du NEO, il est possible d’identifier les dimensions communes aux deux tests et la part de variance partagée. On peut ainsi constater, par exemple, qu’une dimension d’extraversion ou de névrosisme explique une part importante de la variance commune.

L’analyse de corrélation canonique peut également être utilisée pour construire une équation de modèle reliant deux ensembles de variables, par exemple un ensemble de mesures de performance et un ensemble de variables explicatives, ou encore un ensemble de sorties et un ensemble d’entrées. Des contraintes peuvent être imposées afin de respecter des exigences théoriques ou des conditions intuitives. Ce type de modèle est appelé modèle à corrélation maximale.

La visualisation des résultats de corrélation canonique se fait généralement au moyen de diagrammes en barres représentant les coefficients des deux ensembles de variables pour les paires de variables canoniques présentant une corrélation significative. Certains auteurs proposent de les représenter sous forme d’héliographes, un format circulaire avec des barres radiales, chaque moitié représentant l’un des deux ensembles de variables.

Un autre exemple est l'appariement statistique, par exemple pour de l'imputation.

Exemples

Soit $X=x_{1}$ d'espérance nulle, c’est-à-dire $\operatorname {E} (X)=0$.

Si $Y=X$, c’est-à-dire si $X$ et $Y$ sont parfaitement corrélées, alors, par exemple, $a=1$ et $b=1$, et la première (et unique dans cet exemple) paire de variables canoniques est $U=X$ et $V=Y=X$. Si $Y=-X$, c’est-à-dire si $X$ et $Y$ sont parfaitement anticorrélées, alors, par exemple, $a=1$ et $b=-1$, et la première (et unique dans cet exemple) paire de variables canoniques est $U=X$ et $V=-Y=X$.

On remarque que, dans les deux cas, $U=V$, ce qui montre que l’analyse de corrélation canonique traite de manière similaire les variables corrélées et anticorrélées.

Lien avec les angles principaux

Supposons que $X=(x_{1},\dots ,x_{n})^{T}$ et $Y=(y_{1},\dots ,y_{m})^{T}$ aient une espérance mathématique nulle, c’est-à-dire $\operatorname {E} (X)=\operatorname {E} (Y)=0$. Leurs matrices de covariance $\Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX^{T}]$ et $\Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY^{T}]$ peuvent être vues comme des matrices de Gram pour un produit scalaire sur les composantes de $X$ et $Y$. Dans cette interprétation, les variables aléatoires $x_{i}$ et $y_{j}$ sont considérées comme des éléments d’un espace vectoriel muni du produit scalaire défini par la covariance $\operatorname {cov} (x_{i},y_{j})$ ; voir Covariance#Propriétés.

La définition des variables canoniques $U$ et $V$ est alors équivalente à celle des vecteurs principaux pour la paire de sous-espaces engendrés par les composantes de $X$ et $Y$ relativement à ce produit scalaire. Les corrélations canoniques $\operatorname {corr} (U,V)$ sont égales au cosinus des angles principaux.

Transformation de blanchiment et analyse de corrélation canonique probabiliste

L’ACC peut également être interprétée comme une transformation de blanchiment (en) particulière dans laquelle les vecteurs aléatoires $X$ et $Y$ sont transformés simultanément de sorte que la corrélation croisée entre les vecteurs blanchis $X^{CCA}$ et $Y^{CCA}$ soit diagonale.

Les corrélations canoniques sont alors interprétées comme des coefficients de régression reliant $X^{CCA}$ et $Y^{CCA}$, et peuvent également être négatives. Cette interprétation en termes de régression permet aussi de construire un modèle probabiliste génératif à variables latentes pour l’ACC, dans lequel des variables cachées non corrélées représentent la variabilité partagée et non partagée.

Implémentation

L’ACC peut être calculée à l’aide de la décomposition en valeurs singulières appliquée à une matrice de corrélation. Elle est disponible sous forme de fonction dans :

• MATLAB via la fonction canoncorr ( également dans Octave)
• R via la fonction standard cancor ainsi que plusieurs autres paquets, dont candisc,CCA et vegan. Le paquet CCP permet les tests d’hypothèses statistiques en analyse de corrélation canonique
• SAS via proc cancorr
• Python dans la bibliothèque scikit-learn (module cross decomposition) ainsi que dans statsmodels (fonction CanCorr). La bibliothèque CCA-Zoo implémente des extensions de l’ACC, telles que l’ACC probabiliste, parcimonieuse, multi-vues et profonde
• SPSS via la macro CanCorr fournie avec le logiciel
• Julia dans le paquet MultivariateStats.jl

Le calcul de l’ACC à l’aide de la décomposition en valeurs singulières sur une matrice de corrélation est lié au cosinus des angles entre sous-espaces (en). La fonction cosinus est mal conditionnée pour les petits angles, ce qui conduit à des calculs très imprécis des vecteurs principaux fortement corrélés en arithmétique à précision finie. Pour remédier à ce problème, des algorithmes alternatifs sont disponibles dans :

• SciPy via la fonction d’algèbre linéaire subspace_angles
• MATLAB via la fonction subspacea

Généralisation

Il existe plusieurs type de généralisation :

• Analyse canonique généralisée qui va relier plus de deux groupes de variables;
• Analyse canonique à noyaux qui utilise l'astuce du noyau pour rendre l'ACC non linéaire.

Notes et références

Notes

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Canonical correlation » (voir la liste des auteurs).

Références

Voir aussi

Bibliographie

• (fr) Gilbert Saporta, Probabilités, Analyse des données et Statistiques, Paris, Editions Technip, 2006, 622 p. (ISBN 978-2-7108-0814-5, lire en ligne).

Articles connexes

• Analyse canonique généralisée
• Analyse canonique à noyaux
• Analyse des données
• Exploration de données

Liens externes

• FactoMineR, une bibliothèque de fonctions R destinée à l'analyse des données
• Cours d'Analyse des données donné à l'Institut d'études politiques de Paris