Analyse canonique à noyaux

L'analyse canonique à noyaux, parfois aussi nommé analyse à noyaux des corrélations canoniques, (kernel canonical correlation analysis en anglais, d'où KCCA) étend l'analyse canonique ordinaire grâce à l'astuce du noyau.

Définition Mathématiques

Supposons que nous avons X et Y deux matrices, celle ci vont être transformé dans deux espaces de Hilbert, $\phi _{x}(X)\in H_{x}$ et $\phi _{y}(X)\in H_{y}$. Le but est alors de trouver le a et le b tel que, si $U=(a|\phi _{x}(X))$ et $V=(b|\phi _{y}(Y))$, la corrélation sera maximale entre U et V.

Nous pouvons l'écrire de la manière suivante :

$a=\sum _{i=1}^{n}\alpha _{i}\phi _{x}\left(x_{i}\right)\quad b=\sum _{i=1}^{n}\beta _{i}\phi _{y}\left(y_{i}\right)$

$U=\sum _{i=1}^{n}\alpha _{i}\left(\phi _{x}\left(x_{i}\right)|\phi _{x}\left(X\right)\right)\quad V=\sum _{i=1}^{n}\beta _{i}\left(\phi _{y}\left(y_{i}\right)|\phi _{y}\left(Y\right)\right).$

Par le théorème de Mercer, les produits scalaires $\left(\phi _{x}\left(x_{i}\right)|\phi _{x}\left(X\right)\right)$ et $\left(\phi _{y}\left(y_{i}\right)|\phi _{y}\left(Y\right)\right)$ peuvent être remplacé par des noyaux $\left(K_{x}\right)_{ij}=K_{h_{x}}\left(x_{i},x_{j}\right)$ et $\left(K_{y}\right)_{ij}=K_{h_{y}}\left(y_{i},y_{j}\right)$.

On peut alors calculer $\alpha =\left(\alpha _{1},\cdots ,\alpha _{n}\right)^{T}$ et $\beta =\left(\beta _{1},\cdots ,\beta _{n}\right)^{T}$ comme les solutions du problème aux valeurs propres généralisé suivant :

${\begin{pmatrix}0&K_{x}K_{y}\\K_{y}K_{x}&0\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}}=\lambda {\begin{pmatrix}K_{x}K_{x}&0\\0&K_{y}K_{y}\end{pmatrix}}{\begin{pmatrix}\alpha \\\beta \end{pmatrix}},$

où $K_{x}\in \mathbb {R} ^{n\times n}$ et $K_{y}\in \mathbb {R} ^{n\times n}$ les sont les matrices de Gram correspondantes au deux fonctions noyau $K_{h_{x}}$ et $K_{h_{y}}$.

Afin d’éviter le surapprentissage, des termes de régularisation sont généralement ajoutés.

Usages

La KCCA s’est révélée efficace pour des tâches telles que la recherche intermodale et l’analyse sémantique, bien qu’elle présente des difficultés computationnelles pour les grands jeux de données en raison de son besoin en mémoire en $O(n^{2})$ pour stocker les matrices de noyau.

Un autre exemple est l'appariement statistique, par exemple pour de l'imputation.

Liens avec d'autres méthodes

Elle peut être vue comme la composition de deux analyses en composantes principales à noyaux avec une analyse d'une analyse canonique des corrélations classique.

Notes et références

Références

Voir aussi

Articles connexes

Liens internes

• Analyse canonique des corrélations
• Analyse canonique généralisée
• Analyse des données
• Exploration de données
• Astuce du noyau