Vue probabiliste de l’Analyse en Composantes Principales

Probabilistic View of Principal Component Analysis

Variables Latentes, Estimation-Maximisation & Inférence Variationnelle

Une des techniques de réduction de dimension principalement utilisées en science des données et apprentissage automatique est l’Analyse en Composantes Principales (ACP). Auparavant, nous avons déjà discuté de quelques exemples d’application de l’ACP dans un pipeline avec les Machines à Vecteurs de Support, et ici, nous verrons une perspective probabiliste de l’ACP pour fournir une compréhension plus robuste et complète de la structure sous-jacente des données. Un des plus grands avantages de l’ACP Probabiliste (PPCA) est qu’elle peut gérer les valeurs manquantes dans un jeu de données, ce qui n’est pas possible avec l’ACP classique. Comme nous allons discuter du Modèle de Variables Latentes et de l’algorithme d’Estimation-Maximisation, vous pouvez également consulter ce billet détaillé.

Ce que vous pouvez attendre d’apprendre de ce billet :

1. Bref introduction à l’ACP.
2. Fondements mathématiques du PPCA.
3. Algorithme d’Estimation-Maximisation (EM) ou Inférence Variationnelle ? Que choisir pour l’estimation des paramètres ?
4. Mise en œuvre du PPCA avec TensorFlow Probability pour un jeu de données fictif.

Allons-y !

1. Décomposition en Valeurs Singulières (SVD) et ACP :

Un des concepts majeurs importants en Algèbre Linéaire est le SVD, et c’est une technique de factorisation pour les matrices réelles ou complexes où, par exemple, une matrice (disons A) peut être factorisée comme suit :

• Apprentissage par renforcement sans modèle pour le développement des processus chimiques
• Puissance des machines virtuelles de la série B d’Azure
• Outils et agents HuggingFace Transformers Pratique

où U,Vᵀ sont des matrices orthogonales (la transposée est égale à l’inverse) et Σ serait une matrice diagonale. A n’a pas besoin d’être une matrice carrée, supposons qu’elle soit une matrice N×D, nous pouvons déjà la considérer comme notre matrice de données avec N instances et D caractéristiques. U,V sont des matrices carrées (N×N) et (D×D) respectivement, et Σ sera alors une matrice N×D dont le sous-ensemble D×D sera diagonal et les autres entrées seront nulles.

Nous connaissons aussi la décomposition des valeurs propres. Étant donnée une matrice carrée (B) diagonalisable, elle peut être factorisée comme suit :

où Q est la matrice carrée N×N dont la i-ème colonne est le vecteur propre q_i de B, et Λ est la matrice diagonale dont les éléments diagonaux sont les valeurs propres correspondantes.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!