Nombres Aléatoires en Apprentissage Automatique

Les Nombres Aléatoires en Apprentissage Automatique

Tout sur les nombres pseudo-aléatoires, le lancement et la reproductibilité

L’apprentissage automatique repose sur les statistiques, et les nombres aléatoires sont importants pour la performance de nombreuses étapes du traitement des données et de l’entraînement des modèles. Les frameworks modernes d’apprentissage automatique fournissent des abstractions et des fonctions qui mettent en œuvre la randomisation sous-jacente, et pour nous, scientifiques des données et ingénieurs en apprentissage automatique, les détails de la génération de nombres aléatoires restent souvent obscurs.

Dans cet article, je souhaite éclairer certains aspects des nombres aléatoires en apprentissage automatique. Vous découvrirez :

• 3 exemples d’utilisation de nombres aléatoires en apprentissage automatique
• Générer des nombres (pseudo-)aléatoires
• Fixer les nombres aléatoires par la graine
• Apprentissage automatique reproductible : les lignes de code nécessaires pour scikit-learn, tensorflow et pytorch.

À la fin de cet article, vous saurez ce qui se passe lorsque vous utilisez des nombres aléatoires dans votre pipeline d’apprentissage automatique, et vous apprendrez les lignes de code nécessaires pour assurer la reproductibilité de vos algorithmes d’apprentissage automatique.

3 exemples d’utilisation de nombres aléatoires en apprentissage automatique

Pour illustrer l’importance des nombres aléatoires, nous discutons de trois exemples où ils sont pertinents le long du pipeline d’apprentissage automatique.

• Distributions discrètes univariées Une explication facile à comprendre
• CLIP, Expliqué Intuitivement et Exhaustivement
• QLoRA Formation d’un modèle linguistique puissant sur une carte graphique de 16 Go.

1. Création de partitions d’entraînement/test d’un ensemble de données
2. Initialisation des poids dans un réseau neural
3. Choix de mini-lots pendant l’entraînement

Partition d’entraînement/test Diviser votre ensemble de données en données d’entraînement et de test est l’une des étapes les plus importantes pour évaluer les performances d’un algorithme d’apprentissage automatique. Nous souhaitons créer des modèles qui généralisent bien aux données non utilisées pendant l’entraînement. À cette fin, un ensemble d’échantillons de données est divisé en au moins deux ensembles disjoints.

Les données d’entraînement sont utilisées pour entraîner l’algorithme, c’est-à-dire pour fixer itérativement les paramètres du modèle. Les données de test sont utilisées pour valider l’algorithme en appliquant un modèle entraîné sur les données de test et en rapportant les métriques appropriées.

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!