Partie 1 Étape par étape, création d’un environnement virtuel pour exécuter vos pipelines de données sur des systèmes basés sur Windows.

Création d'un environnement virtuel pour exécuter des pipelines de données sur Windows.

Ma motivation pour écrire un article à ce sujet est simplement de ne pas oublier, et aussi, la meilleure façon de garder vos notes est de les partager avec d’autres. En plus de cela, ces articles ne disparaissent pas facilement. De plus, vous pouvez en bénéficier en fournissant des commentaires, ce que je trouve vraiment utile pour l’amélioration de soi. Vos points de vue/commentaires sont très appréciés.

Avantages de l’utilisation de machines virtuelles pour exécuter des pipelines de données

La création d’environnements virtuels à l’aide de systèmes tels que Ubuntu pour exécuter des pipelines de données offre de nombreux avantages aux scientifiques des données et aux développeurs. Tout d’abord, cela offre un environnement isolé et sécurisé, garantissant que les dépendances et les packages ne sont pas en conflit, ce qui permet d’obtenir des résultats stables et reproductibles. Deuxièmement, les environnements virtuels permettent des tests et un débogage faciles sans affecter les fonctionnalités principales du système. Troisièmement, ils améliorent la scalabilité, permettant le déploiement de pipelines sur différentes machines et plates-formes cloud. Enfin, les environnements virtuels simplifient la collaboration, permettant aux équipes de partager des environnements de développement cohérents et d’assurer une intégration fluide du flux de travail. Dans l’ensemble, l’utilisation d’environnements virtuels permet aux professionnels des données d’optimiser le développement de leurs pipelines, d’augmenter leur productivité et d’accélérer les insights basés sur les données.

Mise en place de la machine virtuelle Ubuntu sur votre ordinateur local

  1. Recherchez Windows Powershell sur votre machine locale

2. Tapez la commande ‘ssh’ pour vérifier si elle est installée. SSH signifie Secure Shell et c’est un protocole réseau cryptographique utilisé pour un accès à distance sécurisé et une communication sur des réseaux non sécurisés. Il fournit un canal sécurisé entre deux appareils, généralement un client et un serveur, leur permettant d’échanger des données et d’exécuter des commandes en toute sécurité.

3. Utilisez ‘dir’ pour obtenir le répertoire des fichiers et ‘mkdir’ pour créer un dossier dans le système. Ce sont les commandes les plus couramment utilisées dans les systèmes basés sur Linux.

4. Tapez ‘wsl’ pour voir s’il est configuré. Il est nécessaire pour l’installation. WSL signifie Windows Subsystem for Linux. C’est une couche de compatibilité dans Windows qui permet aux utilisateurs d’exécuter une distribution Linux directement sur une machine Windows. Avec WSL, vous pouvez accéder et utiliser un terminal Linux et exécuter des utilitaires en ligne de commande Linux aux côtés de vos applications Windows.

5. ‘wsl — list — online’ affichera les distributions valides installées sur votre système.

6. Pour installer la distribution souhaitée, utilisez ‘wsl — install -d Ubuntu-22.04 (la version que vous souhaitez installer)

7. Après l’installation, vous pouvez être invité ou non à redémarrer l’ordinateur portable pour terminer l’installation. Mais avant cela, si c’est la première fois, on peut également vous demander de configurer un nom d’utilisateur et un mot de passe Unix. Ensuite, le processus devrait être terminé.

8. Pour vous assurer de l’installation, tapez ‘uname -a’ pour confirmer les détails de l’installation.

9. Dans votre interface de ligne de commande powershell, tapez ‘wsl -l -v’ pour voir les machines virtuelles en cours d’exécution ou arrêtées. Pour relancer la machine virtuelle, tapez ‘wsl -d Ubuntu-22.04 (la machine que vous souhaitez lancer)

Travailler avec Docker

  1. Recherchez le bureau Docker et suivez les instructions d’installation. Elles sont assez simples.

Valider Docker sur Windows en utilisant la ligne de commande avec PowerShell

  1. Utilisez la commande ‘docker run hello-world’ pour vérifier si l’installation est terminée avec succès.
  2. La commande ‘Docker images’ vous donnera les images dans votre conteneur.
  3. La commande ‘Docker ps -a’ permet de voir les informations d’exécution du conteneur.
  4. La commande ‘Docker rm container_id’ permet d’arrêter l’image en cours d’exécution.

Réunir tous ces éléments

  1. En exécutant la commande ‘docker run -i -t — rm ubuntu bash‘, cela configurera les ressources en tant que conteneur Docker basé sur Ubuntu et grâce au ‘– rm’, une fois que vous le fermez, le conteneur sera automatiquement supprimé.
Conteneur basé sur Ubuntu commencé à s'exécuter dans Docker Desktop

2. Lorsque vous êtes dans l’image du conteneur, si vous exécutez ‘free -h’, vous obtiendrez des informations sur la mémoire et d’autres informations utiles lors du travail en local sur votre machine.

Installation de Python et distills sur Windows en utilisant wsl Ubuntu

  1. Pour des raisons de développement, Python 3.9 sera utilisé, et la version que nous recherchons ici est Python 3.9 pour Ubuntu.
  2. Lorsque vous êtes dans l’environnement Ubuntu de votre terminal, copiez et collez les commandes ci-dessous une par une :
1. Mettez à jour la liste des packages et installez les prérequis : sudo apt update sudo apt install software-properties-common 2. Ajoutez le PPA deadsnakes à la liste des sources de votre système : sudo add-apt-repository ppa:deadsnakes/ppa 3. Mettez à jour la liste des packages à nouveau : sudo apt update 4. Installez Python 3.9 : sudo apt install python3.9 5. Vérifiez que l'installation s'est bien déroulée en tapant : python3.9 --version

Pour pouvoir créer un environnement virtuel pour cette version de Python, vous pouvez vérifier si vous pouvez le faire en utilisant ‘python3.9 -m venv <nom_de_l’environnement>’, si ce n’est pas le cas, exécutez cette commande pour vous assurer que vous disposez de la configuration nécessaire pour l’environnement virtuel : ‘sudo apt install python3-distutils -y’. Ensuite, relancez la commande ci-dessus pour vérifier les résultats.

Note rapide : Si vous êtes comme moi et que vous obtenez cette erreur :

Erreur : la commande '['/home/home_folder/p39-venv/bin/python3.9', '-Im', 'ensurepip', '--upgrade', '--default-pip']' a renvoyé un code de sortie non nul.

Utilisez la commande ci-dessous pour installer les dossiers restants pour la création de l’environnement virtuel Python :

sudo apt-get install python3.9-dev python3.9-venv

Ensuite, procédez à la création de l’environnement virtuel :

python3.9 -m venv p39-venv

Ensuite, activez l’environnement virtuel :

source p39-venv/bin/activate

Assurez-vous d’avoir la bonne version de Python dans l’environnement virtuel en exécutant ‘python –version’.

Utilisez les commandes ci-dessous pour désactiver et supprimer l’environnement virtuel que vous avez créé.

deactivate rm -rf <nom_venv>

We will continue to update IPGirl; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI

Réinventer l'utopie des communautés auto-créées pour l'ère numérique

Jon Hillis utilise les technologies numériques pour créer un réseau de communautés de vie en co-génération, telles qu...

AI

Comment l'anonymisation des images impacte-t-elle les performances de la vision par ordinateur ? Exploration des techniques d'anonymisation traditionnelles vs réalistes

L’anonymisation de l’image consiste à altérer les données visuelles pour protéger la vie privée des indiv...

AI

Ce bulletin d'information sur l'IA est tout ce dont vous avez besoin #72

Cette semaine, les actualités sur l'IA ont été dominées par le Devday d'OpenAI et le lancement de nombreux nouveaux m...

AI

Google AI Research présente un algorithme quantique révolutionnaire pour simuler efficacement des oscillateurs couplés.

La mécanique classique traite du mouvement des objets, des forces agissant sur eux et de l’énergie associée à l...

AI

Google AI présente Visually Rich Document Understanding (VRDU) un ensemble de données pour un meilleur suivi de la progression de la tâche de compréhension des documents.

De plus en plus de documents sont créés et stockés par les entreprises à l’ère numérique d’aujourd’...

Recherche en IA

En utilisant l'IA, des scientifiques ont trouvé un médicament qui pourrait combattre les infections résistantes aux médicaments.

L'algorithme d'apprentissage automatique a identifié un composé qui tue Acinetobacter baumannii, une bactérie qui se ...