Articles of wget

Pourquoi wget ne télécharge-t-il que le fichier index.html pour certains sites Web?

J’essaie d’utiliser la commande wget: wget -p http://www.example.com pour récupérer tous les fichiers sur la page principale. Pour certains sites Web, cela fonctionne, mais dans la plupart des cas, il suffit de télécharger le fichier index.html. J’ai essayé la commande wget -r mais ça ne marche pas. Tout le monde sait comment récupérer tous les […]

Script BASH: Télécharger des fichiers numérotés consécutifs avec wget

J’ai un serveur Web qui enregistre les fichiers journaux d’une application Web numérotée. Un exemple de nom de fichier pour cela serait: dbsclog01s001.log dbsclog01s002.log dbsclog01s003.log Les 3 derniers chiffres correspondent au compteur et peuvent atteindre jusqu’à 100. J’ouvre habituellement un navigateur Web, navigue jusqu’au fichier comme: http://someaddress.com/logs/dbsclog01s001.log et enregistrez les fichiers. Bien sûr, cela devient […]

télécharger des fichiers via terminal / cmdline via wetransfer.com

poeple m’envoie de plus en plus de gros fichiers zip via wetransfer, ce qui est bien car cela fonctionne et je n’ai pas besoin de configurer un ftp ou de télécharger moi-même. mais j’ai besoin de récupérer ces données sur mon serveur Ubuntu qui se trouve sur une connexion rapide dans une ferme de serveurs. […]

Comment ne reproduire qu’une section d’un site Web?

Je ne peux pas obtenir wget pour refléter une section d’un site Web (un chemin de dossier sous la racine) – il semble seulement fonctionner à partir de la page d’accueil du site Web. J’ai essayé de nombreuses options – voici un exemple wget -rkp -l3 -np http://somewebsite/subpath/down/here/ Bien que je veuille uniquement mettre en […]

Spider un site Web et retourner les URL uniquement

Je cherche un moyen de pseudo-spider un site web. La clé est que je ne veux pas réellement le contenu, mais plutôt une simple liste d’URI. Je peux me rapprocher raisonnablement de cette idée avec Wget en utilisant l’option –spider , mais en diffusant cette sortie via un grep , je n’arrive pas à trouver […]

Comment renommer le fichier téléchargé avec wget?

Pour télécharger les statistiques SOFA depuis le serveur, j’utilise la commande wget: wget -c http://sourceforge.net/projects/sofastatistics/files/latest/download?source=dlp Le nom du fichier téléchargé dans ce cas est download?source=files . Si j’ajoute l’option –output-document à la commande, pour renommer le fichier de sortie en sofastatistics-latest.deb , le format du fichier téléchargé n’est pas reconnu par le package dpkg. dpkg-deb: […]

Puis-je utiliser wget pour vérifier, mais pas télécharger

Puis-je utiliser wget pour rechercher un 404 et ne pas télécharger la ressource? Si c’est le cas, comment? Merci

Comment télécharger tous les liens vers les fichiers .zip sur une page Web donnée en utilisant wget / curl?

Une page contient des liens vers un ensemble de fichiers .zip que je souhaite tous télécharger. Je sais que cela peut être fait par wget et curl. Comment est-il fait?

Comment envoyer une requête HTTP OPTIONS à partir de la ligne de commande?

J’ai essayé d’utiliser cURL mais il semble que par défaut (Debian) ne soit pas compilé avec le support HTTPS et je ne veux pas le construire moi-même. wget semble avoir le support SSL mais je n’ai trouvé aucune information sur la façon de générer une requête HTTP OPTIONS avec wget.

Comment installer wget dans macOS (Capitan / Sierra)?

J’essaye d’installer wget dans MAC OS 10.11.1 mais quand j’exécute ./configure –with-ssl=openssl j’obtiens cette erreur: configure: error: –with-ssl=openssl was given, but SSL is not available. Comment résoudre ce problème dans OSX 10.11.1?