Sauvegarder le répertoire IMG/ avec wget

Voici un système client serveur en deux lignes pour sauvegarder le répertoire des documents.

Comment sauvegarder IMG/ ? Par FTP c’est pénible... voici un système qui simplifie la vie.

Côté serveur, on crée le squelette toutimg.html, composé d’une seule ligne :

<?php echo join("\n",preg_files(_DIR_IMG, '.*')); ?>

Côté client, sur la machine qui doit recevoir la sauvegarde, on lance le script suivant, sur la ligne de commande :

SITE="http://www.monsite.tld"; for i in $(curl $SITE/?page=toutimg); do wget -x -nc $SITE/$i; done

A condition bien entendu d’avoir installé au préalable la commande wget (http://fr.wikipedia.org/wiki/Wget), on récupère ainsi tout le contenu du répertoire IMG/.

Les options de wget ont été choisies de manière à recopier l’arborescence du répertoire (option -x), et à ne pas télécharger plusieurs fois un document qu’on a déjà chargé (-nc).

Il est possible de se passer du squelette côté serveur, en utilisant les options de récursion de wget. Toutefois, c’est un peu moins précis : car si le site contient des documents .html, wget suivra les liens internes de ces documents, ce qui n’est pas forcément souhaitable ; de plus si le répertoire IMG/ est « protégé » par un fichier index.html, wget ne saura pas où trouver les documents.

Cela étant dit, voici le code :

wget -x -nc -r -np http://www.monsite.tld/IMG/

Les options -r et -np signifiant respectivement : « récursif » et « ne pas remonter l’arborescence (no-parent) ».

Discussion

6 discussions

  • 1

    ceux qui sont sous Windows trouveront des infos adaptées pour utiliser wget ici : https://builtvisible.com/download-your-website-with-wget/

    • SITE="http://www.monsite.tld" ; for i in $(curl $SITE/ ?page=toutimg) ; do wget -x -nc $SITE/$i ; done

      j’ai essayé la commande sous windows mais j’ai un message d’erreur

      ’SITE’ n’est pas reconnu en tant que commande interne ou externe, un programme exécutable ou un fichier de commandes.

      je suis preneur de plus d’infos sur comment sauvegarder le dossier /IMG
      j’ai un souci de documents manquants sur le ftp et présent en ligne

    Répondre à ce message

  • 3

    j’essaie de sauvegarder le dossier /IMG sous windows mais j’ai un message d’erreur avec la ligne de commande

    ’SITE’ n’est pas reconnu en tant que commande interne
    ou externe, un programme exécutable ou un fichier de commandes.

    • Dans ce cas tu peux remplacer $SITE par l’url de ton site.

    • désolé mais je suis vraiment nul avec ces lignes de commande
      à la place de cette ligne

      SITE="http://www.monsite.tld" ; for i in $(curl $SITE/ ?page=toutimg) ; do wget -x -nc $SITE/$i ; done

      je mets l’url de mon site à chaque $SITE ?

    • désolé mais je suis vraiment nul avec ces lignes de commande
      je remplace tous les $SITE par l’url de mon site de cette ligne de commande ?

      SITE="http://www.monsite.tld"; for i in $(curl $SITE/?page=toutimg); do wget -x -nc $SITE/$i; done

    Répondre à ce message

  • Cela fonctionne nickel. J’ai 2 petites questions :

    Est-ce que cela signifie que tout humain ou machine allant à l’url toutimg.html peut télécharger le dossier IMG complet y compris ce qui est dans /protege ?

    Quelle est la syntaxe pour exclure les documents dans /distant ?

    merci

    Répondre à ce message

  • ChristianD.

    Bonjour,

    Dans mon répertoire IMG, quand je suis en Ftp, je ne vois pas toutes les images. Par ex, une image appelée « image de Marcel » apparait bien quand je suis en Ftp mais quand je la renomme " « image_de_Marcel », je ne la vois plus. C’est pourtant cette syntaxe qui est utilisée par Spip. Et par Ftp quand je vois le nombre de fichiers, il n’est décompté que les fichiers qui sont dans la 1re syntaxe de mon exemple.

    Je ne sais pas où vont les fichiers de la seconde syntaxe.

    Ce script me permettra de tout copier ? Même les fichiers que je ne vois pas par Ftp ?
    Et si quelqu’un peut me dire comment visualiser TOUS les fichiers, même ceux avec underscore...

    Merci de vos réponses.

    Répondre à ce message

  • 3

    Au risque de passer pour un idiot : quel est l’avantage de cette technique par / à une simple copie de répertoire via FTP ?

    JG

    • rzawutang44

      Récapitulons :

      I. Avec un client FTP

      à chaque fois qu’on veut copier IMG/ faire :
      1. ouvrir un client (souvent graphique) ftp
      2. sélectionner son serveur
      3. sélectionner IMG/ sur le serveur et le copier vers son disque dur
      fin

      II. Avec la ligne de commande

      - créer le squelette d’une ligne (une fois pour toutes)
      - installer wget (une fois pour toutes)

      à chaque fois qu’on veut télécharger IMG/ faire :
      1. faire un alias dans son /.*sh.alias qui exécute la commande wget OPTIONS
      fin

      Donc une vraie économie :-)

    • La grosse différence, c’est que wget ne va pas retélécharger un document qu’il a déjà téléchargé.

    • Autre solution : lftp

      Une solution ftp qui permet de faire un mirroir sans retélécharger les documents déjà téléchargés.

      http://doc.ubuntu-fr.org/lftp

      http://wiki.monserveurperso.com/wakka.php?wiki=MirroringFTP

      Exemple de syntaxe :

      lftp ftp://identifiant:mot_de_passe@site_de_connexion -e "set ftp:list-options -a ; mirror -e -x dossier_ignoré -x dossier_ignoré /emplacement_distant/ /emplacement_local ; quit"

      Je viens de tester, çà a l’air ok.

    Répondre à ce message

  • 3
    martin

    Le script correspond à un vrai besoin, merci

    Chez moi, il a fallu installer ’wget’ et ’curl’ ; mais avec une bonne distribution linux (kubuntu) c’est vraiment simple.

    Ensuite le défi c’est que les fichiers aillent se mettre dans le répertoire que l’on désire : idéalement chez moi : /home/user/public_html/IMG afin de repeupler convenablement le serveur mirroir que je fais tourner en local (c’est pratique pour les tests et me permet d’avoir une sauvegarde fonctionnelle en cas de difficulté avec le serveur).

    wget ne permet pas de désigner le répertoire de destination (ou j’ai pas vu) donc je passe la commande ’cd /home/user/public_html/IMG’ avant celle indiquée dans l’article. Mais il me crée le répertoire /home/user/public_html/IMG/monsite.tld ... ce n’était pas le but ! En enlevant le -x de wget, il met tous les fichiers dans IMG, sans les placer dans les sous répertoires /doc, /pdf ... qui vont bien

    help afin de pouvoir rapatrier les fichiers de IMG *au bon endroit*

    Merci

    • Il fallait étudier les options de wget et trouver : -nH qui permet d’éviter de remettre le nom d’hote du site dans le répertoire de destination. Les commandes à passer deviennent donc :

      cd /home/user/public_html/

      SITE="http://www.monsite.tld"; for i in $(curl $SITE/?page=toutimg); do wget -x -nc -nH $SITE/$i; done

      J’ai mis ses deux commandes chez moi à la fin d’un script de sauvegarde de la base de données utilisant mysqldump pour sauvegarder la base sur le serveur, puis scp pour ramener le fichier sql en local, et enfin mysql pour le réinstaller en local.

      Ainsi je dispose d’un miroir complet et opérationnel de mon site sur mon serveur local, comme backup et comme test pour les squelettes ...

    • Bonjour,

      Pourrais tu transmettre l’intégralité de ton script ???

      Merci

    • Voilà,
      C’est pas optimisé parcequ’il faut encore rentrer tous les mots de passe au fur et mesure que nécessaire. Ca reste donc manuel mais asser simple à déclencher.

      #! /bin/sh
      echo "-----------------------------------------------------"
      echo "Sauvegarde de Monsite "
      echo "-----------------------------------------------------"
      echo
      echo
      echo "Sauvegarde de la base de données"
      echo "En ligne > Seveur local"
      echo "----------------------------------------------"
      echo
      echo "Entrer le mot de passe mysql@monsite"
      read -s secret
      echo "DEBUT de l'exécution DU SCRIPT "
      echo "----------------------------------------------"
      echo
      echo "Sauvegarde de la base en ligne "
      
      ssh admin@monsite.org "mysqldump --add-drop-table --add-locks -u adminmysql -p$secret  monsite_org_-_spip > /home/monsite/MySQL_monsite.sql"
      
      echo "MySQL_monsite.sql cree en ligne "
      echo "----------------------------------------------"
      echo
      echo "Transfert du fichier sql en local"
      echo " Donner le mot de passe de admin@monsite.org"
      
      scp -pC admin@monsite.org:/home/monsite/MySQL_monsite.sql /home/monsite/
      
      echo "Fin du transfert de la base"
      echo "----------------------------------------------"
      echo
      echo "Sauvegarde du repertoire IMG"
      echo "En ligne > Serveur local"
      
      cd /home/monsite/www
      # wget recupere les fichier 1 a  1
      # -x 		force la creation de repertoire si necessaire
      # -nc 	ne pas recharger un fichier deja present a  la destination
      #-nv		no-verbose (erreurs et info de base seulement affichees) / -q 	quiet (pas de sortie)
      # -nH --no-host-directories	 Desactive la generation de la racine des repertoires avec le nom de l'hote.
      SITE="http://monsite"; for i in $(curl $SITE/?page=toutimg); do wget -x -nc -nH $SITE/$i; done
      
      echo "Fin recuperation repertoire IMG "
      echo "----------------------------------------------"
      echo
      echo "Saisir n'importe quoi pour continuer"
      read var
      echo
      echo "Repeuplement de la base locale "
      
      mysql -u root MySQL_monsite < /home/monsite/MySQL_monsite.sql"
      echo "Fin du repeuplement de la base locale "
      echo -n  "Vous aviez écrit :" $var
      echo
      echo "-----------------------------------------------------"
      echo "Sauvegarde de monsite terminée"
      echo "-----------------------------------------------------"
      echo

    Répondre à ce message

Ajouter un commentaire

Avant de faire part d’un problème sur un plugin X, merci de lire ce qui suit :

  • Désactiver tous les plugins que vous ne voulez pas tester afin de vous assurer que le bug vient bien du plugin X. Cela vous évitera d’écrire sur le forum d’une contribution qui n’est finalement pas en cause.
  • Cherchez et notez les numéros de version de tout ce qui est en place au moment du test :
    • version de SPIP, en bas de la partie privée
    • version du plugin testé et des éventuels plugins nécessités
    • version de PHP (exec=info en partie privée)
    • version de MySQL / SQLite
  • Si votre problème concerne la partie publique de votre site, donnez une URL où le bug est visible, pour que les gens puissent voir par eux-mêmes.
  • En cas de page blanche, merci d’activer l’affichage des erreurs, et d’indiquer ensuite l’erreur qui apparaît.

Merci d’avance pour les personnes qui vous aideront !

Par ailleurs, n’oubliez pas que les contributeurs et contributrices ont une vie en dehors de SPIP.

Qui êtes-vous ?
[Se connecter]

Pour afficher votre trombine avec votre message, enregistrez-la d’abord sur gravatar.com (gratuit et indolore) et n’oubliez pas d’indiquer votre adresse e-mail ici.

Ajoutez votre commentaire ici

Ce champ accepte les raccourcis SPIP {{gras}} {italique} -*liste [texte->url] <quote> <code> et le code HTML <q> <del> <ins>. Pour créer des paragraphes, laissez simplement des lignes vides.

Ajouter un document

Suivre les commentaires : RSS 2.0 | Atom