Nettoyer la médiathèque

Ce plugin est intéressant dans l’un des cas suivants :

  1. Vous avez un site SPIP avec une version inférieure à la 1.9.2 et vous voulez le monter de version ;
  2. Vous avez un site depuis une version inférieure à SPIP 1.9.2 ;
  3. Vous voulez faire le ménage des logos et des documents orphelins dans votre répertoire /IMG.

Dans tous les cas, ce plugin déplacera les fichiers obsolètes dans un sous-répertoire IMG/orphelins. A vous de décider de leur sort par la suite ;-)

Préambule

Les captures d’écran présentes dans cet article sont faites à partir d’un site sous SPIP 3.0. De plus, je vous donnerai le mode d’accès aux pages selon le menu de la partie privée de SPIP 3.0.
La version 0.9.3 du plugin fonctionne aussi sous SPIP 2.1. L’apparence de l’interface diffère donc mais reste sur le même principe de fonctionnement.

Installation du plugin

Le plugin est repertorié dans le dépôt proposé par défaut : « SPIP-Zone - Plugins ». Aussi, il est installable depuis la page Gestion des plugins, onglet Ajouter des plugins si vous avez activé ce dépôt.
En cas de besoin, référez-vous à l’article dédié à ce sujet sur spip.net.

Fonctionnalités

Le plugin fonctionnera par tâches de fond. En clair, vous n’avez quasiment rien à faire pour que le plugin fonctionne après son activation. Vous pouvez déterminer dans quelle tranche horaire les tâches de fond doivent se lancer.
Avant de parler des fonctions en elles-mêmes, nous allons aborder les principes de base et la configuration du plugin pour ne pas avoir de surprise.
Ce plugin fonctionne aussi sur les sites SPIP où le core est mutualisé. Merci à Pierre KUHN pour les tests.

Principe de base des tâches de fond
Le plugin lancera les tâches de fond (cf. cron) toutes les 5h. Si vous n’avez fait qu’activer le plugin sans le configurer, pour des raisons de performances du site, une sécurité est mise en place en vérifiant que nous sommes bien entre minuit (0h) et 6h du matin.

Configuration
Pour accéder à la page de configuration, aller sur « Configuration > Gestion des plugins », puis chercher le plugin :

Cliquer sur la petite icône à droite du bloc. Vous serez redirigé sur la page http://example.org/ecrire/?exec=configurer_medias_nettoyage.

Sur cette page, vous pouvez activer les tranches horaires (recommandé) ou laisser le plugin se lancer régulièrement durant la journée.
Les tranches horaires, d’un pas de 6 heures, sont les suivantes :

  • 0h à 6h ;
  • 6h à 12h ;
  • 12h à 18h ;
  • 18h à minuit.

Tâche de fond #1 : Déplacer les répertoires obsolètes
Il arrive parfois qu’on récupère de très vieux sites internet qui traînent de vieilles coquilles. Dans les versions < 1.9.2, SPIP stockait dans le répertoire IMG/ les répertoires pour les icônes et les répertoires de cache. Ces répertoires sont obsolètes à partir de la version SPIP 1.9.2
Cette fonction va déplacer tous les répertoires commençant par « cache- » ou par « icones », de même pour les fichiers « cache-xxx » (après vérification qu’ils ne soient pas de vrais documents enregistrés en base de données) dans le répertoire IMG/orphelins/.

Tâche de fond #2 : Réparer les documents mal classés
Comme il a été dit en début de cet article, il arrive parfois que l’on récupère un vieux site. Il arrivait que pour des raisons de droits d’accès aux sous-répertoires que SPIP enregistre directement les documents dans le répertoire IMG/ au lieu de le mettre dans le répertoire correspondant à son extension. Exemple : IMG/jpg_monfichier.jpg au lieu de IMG/jpg/monfichier.jpg.
Cette tâche de fond va déplacer et renommer ce fichier selon la mécanique native de SPIP. Cela fait, il met à jour le lien du document dans la base de données.
Cette fonction reprend en grande partie le code issu de cet outil sur la zone : http://zone.spip.org/trac/spip-zone/browser/_outils_/repare_doc.html

Tâche de fond #3 : Déplacer tous les documents orphelins
Un document orphelin dans ce plugin est un document physique qui n’est plus référencé en base de données (cf. la boucle DOCUMENTS de SPIP). Alors, ce document sera déplacé dans le répertoire des orphelins (pour rappel : IMG/orphelins/). Il respectera le chemin d’accès du fichier initial.
Exemple : IMG/jpg/monfichier.jpg n’est plus référencé en base de données. Il sera déplacé dans IMG/orphelins/jpg/monfichier.jpg. En clair, si votre fichier était dans un sous répertoire de IMG/, il sera déplacé dans le même sous-répertoire dans IMG/orphelins/. De même, s’il était à la racine de IMG/, il se retrouvera à la racine IMG/orphelins/.
Cette fonction, la principale des 3 tâches de ce plugin, s’occupe de déplacer tous les documents orphelins. Il respectera la hiérarchie du fichier originel (cf. l’exemple donné au paragraphe précédent.)
A noter ici que le plugin prend en compte aussi les logos se référants à un objet qui n’est plus enregistré dans la base de données. Ces derniers seront des logos orphelins.

Il ne touchera pas aux répertoires qui ne font pas références aux documents de SPIP. Par exemple, le plugin Article PDF (actuellement en version 0.4.5) crée un sous répertoire dans IMG/ pour y enregistrer les pdf des articles demandés par le visiteur.
Le plugin « Nettoyer la médiathèque » ne touchera ni à ce répertoire, ni à ses fichiers.

Interface d’utilisation

En plus de ces tâches de fond, le plugin offre quelques pages pour consulter le contenu du répertoire IMG/. Il ne listera pas les documents qui sont stockés dans la base de données, SPIP le fait déjà très bien avec la page http://example.org/ecrire/?exec=documents

Tableau de bord - Documents
Après activation du plugin, vous aurez accès dans le menu « Édition » au tableau de bord des documents. (Édition > Tableau de bord - Documents).
Accessible par : http://example.org/ecrire/?exec=medias_tabbord

Ce tableau de bord donnera des informations techniques sur les documents, à savoir leur nombre et leur taille en octets :

  • en base de données :
    • Tous les documents ;
    • Les documents non-distants ;
    • Les documents sans fichiers physiques.
  • Répertoire IMG/ :
    • Tous les fichiers ;
    • Fichiers dans les répertoires d’extensions ;
    • Fichiers orphelins avec extensions (sauf logos), c’est-à-dire les fichiers non référencés en base de données ;
    • Répertoires à la racine.
  • Les logos dans IMG/ :
    • Logos des objets de SPIP ;
    • Logos en mode « on » ;
    • Logos en mode « off ».
  • Répertoire IMG/orphelins :
    • Tous les fichiers ;
    • Répertoires à la racine.

Dans les différents tableaux, la version actuelle du plugin 0.9.3 ne donne pas le poids des répertoires.

Dans la colonne de gauche, vous aurez accès à des pages correspondantes à ce tableau. Elles vous donneront plus d’informations.

Répertoire IMG/
Accessible par : http://example.org/ecrire/?exec=medias_rep_img

Cette page listera les répertoires présents dans IMG/. On y trouvera leur nom et leur date de création.
Pour avoir les fichiers contenus dans IMG/, je vous invite à consulter la page fournie par SPIP. http://example.org/ecrire/?exec=documents

Les logos dans IMG/
Accessible par : http://example.org/ecrire/?exec=medias_logos_img

Cette page listera dans un tableau les logos présents dans IMG/.
Ce tableau contient 3 colonnes :

  • Le nom et la prévisualisation du logo ;
  • Infos techniques : l’extension, la taille en octets et les dimensions en pixels ;
  • La date de création.

Vous pourrez cliquer sur la prévisualisation ou le nom du fichier pour avoir une vue plus grande du fichier.

Les logos de SPIP possèdent des « modes » : on (le logo normal) et off (le logo de survol). Au dessus du tableau, vous pouvez cliquer sur le mode désiré du logo et le tableau affichera les logos correspondants à votre sélection.

Documents orphelins
Accessible par : http://example.org/ecrire/?exec=medias_rep_orphelins

Cette page possède 2 tableaux :

  • la liste des documents ;
  • la liste des répertoires (comme sur la page des répertoires de IMG/).

On reprend le même type d’informations que pour le tableau des logos pour la liste des documents.
Lorsque le fichier est une image, une prévisualisation sera présente. Le nom est cliquable pour pouvoir accéder au fichier et ainsi le télécharger.

Todo

Voici une petite liste d’évolutions et/ou de choses à faire sur le plugin :
-  vérifier si l’objet d’un logo est toujours en base de données, si le logo n’est pas orphelin donc z82917 ;
-  ajouter un bouton supprimer le fichier orphelin 83009 ;
-  ajouter un bouton supprimer le répertoire (sous condition qu’il n’y a pas de fichiers dans le répertoire) ;
-  ajouter un bouton pour importer le fichier dans la table spip_documents ;
-  ajouter un bouton « vider le répertoire orphelins ».

Discussion

18 discussions

  • yo pour info ;
    opérationnel en mutualisation spip 4.1.5

    @micalement

    Répondre à ce message

  • Bonjour,

    Savez-vous si cette extension présente encore une utilité sous SPIP 4.0 ? Si oui si elle va être migrée ? Merci !

    Amicalement.

    Répondre à ce message

  • Bonjour,

    J’ai ce plugin installé sur un SPIP 3.2.8 [24473]
    Sur la page ?exec=medias_rep_orphelins il y a un bouton « Supprimer » en face de chaque média mais apparemment ce bouton ne fait rien.

    Le lien visé est
    « ecrire/ ?exec=medias_rep_orphelins&action=supprimer_orphelins&arg=..%2FIMG%2Forphelins%2Farton943.jpg&hash=ad75218306ecd39bd196494161f00b57145ecad3&redirect=.%2F%3Fexec%3Dmedias_rep_orphelins%26amp%3Bvar_mode%3Drecalcul »

    Mais il reste toujours la possibilité de supprimer les fichiers via ftp.
    dd

    Répondre à ce message

  • 2
    ChristianD.

    Bonjour,
    Je viens de migrer de serveur et ce plugin va me permettre de faire le ménage.

    Mais j’ai un souci qui est inverse à ce que fait ce plugin.

    Lors de la migration, j’ai perdu pas mal d’images liées à des articles. Existe-il un plugin qui analyse les articles et signale les liens rompus entre les images normalement présentes et le répertoire IMG ?

    Et question subsidiaire, mon répertoire IMG/jpg ne prend aucune nouvelle photo. J’ai mis les droits 777 et par ftp, je vois les images défiler et montées sur le serveur mais après un moment, le répertoire affiche toujours 4998 fichiers alors qu’il devrait être à 13.000 :-(.

    Merci d’avance pour vos réponses. Je désespère.

    • Bonjour,

      Il n’y a pas actuellement de plugin permettant d’analyser les liens IMG/ dans les champs texte d’un site SPIP.
      J’ai justement voulu créer un plugin pour faire cela (Page de contrôle éditoriale). Mais je ne suis pas satisfait du résultat. Il permet de contrôler les raccourcis typographiques par exemple (IMG/ext/fichier.ext devrait être docXXX ou… ah… il n’existe pas).
      Il fait de même pour les articles et les rubriques. La complexité vient de la regex qui doit être personnalisé par l’utilisateur… :-/

      De là aussi, autre complexité, comment est écrit l’url ? avec http? relative ? absolue ?

       :-D

    • ChristianD.

      Ok, merci de ta réponse.

      Je vais faire tourner ton plugin de toute façon.

    Répondre à ce message

  • 4
    Jean-Eric

    Bonjour,
    Je suis sous MAMP3.1/OsX(El Capitan), site en localhost:8889 et MySQL localhost:8890.

    SPIP 3.1.1 [22913] | Sarka-SPIP 3.4.6 [95419]

    J’ai installé le plugin, et chnage la plage horaire pour 12:00-18:00 (maintenant).
    Je vois bien la page "Documents dans le répertoire « orphelins »
    mais rien pour le moment.

    Pourrai-je connaitre le nom des taches de fond pour savoir si elles sont actives via « ps -ef... »

    merci. Sinon tres bonne idee de pluggin car je dois faire le menage avant de transferer ce site sur un hebergement externe.

    JE

    • Bonjour,

      Pour voir les crons correspondants, il faut aller sur la page ecrire/ ?exec=job_queue (Liste des travaux) et rechercher :

      • medias_deplacer_obsoletes
      • medias_deplacer_orphelins
      • medias_reparer_documents

      Cela prend du temps pour que cela effectif sur le disque :

      • vérifier la liste des fichiers ;
      • vérifier leur existence dans la table spip_documents ;
      • les déplacer si besoin dans le répertoire IMG/orphelins.

      En espérant avoir répondu à ta question. :-)

    • Jean-Eric

      Good !
      Je peux les « executer maintenant » ?
      Merci

    • Jean-Eric

      Pour que les documents « orphelins » ne fassent plus partie de mon site : faut-il utiliser l’interface "Documents dans le répertoire « orphelins » et utiliser supprimer ?
      ou plutot
      si deplacer IMG/orphelins vers un repertoire hors de mon site ?

      JE
      PS : j’ai 111 documents orphelins

    • (pour suivi)

      Bonjour,

      Oui, tu peux retirer le répertoire IMG/orphelins hors de ton site. SPIP considèrera ces documents (et surtout Nettoyer la médiathèque) comme effacés.
      Au prochain cron, le plugin recréera le répertoire IMG/orphelins/

      Amicalement,

    Répondre à ce message

  • 1

    bonsoir,

    j’avais oublié l’installation de ce plugin, testé pour faire du ménage,
    mais je constate qu’un très grand nombre de fichiers image ont été déplacé par erreur dans orphelins... ce qui fait que l’image n’est plus visible dans l’article qui s’en servait...
    ca concerne près de la moitié de mes 3000 documents...

    Je ne vois pas bien comment c’est possible... est-ce qu’on peut mettre une image dans un article par embxxxx ou imgxxx sans que ca n’alimente la table spip-documents ?

    SPIP 3.1.6 [23598] Sarka-SPIP Reloaded 4.5.10

    en attendant, j’ai désactivé...

    pam

    • Bonjour,

      Si vous utilisiez des embXX et cie pour appeler des fichiers stockés dans spip_documents mais qui n’étaient pas dans un sous répertoire IMG/ext/, le plugin Nettoyer la médiathèque les déplace pour les remettre sur le bon rail et ainsi avoir IMG/ext/votreFichier.ext.
      cf. Tâche de fond #2

      Il ne me semble pas que l’utilisation d’un modèle embXXX ou encore imgXXX importait automatiquement le document dans spip_documents.
      En effet, le XXX est le numéro du document dans spip_documents. De ce fait, cela induit que ce document était déjà en base de données.

      Amicalement,

    Répondre à ce message

  • 1

    Bjr

    Le plugin actuellement installé est signalé comme incompatible ou à vérifier pour SPIP 3.2.0.

    Une MàJ est-elle prévue ?

    Répondre à ce message

  • 1

    Salut,

    petite question : est-ce que le plugin est compatible avec le plugin hash_documents ?

    Dans la ta tâche n°2, il est indiqué : « Cette tâche de fond va déplacer et renommer ce fichier selon la mécanique native de SPIP. » Or, avec hash_documents, l’arborescence est différente (IMG/jpg/a/b/c/fichier.jpg).
    Est-ce qu’il va le prendre en compte et ne pas tout redéplacer ?

    Merci

    • Salut,

      Désolé de la réponse un peu tardive, je ne reçois pas les alertes de contrib…

      Je n’ai pas testé avec ce plugin. Mais il semble que le plugin met à jour les répertoires et les documents avec leur nouvelle « adresse ». De ce fait, en théorie, oui, cela devrait être compatible…

      J’ai un doute tout de même du fait de la profondeur… En effet, il me semble que Nettoyer la médiathèque ne va pas à plus d’un niveau de profondeur dans IMG/.

      Mais je n’ai aucune certitude. Il faudrait tester…

    Répondre à ce message

  • 7

    Bonsoir,
    je voudrais alléger des sites qui contiennent beaucoup de vidéos qui ne sont pas indexées en bdd car plus grandes que les 10Mo autorisées pour les documents téléchargeables par spip.
    Je les avais donc chargées par ftp dans les bons répertoires IMG/mp4 IMG/m4v etc. et insérés dans les articles en y écrivant directement les balises « video » de html5 avec les url des vidéos en clair. Ors il y en a plein qui sont orphelines.
    Ma question, simple : si j’utilise votre plugin pour faire le ménage, va-t-il identifier que mes vidéos orphelines ou bien il va considérer que toutes mes vidéos insérés directement par leur code html sont orphelines, et donc les déplacer ? Vous comprenez l’intérêt de ma question avant de lancer le plugin ...
    Merci d’avance.

    • Je doute que le plugin de Teddy fasse cela, mais je lui laisse le soin de répondre.

      En revanche je vous signale au cas où deux choses pour éviter de se retrouver à l’avenir dans une telle situation :
      -  la limite de taille au téléchargement est définie par l’hébergeur, dans la configuration php, pas par SPIP. Voyez avec lui si vous pouvez changer le réglage.
      -  SPIP permet dans tous les cas de contourner cette limite : en mettant le fichier via ftp dans tmp/upload, il est ensuite possible d’envoyer le fichier depuis « le serveur » (voir le lien dans le formulaire d’ajout de fichier). Ce qui permet ensuite de le mettre en base et d’utiliser proprement les modèles de SPIP, ce qui plutôt une bonne chose.

    • Bonjour,

      En effet, le plugin regarde les fichiers présents dans chaque répertoire d’extensions (et je dis bien répertoire d’extensions) et les compare à ce qui est enregistré en base de données dans spip_documents. Si le fichier n’y est pas alors il est considéré comme orphelin.

      Donc, dans votre cas, les vidéos que vous avez mis dans IMG/mp4 et IMG/m4v seront considérées comme orphelines.

      Et je rejoins Maïeul sur la méthode d’insertion dans SPIP de documents plus lourds que la limite de chargement des fichiers par l’hébergeur (ou php).
      Est-ce que vous pourriez indiquer (entre les balises <code>) le code que vous utilisez pour l’insertion de vos vidéos s’il vous plaît ?
      On pourrait imaginer (par forcément dans ce plugin) un script qui analyse les champs de type texte de la base de données pour y détecter les liens IMG/ext/nom_fichier.ext pour une comparaison avec spip_documents et le contenu du répertoire IMG/… :-)
      Et selon le résultat, on l’importe dans la base de données pour ne pas les perdre par le plugin « Nettoyer la médiathèque ».

    • Merci pour cette rapide réponse.
      J’en tiendrai compte dans l’avenir mais ... le mal est fait !
      Donc en passant par tmp/upload j’aurai mes vidéos indexée dans la bdd sous la forme docxx, si je comprends bien.
      Néanmoins, je ne vois pas comment insérer une vidéo conforme à html5 en utilisant les liens spip de type docxx puisqu’il faut écrire une balise du type

      <video controls title="..." style="...">
       <source src="http://site/IMG/m4v/fichier.m4v">
       <source src="http://site/IMG/webm/fichier.webm">
      </video>

      pour diffuser au moins deux types de fichiers (voire plus) afin d’afficher la vidéo sur un maximum de supports.

    • C’est justement l’intérêt de l’emploi d’un modele spip : tu peux toi même le transformer. http://www.spip.net/fr_article3454.html

      Cela étant pour les vidéos (que je connais très mal), il existe deja des choses qui font un peu près cela. Regarde par exemple ici http://contrib.spip.net/Plugin-video-HTML5

    • Re,

      En fait, on peut imaginer, du moment que les documents sont bien stockés dans la BDD, un modèle où on passerait l’identifiant du document en paramètre.

      Un exemple :

      • IMG/m4v/fichier.m4v est le document 1234 ;
      • IMG/webm/fichier.webm est le document 1235 ;
      • Si on a toujours les mêmes formats de vidéos, on insère le modèle <video> dans le corps du texte de l’article ;
      • On lui passe les paramètres suivants : <video|m4v=1234|webm=1235>

      Et dans le fichier modeles/video.html :

      <video controls title="..." style="...">
      <BOUCLE_m4v (DOCUMENTS) {id_document=#ENV{m4v}} {si #ENV{m4v}}>
      <source src="[(#FICHIER)]">
      </BOUCLE_m4v>
      <BOUCLE_webm (DOCUMENTS) {id_document=#ENV{webm}} {si #ENV{webm}}>
      <source src="[(#FICHIER)]">
      </BOUCLE_webm>
      </video>
    • Merci, intéressant le plugin video-html5, je vais regarder ça de plus près et l’adapter à un usage plus large (plus de deux formats, affichage « responsive » qui s’adapte à la taille du lecteur). Problème identique pour les fichiers audio.
      Evidement, quand on commence à gérer un site on a pas à l’esprit qu’on va générer des « déchets » ...
      Mais, comme je disais plus haut, le mal est fait.
      Donc il ne me reste plus qu’à trier manuellement quelque milliers de fichiers.
       ;-(

    • Bonjour,

      On pourrait faire évoluer le plugin Vidéo HTML5 pour que le « alt » puisse prendre en compte plusieurs id de documents. Cela faciliterait les choses pour avoir plus de versions d’une vidéo.

      Pour ce qui est de tes « déchets », comme je te l’ai dit, on peut imaginer un script qui détecte les documents orphelins (bon… mon plugin le fait déjà). Mais il faut surtout avoir un « bouton » qui puisse ré-importer le document orphelin comme documents SPIP.
      Ça fait parti de ma todo sur ce plugin.

      Mais ce qui serait intéressant, c’est lorsqu’on est sur un article, on détecte la présence d’un lien http://monsite.tld/IMG/ext/fichier.ext et à partir de là, plusieurs possibilités :

      • Si le document est référencé dans spip_documents, on indique le numéro de document qui devrait être utilisé ;
      • Le document n’est pas dans spip_documents mais présent dans IMG/ext du site, alors on propose l’importation de ce document dans spip_documents. Et de ce fait, on revient dans le cas précédent.

    Répondre à ce message

  • 3

    Alors, quelques temps plus tard…
    Bonne année 2016 !
    J’ai changé d’hébergeur en passant de Free à Gandi. Je vais tenter de nouveau ce prometteur plugin.
    Fonctionne-t-il avec le plugin Albums ? Puisque une image peut ne pas être associée à une page, mais seulement à un album (sans être pour autant orphelin)… ?

    Merci !
    Vincent

    • En l’occurence : Albums-3 3.3.14 : http://contrib.spip.net/Albums-3
      Et pour être complet : Nettoyer la médiathèque 0.11.1
      Spip 3.0.19 [22089]

    • Bonjour,

      Voici ce qui est dit dans le paragraphe « Tâche de fond #3 : Déplacer tous les documents orphelins »

      Un document orphelin dans ce plugin est un document physique qui n’est plus référencé en base de données (cf. la boucle DOCUMENTS de SPIP).

      Donc, pour répondre à ta question, oui cela marche avec le plugin Albums si ce dernier alimente la table spip_documents

      Amicalement

    • Donc, ça devrait être bon. :-) Merci Teddy !

    Répondre à ce message

Ajouter un commentaire

Avant de faire part d’un problème sur un plugin X, merci de lire ce qui suit :

  • Désactiver tous les plugins que vous ne voulez pas tester afin de vous assurer que le bug vient bien du plugin X. Cela vous évitera d’écrire sur le forum d’une contribution qui n’est finalement pas en cause.
  • Cherchez et notez les numéros de version de tout ce qui est en place au moment du test :
    • version de SPIP, en bas de la partie privée
    • version du plugin testé et des éventuels plugins nécessités
    • version de PHP (exec=info en partie privée)
    • version de MySQL / SQLite
  • Si votre problème concerne la partie publique de votre site, donnez une URL où le bug est visible, pour que les gens puissent voir par eux-mêmes.
  • En cas de page blanche, merci d’activer l’affichage des erreurs, et d’indiquer ensuite l’erreur qui apparaît.

Merci d’avance pour les personnes qui vous aideront !

Par ailleurs, n’oubliez pas que les contributeurs et contributrices ont une vie en dehors de SPIP.

Qui êtes-vous ?
[Se connecter]

Pour afficher votre trombine avec votre message, enregistrez-la d’abord sur gravatar.com (gratuit et indolore) et n’oubliez pas d’indiquer votre adresse e-mail ici.

Ajoutez votre commentaire ici

Ce champ accepte les raccourcis SPIP {{gras}} {italique} -*liste [texte->url] <quote> <code> et le code HTML <q> <del> <ins>. Pour créer des paragraphes, laissez simplement des lignes vides.

Ajouter un document

Suivre les commentaires : RSS 2.0 | Atom