Referer Spam

Publié le : 23 janvier 2016 – Dernière modification le 21 décembre 2021 – par jean-emmanuel – 60 commentaires

1
2
3
4
5
6 votes

Le but de ce plugin est d’exclure les liens entrants frauduleux des statistiques à l’aide d’une liste noire.

Afin de lutter contre le referer spam, qui peut rapidement rendre inutilisable les statistiques de visites fournies par spip, ce plugin apporte la possibilité de marquer les liens entrants suspects comme indésirables. Ils ne seront alors plus pris en compte dans le calcul des visites.

Fonctionnement du plugin

  • Ajout d’une table referer_spam dans la base de donnée listant les liens entrants frauduleux
  • Ajout d’un onglet Liste noire dans les statistiques affichant les liens bloqués
  • Surcharge de la tâche cron du plugin Statistiques pour ne pas prendre en compte les visites indésirables
  • Surcharge de la page d’affichage des lien entrants :
    • Ajout de boutons dans la liste des liens entrants pour marquer les spam
    • Filtrage des liens entrants affichés en fonction de la liste noire

Installation

Pour installer le plugin depuis l’espace privé de spip, il est nécessaire d’ajouter le dépôt suivant en plus de celui proposé par défaut (dans Configuration > Gestion des plugins > Ajouter des plugins > Dépôts) :

https://files.spip.net/externals/archives_externals.xml

Comment s’en servir

L’utilisation du plugin est simple : il suffit de marquer manuellement les liens entrants suspects sur la page Liens entrants.

Liens entrants

Marquer un lien comme spam empêchera les futures visites en provenance de ce site d’être prises en compte, mais ne changera pas les statistiques de visites passées (celles-ci sont stockées indépendamment des liens entrants).

En cas d’erreur, il suffit d’aller sur la page Liste noire et de cliquer sur Retirer des spam.

Liste noire

Discussion

5 ans 1 an 3 mois Sans limite
par date
Filtrer

20 discussions

  • 1
    Kingrise

    Bonjour et merci pour ce plugin... Y a-t-il un retour pour l’utilisation de ce plugin sous spip 4.2 ? Quelqu’un a-t-il déjà essayé en modifiant les bornes de version ?

    • Maïeul

      Bonjour,

      peux tu éviter de poster 36 fois le même message sous les plugins : tu es detecté comme spam.

      Pose plutot en une fois les questions sur discuter.spip.net

      https://discuter.spip.net/t/plugins-manquants-pour-version-4-2/169452

      Pour répondre :
      -  referer spam je n’ai pas testé car pas le tps, mais je soupconne que cela marche
      -  critère {mots} devrait a priori marcher, mais sans doute du nettoyage à faire
      -  compositions c’est en cour, mais la version actuelle marche.

      pour les autres je n’utilise pas.

    Répondre à ce message

  • 2
    L’intendant zonard

    Hello,

    Le Referer Spam est annoncé comme qualifié pour la version SPIP 4.1, mais chez moi ça ne marche pas bien, cela cause une vilaine erreur dans le squelette de l’espace privé, cf. la capture d’écran :

    • Maïeul

      On dirait que tu as eu un problème à l’installation.

      Tente d’aller dans maintenance> maintenance technique et tente une réparation. Ca devrait recrerer les tables.

    • RealET

      Non, c’est pas ça : tu es en UTF8MB4 pour la base et la taille des index de ce plugin n’est pas compatible avec ta version de MySQL et sa configuration :(

    Répondre à ce message

  • 2
    Maïeul

    Suggestion d’amélioration : pouvoir déclarer plusieurs sites comme spam d’un coup, en ayant des case à cocher et un seul clic final.

    • Luc

      Bonsoir
      Je viens d’installer ce plugin qui répond à un vrai besoin !
      Je plussoie pour une option permettant de marquer en spam plusieurs sites d’un seul coup.

      Par ailleurs, j’ai marqué en spam plusieurs dizaines de sites dont l’URL se termine invariablement par : « .best ». Activité un peu chronophage.
      S’il pouvait exister une option permettant de mettre en spam d’un seul coup tous les sites ayant tel ou tel suffixe, ce serait top !

    • RealET

      Voir https://contrib.spip.net/Referer-Spam#comment505640-505637 : l’auteur a permis que le plugin soit sur le git de SPIP car il est loin de SPIP (l’auteur, pas le plugin)

    Répondre à ce message

  • 2
    RealET

    Bonjour,

    Maintenant que la Zone est passée sur https://git.spip.net, est-ce que ce plugin pourrait migrer dessus ?

    Merci d’avance.

    PS : sans réponse, je vais finir par le faire, car le bug du utf8mb4 est vraiment bloquant

    Répondre à ce message

  • spipfactory.fr

    Bonjour,

    je viens de constater que si l’on place le plugin dans le répertoire plugins_dist, celui ci n’est pas fonctionnel.
    on a plus accès au bouton pour placer le referer en spam

    par contre des que l’on repositionne le plugin dans /plugins , il redeviens opérationnel

    je constate que si l’on active le plugin Statistiques des objets, on perd également la fonction.

    Répondre à ce message

  • 3
    alcide47

    Sur le local spip3.2.3 le pluging s’installe et fonctionne sans pb ( base mysql)
    Sur le distant j’ai une erreur qui me dit que la table ne s’est pas créée sur la base mysql
    pourtant sur les liens entrants je vois apparaître le bouton « spam » et la rubrique liste noire.
    Je mets la copie d’écran
    Merci de m’aider

    • jean-emmanuel

      Bonjour, désolé pour la réponse tardive. Je n’ai pas réussi à reproduire le problème, d’après ce que tu décris je ne suis pas certain que le problème vienne du plugin en lui même.

    • RealET

      Alors, je crois que j’ai le même problème : il s’agit d’un cas où utf8mb4 est configuré sur la base.
      Et ça donne ça dans mysql.log à l’installation du plugin :

      2019-05-25 16:23:59 78.205.175.37 (pid 16091) :Pri:ERREUR: Erreur 1071 de mysql: Specified key was too long; max key length is 1000 bytes
in /ecrire/base/create.php L73 [sql_create(),creer_ou_upgrader_table(),alterer_base(),maj_tables(),serie_alter(),maj_while(),maj_plugin(),referer_spam_upgrade(),spip_plugin_install(),plugins_installer_dist(),installer_plugin(),do_install(),do_action(),one_action(),action_actionner_dist(),traiter_appels_actions()]
CREATE  TABLE IF NOT EXISTS mutu_pro2spipf126.spip_referer_spam (
		date DATE NOT NULL,
		referer VARCHAR (255) ,
		PRIMARY KEY (referer)) ENGINE=MyISAM

      J’ai fait un ticket pour SPIP : https://core.spip.net/issues/4342?next_issue_id=4339

      Mais AMHA, il faudrait que tu changes cette table avec :

      • une clef primaire sur un entier auto-incrémenté
      • et le champ referer de type TEXT
    • elm31rugby

      Bonjour, j’ai le même problème avec deux sites que je viens de passer en Spip 3.2 j’ai voulu activer spam_referer sur chaque site, et dans les deux cas j’ai eu la même réponse : Table inexistante. Cf. copie d’écran.

    Répondre à ce message

  • Liberté

    Bonjour,
    Y a-t-il un moyen de trier/classer les sites étiquetés spam ?

    Par ordre alphabétique, date d‘étiquetage

    Ca permettrait de vérifier rapidement si on n‘a pas mis en spam un bon site.

    Répondre à ce message

  • 3
    touti

    vu que le plugin n’a pas été modifié pour les der,ières versions de spip
    je note ici les petite requête anti chars à lancer dans mysql

    DELETE FROM <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span> WHERE <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span>.<span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+cmVmZXJlcjwvY29kZT4="></span> like '%.ru%' ;
DELETE FROM <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span> WHERE <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span>.<span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+cmVmZXJlcjwvY29kZT4="></span> like '%porn%' ;
DELETE FROM <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span> WHERE <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span>.<span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+cmVmZXJlcjwvY29kZT4="></span> like '%pizza%' ;
DELETE FROM <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span> WHERE <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span>.<span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+cmVmZXJlcjwvY29kZT4="></span> like '%buy%' ;
DELETE FROM <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span> WHERE <span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+c3BpcF9yZWZlcmVyczwvY29kZT4="></span>.<span class="base64" title="PGNvZGUgY2xhc3M9InNwaXBfY29kZSBzcGlwX2NvZGVfaW5saW5lIiBkaXI9Imx0ciI+cmVmZXJlcjwvY29kZT4="></span> like '%fuc%' ;
    • jean-emmanuel

      Peux-tu expliquer un peu plus ton message ? Il me semble que le plugin fonctionne bien avec les dernières versions de spip, et je ne vois pas trop en quoi les requêtes sql que tu listes ici peuvent aider les autres utilisateurs.

    • touti

      Bonsoir,
      le plugin n’est apparemment pas indexé par SVP, je n’avais pas vu qu’il était compatible car il n’y avait pas de maj disponible dans la page des plugins.
      J’ai donc lancé des requêtes sql qui permettent d’effacer rapidement les spams referers, tout simplement :) Merci pour ton plugin très pratique et qu’il faut activer en copiant le lien donné sur cette page.

    • jean-emmanuel

      Je venais juste de corriger mon précédent message après avoir compris que tu proposais une méthode manuelle pour supprimer les referers, j’avais lu un peu trop vite, Si le plugin n’apparait pas dans le gestionnaire de plugins, il faut ajouter le dépôt « externals » comme indiqué plus haut. Je suis content de savoir que ce petit plugin sert encore :)

    Répondre à ce message

  • 1
    Liberté

    Bonjour,

    Dans l’origine des visites, chez moi 311sites j’ai : <3 visites (email) > sans bouton spam
    Comment faire pour enlever cette ligne ?
    Je ne peux pas pas vérifier les 311 sites. Ils ne sont pas listés même si j’appuie sur les 3 + .

    • jean-emmanuel

      Bonjour,
      Les liens en provenance de messageries en ligne sont en grande partie regroupés sous cette ligne et ce plugin ne permet pas de faire le tri parmis ceux-ci de façon efficace, il faudrait pour cela modifier le plugin « statistiques » du noyau de spip, mais ces liens ont en fait assez peu de chance d’être des spams.

      Le problème ici tient peut-être du fait que le nombre total de sites est erroné et n’exclue pas les sites marqués comme spam à cause d’un bug qui sera corrigé dans la version 0.2.8.

    Répondre à ce message

    • Loiseau2nuit

      Comme répondu plus bas par quelqu’un d’autre : ce lien n’a pas vocation à être affiché dans un navigateur web mais à être renseigné dans l’espace de gestion des plugins pour y ajouter un dépôt de téléchargement supplémentaire (cf screenshot)

    Répondre à ce message

  • 5
    Emma

    Bonjour,
    le bouton « spam » n’apparaît plus dans la liste des referers alors qu’il était bien présent. Avez-vous une idée de ce qui peut provoquer cette absence ?
    Il s’agit d’un site SPIP 3.2.1 et de la version 0.2.6

    • Mist. GraphX

      Bonjour,

      Juste une idée, …Le plugin surcharge la page des stats, peut être avez-vous installé un autre plugin qui surcharge aussi cette page (par exemple j’ai eut le cas avec statistiques_objets).

    • Emma

      Bingo !
      Je vais de ce pas désactiver/désinstaller le plugin statistique objets qui par ailleurs ne me sert à rien ...
      Merci

    • jean-emmanuel

      Merci Mist. GraphX ! Désolé pour mon manque de réactivité sur ce coup là...

    • Mist. GraphX

      Merci pour le plugin

      Je suis tombé sur la question par hazard, et j’avais eut le cas sur un site ...

      Dans un plugin ça peut se résoudre en gérant l’ordre de chargement dans le paquet xml, je pense.

    • Maïeul

      oui, mais cela empecherait alors le comportement de l’autre plugin, et le problème serait pas résolu.

      Une seule solution : ne pas surcharger, mais utiliser un pipeline (en l’occurence, je crois que malheureusement il y aurait que affichage_final qui pourrauit faire l’affaire).

      Et ce dans les 2 plugins concernés.

    Répondre à ce message

  • 1
    emma

    bonjour,
    « autre fois » il était possible d’effacer les referers à un moment donné et de repartir donc à zéro.

    Est-ce spam referer qui supprime cette fonctionnalité qui était présente dans « maintenance » ? (ce qui d’ailleurs se comprendrait si elle efface également la « spam liste » dans ce cas, ma question serait :

    pourrait-on effacer la liste des referers sans pour autant supprimer les spam referers ?)

    mais la question que je voulais poser est :

    la fonctionnalité « effacement des referers » est-elle bien supprimée dans les version spip 3.1 ?

    pourquoi je pose cette question : parce que mon nombre de spams referers non triés est tel que je voudrais tous les effacer sans avoir à les trier ce qui oblige à aller vérifier pour chaque referer s’il est ou non vraiment un spam referer ... Une sorte de « point zéro » avant de les traquer quotidiennement, voeu pieux s’il en est ...

    • jean-emmanuel

      Bonjour, désolé d’avoir tant tardé à répondre.
      La disparition de cette fonction n’est pas due au plugin Referer Spam, il s’agit d’un problème lié à la mise à jour vers spip 3.1 : des anciens fichiers n’ont pas été supprimés et peuvent casser certaines partie du site. En l’occurence, il faut supprimer le fichier ecrire/req/pg.php (qui a été remplacé par ecrire/req/pg.exp.php).

      Voir https://core.spip.net/issues/3644

    Répondre à ce message

  • Maïeul

    Salut,
    merci pour ce plugin.

    Une amélioration potentielle : avoir des cases à cocher pour choisir les spam, plutôt qu’une série de bouton (si on doit marque beaucoup de site comme spam d’un coup)

    Répondre à ce message

  • 4
    Pascual

    Bonjour,

    Avec la dernière version, j’ai ce message qui apparaît et la redirection ne s’effectue pas (je précise le site est en https - SPIP 3.1.4 / plugins à jour) :
    Warning: Missing argument 1 for action_referer_spam_ajouter(), called in xxxx/ecrire/public/aiguiller.php on line 67 and defined in xxxx/plugins/auto/referer_spam/v0.2.4/action/referer_spam_ajouter.php on line 7

    Si cela peut t’aider à le corriger.
    Et merci pour ce plugin qui me permets d’enlever les « petits couillons » des stats ! :D

    • jean-emmanuel

      Bonjour, je ne parviens pas à reproduire le bug, peux-tu vider le cache et, si le problème persiste, me préciser la procédure qui conduit au message d’erreur ?

    • Pascual

      C’est lorsque je clique sur le bouton [SPAM] de l’onglet « liens entrants » et de même lorsque j’enlève un site dans l’onglet « Liste noire ».
      Et bien sûr le site est configuré (pour l’instant) pour afficher les warnings...

    • jean-emmanuel

      Ça devrait être réglé dans la version 0.2.5 (dispo sur github, bientôt dans le dépôt spip). Merci pour ton retour !

    • Pascual

      Je confirme.
      Un grand merci pour ta rapidité et ton suivi :)

    Répondre à ce message

  • 4
    Pierre KUHN

    Bonjour,

    Pourquoi masquer les images des sites se trouvant dans les stats ?

    • jean-emmanuel

      Bonjour, je n’ai pas touché à ce plugin depuis un bail, peux-tu être plus spécifique ? Quel est le comportement attendu et celui constaté ?

    • Pierre KUHN

      Re,

      Quand on est sur la page des stats /ecrire/ ?exec=stats_referers nous avons le bouton « spam »
      Dans configuration avancés, j’ai activé « Afficher les captures des sites d’origine des visites »

      Donc ton plugins les masques, on peut peux pas les garder ?

    • jean-emmanuel

      C’était un oubli en effet, l’affichage des captures est corrigé dans les listes de referers (spam ou non) en version 0.2.4. Merci !

    • Pierre KUHN

      Bonjour,

      Merci pour le rajout.

      Dommage de pas l’avoir sur la zone pour up plus facilement.

    Répondre à ce message

  • 1
    emma

    lien corrompu semble-t-il
    http://files.spip.org/externals/archives_externals.xml

    je vais tenter une installation sans ce dépôt (et je sens que ça va sans doute m’énerver ... mais pas autant que ces fameux referers frauduleux ... ben si au fait si je ne peux pas l’installer !)

    • jean-emmanuel

      Le lien donne une erreur xml quand on l’ouvre dans le navigateur, mais on peut bien l’ajouter aux dépois du site sous Configuration > Gestion des plugins > Ajouter des plugins > Dépôts.

    Répondre à ce message

  • emma

    génial ! on s’en donne à coeur-joie ! ne vous privez pas !

    pas besoin du paquet corrompu !

    Répondre à ce message

  • hanjo

    Merci beaucoup pour ce plugin !
    Juste une petite remarque : le titre de la page stats_spam est codé en dur.

    Répondre à ce message

  • 8
    JeanLuc

    Bonjour
    J’essaie d’installer ce plugin sur mon site SPIP 3.0.19 [22089]
    Malheureusement, la table spip_referer_spam ne se créée pas dans la base et je me retrouve avec un message d’erreur :

    Erreur SQL 1146
    Table ’aslagnyrugby.spip_referer_spam’ doesn’t exist
    SELECT referer_spam.referer FROM spip_referer_spam AS referer_spam_

    Y a-t-il une chose à faire qui m’a échappé ? Merci pour votre aide

    • JeanLuc

      Je précise que le site est hébergé chez OVH avec une base MySql.
      Squelette Ahuntsic.
      Plugins installés (entre autres) : CFG, Champs Extras, cimobile, Corbeille, Crayons, GIS, Couteau Suisse, Social tags, Spip Bonux, YAML :

      http://www.aslagnyrugby.net

    • jean-emmanuel

      Bonjour,
      Je n’ai pas réussi à reproduire l’erreur pour l’instant, je cherche... La table est elle bien absente de la base de donnée lorsqu’on la visualise avec phpMyAdmin ou dans ecrire/ ?exec=vertebres ?

    • JeanLuc

      Bonjour

      La table n’a pas été créée. Elle n’est pas dans la base, que ce soit en la visualisant via phpMyAdmin ou bien via ecrire/ ?exec=vertebres.

    • JeanLuc

      Bonjour

      La table n’est pas créée dans la base. Elle n’est pas visible que ce soit via phpMyAdmin ou bien via ecrire/ ?exec=vertebres.
      Je précise que le plugin est téléchargé dans le répertoire plugins/auto/
      Peut-être y a-t-il un pb de chemin relatif ?

    • JeanLuc

      Peux-tu me donner la commande en SQL de création de cette table ?
      Je pourrai ainsi la créer manuellement via phpMyAdmin et voir si le plugin fonctionne.

      On saura ainsi que le pb vient du fait que la table ne se crée pas.

    • jean-emmanuel

      Une façon qui semble plus saine de procéder serait, dans un premier temps, de :
      -  désactiver tous les autres plugins
      -  réinstaller referer spam
      -  éventuellement, tenter une réparation de la base par spip

    • JeanLuc

      En désactivant tous les autres plugins, vais-je garder tout leurs réglages ?
      Je dois les désactiver, et non les désinstaller ?

    • jean-emmanuel

      Les désactiver devrait suffire à vérifier que le problème n’est pas lié à l’un d’eux sans supprimer leurs réglages, néanmoins je te conseille de faire une sauvegarde de ta base au préalable.

    Répondre à ce message

  • 2
    laetitia

    Merci beaucoup,
    je l’installe dès maintenant.

    • laetitia

      j’ai un problème avec SPIP 3.0.21, les stats sont à 0 depuis l’installation du plugin. Par contre parfait avec SPIP 3.1

    • jean-emmanuel

      As-tu essayé de vider le cache et de réinitialiser la liste des travaux (dans Maintenance > Liste des travaux) ? Il m’est arrivé d’avoir ce souci avant sans le plugin referer spam, ça avait réglé le problème.

      Sinon, je suis preneur d’informations complémentaires :
      -  hébergeur
      -  type de base de donnée (myslq / sqlite)
      -  plugins installés

    Répondre à ce message

Ajouter un commentaire

Avant de faire part d’un problème sur un plugin X, merci de lire ce qui suit :

  • Désactiver tous les plugins que vous ne voulez pas tester afin de vous assurer que le bug vient bien du plugin X. Cela vous évitera d’écrire sur le forum d’une contribution qui n’est finalement pas en cause.
  • Cherchez et notez les numéros de version de tout ce qui est en place au moment du test :
    • version de SPIP, en bas de la partie privée
    • version du plugin testé et des éventuels plugins nécessités
    • version de PHP (exec=info en partie privée)
    • version de MySQL / SQLite
  • Si votre problème concerne la partie publique de votre site, donnez une URL où le bug est visible, pour que les gens puissent voir par eux-mêmes.
  • En cas de page blanche, merci d’activer l’affichage des erreurs, et d’indiquer ensuite l’erreur qui apparaît.

Merci d’avance pour les personnes qui vous aideront !

Par ailleurs, n’oubliez pas que les contributeurs et contributrices ont une vie en dehors de SPIP.

Qui êtes-vous ?
[Se connecter]

Pour afficher votre trombine avec votre message, enregistrez-la d’abord sur gravatar.com (gratuit et indolore) et n’oubliez pas d’indiquer votre adresse e-mail ici.

Ajoutez votre commentaire ici

Ce champ accepte les raccourcis SPIP {{gras}} {italique} -*liste [texte->url] <quote> <code> et le code HTML <q> <del> <ins>. Pour créer des paragraphes, laissez simplement des lignes vides.

Ajouter un document

Suivre les commentaires : RSS 2.0 | Atom