Présentation du Sitemap Google
Dans le cadre de son projet de bibliothèque mondiale de sites, Google vous propose de créer un plan du site [1] au format XML compressé en .gz. Voir à cette adresse. Ce fichier n’a aucune influence sur le classement de votre site. En voici les avantages selon Google :
- faciliter la recherche de pages dans votre site,
- présenter une version plus récente de votre site,
- offrir des informations spécifiques sur vos pages, comme la dernière mise à jour ou leur fréquence de mise à jour.
Comment créer un sitemap ?
Il y a plusieurs façons de créer un sitemap Google. En particulier l’utilisation du générateur de sitemap Google, à condition que votre hébergement puisse exécuter le langage Python. Comme SPIP sait faire un plan du site et générer du XML, on utilisera des boucles SPIP et du PHP.
Ca doit se faire en 3 étapes :
- création du fichier XML
- compression en .gz
- soumission du sitemap à Sitemap Google.
Pour soumettre le sitemap à Google on doit faire une requête HTTP :
http://www.google.com/webmasters/sitemaps/ping?sitemap=http://www.monsite.fr/url_sitemap
où « http://www.monsite.fr/url_sitemap » est l’URL complète du fichier sitemap compressé.
On peut donner n’importe quel nom au fichier sitemap. Dans le cadre de cet article, j’ai choisi le nom de sitemap, avec sitemap.xml.gz pour le fichier XML compressé [2] qui sera transmais à Google.
Puis il faudra refaire ces 3 étapes à chaque modification du site.
Spécifications
Ce fichier sitemap.xml.gz est le fichier compressé d’un fichier sitemap.xml, donc au format XML.
Notre fichier sitemap.xml doit se présenter ainsi :
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
<url>
<loc>http://www.votresite.com/</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
</url>
<url>
<loc>http://www.votresite.com/rubrique.php3?id_rubrique=1</loc>
<changefreq>weekly</changefreq>
</url>
<url>
<loc>http://www.yoursite.com/article.php3?id_article=1</loc>
<lastmod>2004-12-23</lastmod>
<changefreq>weekly</changefreq>
<priority>0.2</priority>
</url>
<url>
<loc>http://www.yoursite.com/article.php3?id_article=2</loc>
<lastmod>2005-01-06</lastmod>
<changefreq>weekly</changefreq>
<priority>0.6</priority>
</url>
...
</urlset>Soit un en-tête XML, puis une balise <urlset> qui englobe tout le reste. Et pour chaque page, une balise <url> englobant les balises <loc>, <lastmod>, <changefreq> et <priority>.
| Balise | Définition | Format |
|---|---|---|
| <loc> | l’URL de la page (la seule balise obligatoire) | URL |
| <lastmod> | la date de modification de la page | ISO 8601 [3] ou AAAA-MM-JJ |
| <changefreq> | la fréquence de mise à jour | doit prendre une de ces valeurs : « always », « hourly », « daily », « weekly », « monthly », « yearly » ou « never » |
| <priority> | priorité de la page relative aux autres pages du site | entre 0 et 1 (valeur par défaut : 0.5) |
Précisions
- La fréquence de mise à jour est une indication et non pas une obligation pour les moteurs de recherche. Indiquez « always » (toujours) pour une page mise à jour à chaque accès et « never » (jamais) pour une page d’archive.
- La priorité est une indication relative aux autres pages du site, et non par rapport aux autres sites.
Contraintes
- Le fichier sitemap.xml.gz doit se trouver à la racine du site.
- Le fichier sitemap.xml doit être encodé en UTF-8 (et pas en ISO 8859-1)
- Le fichier sitemap.xml ne peut pas contenir plus de 50 000 pages ou ne pas dépasser 10 Mo.
Si votre sitemap contient plus de 50 000 pages ou dépasse les 10 Mo, vous trouverez comment faire sur Sitemap Google. En gros, il faut créer plusieurs sitemaps et un fichier qui les indexe.
Etape 1 : Création du fichier sitemap.xml
On va créer un plan du site avec les balises imposées par Google. Il nous faudra un fichier sitemap.php3 et un fichier sitemap.html.
Fichier sitemap.php3
Comme tous les fichiers xxx.php3 :
<?php
$fond = "sitemap";
$delais = 0;
include ("inc-public.php3");
?>Le délais est à 0, car en principe chaque fois que vous accéder à cette page c’est pour envoyer un sitemap différent à Google.
Fichier sitemap.html : les boucles SPIP
Ce fichier doit générer un plan du site sous forme de fichier XML. L’ordre des URLs importe peu, mais on utilisera ici la structure d’un plan du site.
Vous pouvez (devez ?) l’adapter ce squelette à votre site.
<?php echo '<' . '?xml version="1.0" encoding="UTF-8"?' . '>'; ?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
<url>
<loc>#URL_SITE_SPIP/</loc>
<changefreq>daily</changefreq>
</url>
<BOUCLE_secteurs(RUBRIQUES) {id_parent=0}>
<url>
<loc>#URL_RUBRIQUE</loc>
<lastmod>[(#DATE|affdate{'Y-m-d'})]</lastmod>
<changefreq>daily</changefreq>
</url>
<B_rubriques>
<BOUCLE_rubriques(RUBRIQUES) {id_parent}>
<url>
<loc>#URL_RUBRIQUE</loc>
<lastmod>[(#DATE|affdate{'Y-m-d'})]</lastmod>
<changefreq>daily</changefreq>
</url>
<B_articles_rubriques>
<BOUCLE_articles_rubriques(ARTICLES) {id_rubrique}>
<url>
<loc>#URL_ARTICLE</loc>
<lastmod>[(#DATE_MODIF|affdate{'Y-m-d'})]</lastmod>
<changefreq>weekly</changefreq>
<priority>[(#POPULARITE|pourcent)]</priority>
</url>
</BOUCLE_articles_rubriques>
</B_articles_rubriques>
<BOUCLE_recursive(boucle_rubriques)></BOUCLE_recursive>
</BOUCLE_rubriques>
</B_rubriques>
<B_breves>
<BOUCLE_breves(BREVES) {id_rubrique}>
<url>
<loc>#URL_BREVE</loc>
<lastmod>[(#DATE|affdate{'Y-m-d'})]</lastmod>
<changefreq>weekly</changefreq>
</url>
</BOUCLE_breves>
</B_breves>
<B_articles>
<BOUCLE_articles(ARTICLES) {id_rubrique}>
<url>
<loc>#URL_ARTICLE</loc>
<lastmod>[(#DATE_MODIF|affdate{'Y-m-d'})]</lastmod>
<changefreq>weekly</changefreq>
<priority>[(#POPULARITE|pourcent)]</priority>
</url>
</BOUCLE_articles>
</B_articles>
</BOUCLE_secteurs>
</urlset>Commentaires sur les balises
La première ligne utilise l’astuce du fichier backend.html pour afficher l’en-tête XML.
La 2e ligne ouvre la balise générale <urlset> qui contient la référence au schéma Google pour ce fichier
Ces 2 lignes sont indispensables.
Les boucles génèrent des balises <url>, avec leurs balises <loc>, <lastmod>, <changefreq> et <priority>, que nous allons détailler.
- La balise <loc> contient l’URL de la rubrique, de la brève ou de l’article. Si votre base de données n’a pas été générée en UTF-8, il faut lui appliquer le filtre utf8_encode, qui est une fonction PHP.
- La balise <lastmod> doit être au format ISO 8601 ou AAAA-MM-JJ. On a choisi ce dernier format généré par le filtre affdate{'Y-m-d'}.
- La balise <changefreq> est en fonction de la fréquence de modification de vos pages. Les articles changent très peu, par contre les rubriques changent assez souvent. Mais si vos articles ont des forums, la modification est plus fréquente.
- Pour la balise <priority>, je me suis servi (arbitrairement) de la popularité relative des articles, ce qui correspond assez bien au critère de relativité de Google. Comme cette popularité prend des valeurs entre 1 et 100, il faut la diviser par 100 pour avoir une priorité entre 0 et 1 : d’où le filtre pourcent.
Voici ce filtre pourcent. A mettre dans votre fichier mes_fonctions.php3.
function pourcent($valeur) {
return $valeur / 100;
}Enfin la dernière ligne ferme la balise générale <urlset>.
Notes
1. Filtre affdate{'Y-m-d'}. Si votre site utilise une version inférieure à SPIP 1.8 (y compris certaines versions 1.8 alpha-bêta), il vous faudra créer votre propre filtre (à mettre dans mes_fonctions.php3) :
function affdateYmd($date) {
return date("Y-m-d", strtotime($date));
}et donc remplacer les [(#DATE|affdate{'Y-m-d')] par [(#DATE|affdateYmd)]
2. Le sitemap.xml doit être encodé en UTF-8. Si toutes vos URLs sont de type « xxx.php3 ?id_xxx=YY » ou « xxxYY.html » ou « xxx_yyy_zzz », ça ne pose aucun problème. Par contre, si elles contiennent des caractères tels que « & », il faut les encoder avec le filtre ut8_encode, qui est une fonction PHP (donc inutile de créer ce filtre dans mes_fonctions.php3) : [(#URL_XXX|utf8_encode)].
Si vous avez un doute, utilisez le couple sitemap_affichage.php3/sitemap_affichage.html, contenu dans le document joint à cette contrib, pour tester votre fichier XML.
3. Si vous utilisez des forums dans vos articles, et que ces forums sont importants pour le contenu, il serait intéressant d’indiquer la date du dernier message à la place de la date des articles (sauf s’il n’y a pas de forum) ainsi :
<lastmod>
<B_forum_article>
<BOUCLE_forum_article(FORUMS){id_article}{par date}{inverse}{0,1}>
[(#DATE|affdate{'Y-m-d'})]
</BOUCLE_forum_article>
</B_forum_article>
[(#DATE|affdate{'Y-m-d'})]
<//B_forum_article>
</lastmod>Etapes 2 et 3 : compression et soumission à Google Sitemap
Pour compresser le résultat des boucles ci-dessus, on utilisera du PHP qui lira ce résultat, puis le compresse et stocke le tout dans un fichier sitemap.xml.gz à la racine du site. Enfin, si tout est OK, le script soumet le fichier à Google.
Voici donc la version modifiée de sitemap.html (vous trouverez le fichier sitemap.html complet dans le document joint) :
<?php
// charge le fichier "sitemap_inc.php"
require("sitemap_inc.php");
// creation d'un objet Sitemap
$sitemap = new Sitemap();
// teste si rechargement de la page
if (!$sitemap->envoyerSitemap()) {
// si ce n'est pas le cas :
// stocke le contenu de la page dans le buffer et empeche son affichage a l'ecran
ob_start();
echo '<' . '?xml version="1.0" encoding="UTF-8"?' . '>';
?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
... boucles deja vues plus haut
</urlset>
<?php
// lit le XML dans le buffer
$chaine = ob_get_clean();
// le compresse et puis affiche 2 boutons pour affichage ou pour envoi a Google
$sitemap->compresserXML($chaine);
}
?>Fonctionnement
L’essentiel du script se trouve dans le fichier sitemap_inc.php, qui est fourni dans le documnent joint à l’article.
- On commence à créér un objet Sitemap. On va le voir plus en détails plus loin.
- On teste avec la méthode envoyerSitemap si on doit envoyer le sitemap.
- Si ce n’est pas le cas (1er chargement de la page), la méthode compresserXML. :
- stocke le contenu XML généré par les boucles SPIP dans une chaîne,
- vérifie si cette chaîne ne dépasse pas 10 Mo et 50 000 URLs,
- puis compresse le XML dans le fichier sitemap.xml.gz,
- enfin elle affiche 2 boutons « Voir le XML », qui permet d’afficher le XML [4], et un bouton « Envoyer le sitemap à Google », permettant d’envoyer l’URL complète du sitemap.xml.gz à Google, plus quelques infos (taille du contenu XML et nombre d’URLs).
- Sinon (rechargement de la page) on envoie l’URL du fichier compressé à Google, après avoir vérifié que le fichier sitemap.xml.gz existe bien.
Le fichier sitemap_inc.php et l’objet Sitemap
Le fichier commence par la définition de 2 séries de constantes, qu’on peut modifier :
- Les URLs Google, au cas où celles-ci changeraient,
- Les styles du formulaire.
Le constructeur de l’objet Sitemap accepte 2 arguments facultatifs :
- Le sous-répertoire des fichiers (sitemap_inc.php et sitemap.xml.php), vide s’ils sont à la racine du site,
- Le nom du fichier XML compressé : « sitemap.xml.gz » par défaut.
Exemples :
$sitemap = new Sitemap("squeletttes"); // les fichiers sont dans le sous-repertoire "squelettes"
$sitemap = new Sitemap("squeletttes", "sitemap.gz"); // idem et le fichier final s'appelle "sitemap.gz" au lieu de "sitemap.xml.gz"
$sitemap = new Sitemap(null, "sitemap.gz"); // les fichiers sont a la racine et et le fichier final s'appellera "sitemap.gz"De plus, on peut modifier la propriété $dluo avec :
$sitemap->setDluo(nombre);
A quoi sert cette $dluo ? Elle est fixée à 10mn (600 secondes) par défaut.
Exemple. Vous avez créé avec succès un sitemap.xml.gz la semaine dernière. Vous recommencez cette semaine, mais pour une raison inconnue, ça a foiré. Le script constate que le fichier a une ancienneté supérieure à 10 mn, et indiquera une erreur.
Envoi final
Enfin, lorsque vous cliquez sur le bouton « Envoyer le sitemap à Google », c’est l’URL du fichier qui est communiquée à Google (et non pas le fichier lui-même). Et vous aurez ce message de Google :
Sitemap Notification Received
Your Sitemap has been successfully added to our list of Sitemaps to crawl. Please note that we do not add all submitted URLs to our index, and we cannot make any predictions or guarantees about when or if they will appear.
Soit en français :
Notification de sitemap réceptionnée
Votre sitemap a bien été ajouté à notre liste de sitemaps à inspecter. Veuillez noter que nous n’ajoutons pas toutes les URLs à notre index, et nous ne pouvons ni prévoir ni garantir si et quand elles apparaîtront.
Document joint
Il contient 5 fichiers, dont 4 seulement sont nécessaires.
- Le couple de fichier sitemap.php3 / sitemap.html
- Le fichier sitemap_inc.php contenant le script (à mettre où vous voulez, du moment que vous l’indiquez dans le « include » en début de sitemap.html)
- Le fichier sitemap.xml.php, permettant d’afficher le XML pour vérification (à mettre dans le répertoire indiqué dans le constructeur de l’objet Sitemap, à la racine du site par défaut),
- De plus, si votre version de SPIP est antérieure à 1.8.1, il faut utiliser le fichier sitemap_17.html (à renommer sitemap.html) où le filtre affdate{'Y-m-d'} a été remplacé par le filtre affdateYmd (ajouter ce filtre dans mes_fonctions.php3).
Aller plus loin...
On pourrait faire une tâche automatisée pour soumettre le sitemap régulièrement. Si ça vous dit...
Discussions par date d’activité
29 discussions
Le fichier sitemap.xml.php est succeptible d’exploser la mémoire allouée par les scripts en provoquant une erreur « memory exhausted ». J’ai modifié quelque peu ce fichier pour :
- y inclure un content-type qui permet d’afficher correctement le résultat en XML
- exiger moins de mémoire grâce à la fonction bien sympa readgzfile
Remplacer complètement le code du fichier par :
Voilà ce que domme un exemple de sortie XML du sitemap Google.
Répondre à ce message
le plugin marche très bien avec SPIP 1.9.2.b mais en activant l’URL rewrinting, la sortie sitemap est totalement fausse sans aucune balise XML (voir lien fourni). Y a t’il une solution ?
merci d’avance,
milles excuses, ça fonctionne à nouveau. Sans doute, un problème de cache
Salut,
Mon fichier sitemap a la même structure que le vôtre, mais Google n’arrête pas de me dire que le format n’est pas pris en charge. J’ai beau essayé avec les extensions .xml et .xml.gz Google n’en veut pas. spip 1.9.2.a
Quelqu’un aurait une idée ?
Merci,
Wilfrid
http://www.parolesdhommesetdefemmes.fr/spip.php?page=sitemap
Répondre à ce message
Question de novice :
- Faut il télécharger et installer, le fichier zip de l’article ou uniquement les fichiers qui sont dans SPIPzone ?
- En SPIP 1.92b, après installatio j’ai le message :
/ !\ manquant dans le fichier de définition : sitemap/plugin.xml
Merci pour votre aide
En cherchant (parfois) on trouve...
Il faut télécharger la dernière version disponible :
http://files.spip.org/spip-zone/sitemap_1_9.zip
Bon sitemap à tous :-)
Répondre à ce message
Bonjour,
J’ai l’erreur suivante lorsque je tape http://genealogie-voisine-lechat.fr.nf/sitemap.php3 :
Erreur(s) dans le squelette
Erreur : filtre « pourcent » non défini, _articles
Erreur : filtre « pourcent » non défini, _articles_rubriques
Erreur : filtre « pourcent » non défini, _articles_rubriques
Il masque le message suivant :
Lecture du Sitemap Google
Votre fichier XML contient 9 URLs et fait 1611 octets
Cliquez sur Voir le XML pour voir le XML produit dans une nouvelle fenêtre
Cliquez sur Envoyer le sitemap à Google pour générer la requête HTTP :
http://www.google.com/webmasters/sitemaps/ping?sitemap=http://genealogie-voisine-lechat.fr.nf/sitemap.xml.gz
Mais le fichier sitemap.xml.gz n’est pas pour autant généré.
Que dois-je faire pour que cela fonctionne ?
Bon l’erreur est toujours présente, le fichier sitemap.xml.gz a cependant bien été généré mais avec une syntaxe curieuse dans le xml : lorsqu’il y en a, la balise « priority » est seulement fermante.
Moi aussi j’obtiens une erreur
Erreur d’analyse XML : instruction de traitement XML pas au début d’une entité externe
Numéro de ligne 3, Colonne 1 :
???? pas très parlant
Je n’ai pas trouvé de fichier sitemap.xml généré non plus..
:-(
Moi j’ai installé le plugin et ça marche nickel, il semble qu’il y est une erreur et que le fichier xml du package ne soit pas le bon. Il faut remplacer le plugin.xml par celui de cette adresse :
http://zone.spip.org/trac/spip-zone/browser/_plugins_/_stable_/sitemap/plugin.xml?rev=6815
voili voilou, après il faut lire « usage » dans le fichier plugin.xml pour savoir comment l’utiliser, ça s’utilise à partir de google en lui specifiant l’adresse suivante qui génèrera le sitemap :
http:// ton-site.../spip.php ?page=sitemap
pascal
http://eco-hameau.infos.st
Ton lieu ne fonctionne pas directement, faut utiliser :
http://zone.spip.org/trac/spip-zone/browser/_plugins_/_stable_/sitemap/
(enfin normalement, pas pu vérifier ce matin, y a plantage) et ensuite sélectionner le plugin.xml
Chez moi (SPIP 1.9.1 avec MiniGriSPIP) il n’est pas reconnu correctement : j’ai un message comme quoi il manque
<plugin>, et il est donc inutilisable.Il faut télécharger les fichiers à partir des liens en bas de page (version originale) sinon tu te retrouves à télécharger la page qui affiche les modifications et les versions de chaque fichiers.
Répondre à ce message
Heu je pige pas tout ...
Je suis allez télécharger : plugin.xml, sitmap.html et sitemapfonctions.php
Tout ca se trouve dans mon dossier plugins et visible dans l’interface d’aministration.
Donc je l’ai activé...
Je copie le sitemap.html dans mon dossier squelete,
je vais ensuite voir la page www.monsite.com/spip.php?page=sitemap
Et page blanche...
J’ai dut raté un truc ...
Quelq’un a une petite idée ?
Bonne nuit !
Moi pour que ça marche il m’a fallu taper :
www.monsite.com/spip.php ?page=siteMap
Avec un M majuscule
De mon coté, impossible de voir le plug-in depuis le backend de SPIP :
/ !\ manquant dans le fichier de définition : sitemap/plugin.xml
J’ai poutant installé la dernière révisions. il est dans /plugins/sitemap/..
Une aide serait la bienvenue.
Merci
Romélus
graporc.fr
Répondre à ce message
Plus simple que de programmer, en donnant simplement l’URL de votre site, voici de quoi créer un sitemap
Mise à part votre intérêt pour publier un commentaire plaçant idéalement un backlink sur le terme créer un sitemap, votre outil pour débutant n’a aucun interêt pour la communauté Spip. Outil référencement, on compend bien votre démarche : la visibilité de votre site. Quel esprit !
Je ne developpe pas plus de l’intérêt entre avoir sur son site SPIP un génial outil permettant de générer son plan SPIP à la volée et celui de devoir dépendre d’un outil non SPIP, externe, donc buggé par défaut, générant un plan statique qu’il faut de surcroit soumettre à google.
On croit réver !
Le but de ce commentaire n’est pas celui que vous affirmez(*), mais bien de proposer une alternative au déploiement d’un script côté serveur qui va donc utiliser vos ressources pour générer un sitemap.
Par ailleurs, l’outil que je proposais, prend en compte les dernières spécifications des moteurs de recherche et pas seulement celles dédiées à Google (cf. http://www.sitemaps.org/).
Concernant l’implémentation de l’outil dans SPIP, effectivement le contenu de cette alternative n’est pas mise à jour automatiquement. C’est effectivement une limite à l’outil que je propose.
Cependant il vous faudra toutefois soumettre à nouveau votre sitemap généré à Google pour que les nouvelles URL soient indexées par le moteur de recherche.
Enfin, je n’ai jamais sous-entendu que ce script n’était pas utile et génial, mais après avoir tester bon nombre de générateur de sitemaps, j’ai décidé de mettre en place cet outil ne dépendant d’aucun CMS (car tout le monde, je le regrette, n’utilise pas SPIP).
(*) Si ce commentaire vous dérange, supprimez-le (et celui-là par la même occasion).
Répondre à ce message
Bonjour,
SPIP a beaucoup changé dans ces dernière version ... est il possible d’avoir une misae à jour ???
Je suis sous SPIP 1.9.1 et je voudrais faire un sitemap pour google.
Merci d’avance pour votre aide
P@
oups ... j’avais pas vu le plugin ...
désolée de l’intervention
Répondre à ce message
Merci pour cette contribe...
Mais j’ai le soicis suivant :
Au moment de visualiser le fischier xml j’ai cette erreur qui s’affiche
en ouvrant le fichier et en le décompréssant on trouve un bon fichier xml mais j’aimerais être sur de pouvoir l’envoyer à google correctement...
apparemment ça ne fonctionne pas....
des erreurs apparaissent chez google au moment de lire les urls....
Le site sur le quel je bosse actuellement :
Répondre à ce message
l’équivalent de cette contrib disponible pour spip1.9 sous forme de plugin
plugin sitemap sur SVN
L’adresse de la version plugin est en fait
http://zone.spip.org/trac/spip-zone/browser/_plugins_branche_stable_/_spip_1_9_0_/sitemap
L’adresse à encore changé
http://zone.spip.org/trac/spip-zone/browser/_plugins_/_stable_/sitemap
et le plugin ne marche pas chez moi : SPIP me dit qu’il manque (alors qu’il y est).
C’est parce que mon site n’est pas encore en UTF-8 ?
Répondre à ce message
Google sitemaps semble avoir changé son format de fichier, et les URLs dans doivent être impérativement des URLS complets, et non pas relatifs. J’ai donc modifié le fichier sitemap pour l’adapter :
Squelette sitemap modifié
J’ai aussi ajouté la liste des mots clés et des forums par mot-clé (un squelette spécifique au site survivreausida.net).
J’ai installé le plugin Sitemap mais j’ai modifié le squelette pour indexer tout le site, y compris les forums par mot-clé et les autres pages ignorées par le plugin :
squelette modifié
Répondre à ce message
Ajouter un commentaire
Avant de faire part d’un problème sur un plugin X, merci de lire ce qui suit :
Merci d’avance pour les personnes qui vous aideront !
Par ailleurs, n’oubliez pas que les contributeurs et contributrices ont une vie en dehors de SPIP.
Suivre les commentaires :
|
