Utilisation du plugin CSV_IMPORT

Published : 31 May 2008 – updated on 14 March 2025 – by Paulbe – 93 commentaires

1
2
3
4
5
24 Votes
Comment devenir fainéant intelligemment ou comment importer un fichier CSV dans spip sans tout casser ?

Ce plugin va vous permettre d’importer et d’exporter les données de vos tables SPIP.

Après avoir longtemps cherché cette fonction c’est encore une fois IRC channel #spip qui est venu à mon secours, que je remercie en préambule => cy_altern, et sans qui je serais nul part ;-)

Avertissement : Ces explications se veulent les plus précises possibles, mais l’auteur ne saurait être tenu pour responsable en cas de mauvaise manipulation qui pourrait entrainer une perte des données de la base. Ayez dans tous les cas un dump sous la main, au cas où...

Matériel nécessaire

SPIP 1.9.2 avec les plugins

  • cfg : moteur de configuration, version : 1.7.5
  • CSVImport, version : 0.1

SPIP 2.0.0
A partir de SPIP 2.0, CSV Import requiert le plugin SPIP Bonux

-  Un fichier CSV ou autre fichier tabulaire avec les données à ajouter.

-  OpenOffice.org Calc.

Note : j’avais commencé avec Excel mais certaines fonctions n’existant pas ou ne sachant pas les utiliser..., je me suis rabattu sur OpenOffice.org Calc.

Note 2: dans la version pour SPIP 2, si l’on souhaite gérer aussi les tables des jointures (spip_auteurs_articles par ex), ajouter la ligne suivante dans le fichier mes_options.php du site:
$GLOBALS['csvimport_tables_jointures'] = true;

Installation et configuration du plugin

Après avoir récupéré le zip de CSV Import (http://files.spip.org/spip-zone/csv...), suivez la procédure standard d’installation / activation (cf la documentation officielle pour plus de détails).

L’exemple pris ici est l’importation d’articles, honnêtement je n’ai pas tout testé mais je suppose que le restant fonctionne également.

Rendez-vous sur l’icone “Edition”, sous menu “Import CSV”

Vous arrivez sur la page suivante, qui est presque vide d’ailleurs !

Cliquez sur “Administrez les tables”, une nouvelle page s’ouvre ayant cette allure-ci.

Puisque nous parlons d’articles ici et pour la bonne compréhension du tutoriel, je vous demande de cocher toutes les cases de la table “articles”, comme ceci. Si vous êtes intéressé par d’autres tables ou champs, la démarche devrait être la même il me semble.

Après avoir tout coché, il faut valider votre choix avec le bouton “Enregistrer” qui se trouve dans le bas de la page.

A ce stade un grand pas est déjà fait, mais courage nous ne sommes pas au bout de nos peines mais le jeu en vaut la chandelle...
Retournons sur “Import CSV”, nous avons à présent quelque chose de similaire. Les chiffres, dates et heures seront différents naturellement.

Pour continuer, nous allons exporter la structure cible d’ARTICLES en CSV pour choisir les champs d’importation.
Cliquez sur la droite “Télécharger”. Une nouvelle fenêtre s’ouvre.

Choisissez votre format et enregistrez le fichier sur votre disque dur.

Préparation du CSV

Lancez OpenOffice.org Calc

Cliquez sur “Fichier”, “Ouvrir”
Rendez-vous dans le dossier où vous avez sauvé le fichier précédemment.

Lors de l’ouverture il vous demande quelques précisions. Ici on renseignera le type de séparateur, ci-dessus j’avais choisi la virgule, pas de raison d’en changer, il reste à choisir le format du texte UTF-8 en l’occurrence.

Vous devez obtenir quelque chose de similaire.

Analysez bien la structure de votre tableau, c’est lui qui révèlera la forme et les champs à compléter. Il vous reste à compléter ou remplacer les colonnes, les lignes et les cellules afin de préparer le meilleur fichier CSV pour votre spip.

Importation des données dans le CSV

Ça y est vous avez vu à quoi ressemble une table Spip, il vous reste à “copier/coller” les données que vous voulez ajouter dans la table “articles”.

Ici pour l’exemple, le surtitre est le titre de l’article en anglais: le titre est le titre de l’article avec un numéro d’ordre, et le sous-titre est le titre de l’article en néerlandais, mais tout est possible.

Remarques :
-  Vous avez intérêt à remplir un maximum de champs, attention néanmoins à respecter les formats initiaux, ainsi que les automatismes d’incrémentations et autres.
-  Ce qui est à éviter absolument c’est d’indiquer des références qui n’existent pas... par exemple rubrique 4 alors qu’elle n’existe pas ou pas encore...
-  Il est naturellement possible de pousser le vice encore plus loin, avec par exemple pour classer vos titres d’articles par num_titre, de concaténer par exemple : =CONCATENER(A7;“.”;D7) dans votre tableur préféré pour obtenir un champ 01. Mon premier titre. Je laisse à votre imagination le moyen de devenir encore plus fainéant que moi à l’aide de toutes les fonctions disponibles dans votre tableur.

Exportation des données

Voici votre fichier CSV bien complété et prêt à être exporté à son tour.

Dans OpenOffice.org Calc, cliquez sur “Fichier”, “Enregistrer sous” et choisissez Type “.CSV” et cochez la case “éditez les paramètres de filtre” et précisez l’endroit de sauvegarde.

Vous arriverez alors sur un autre écran.

Encore une fois, choisissez bien les différentes options, ici en l’occurrence, Jeux de caractère : “UTF-8”, séparateur “,”. ET validez sur “OK”.

Votre fichier a été créé et est stocké sur votre disque dur.

Importation dans SPIP

Rendez-vous dans votre spip.
Retournons sur “Import CSV”.

Cliquez sur la gauche ici “spip-articles”. Une nouvelle fenêtre s’ouvre.

Indiquez où se trouve votre fichier CSV. Cliquez sur “valider”

Importation des données

A ce stade vous êtes prêt à importer mais l’importation n’a pas encore eu lieu.
Vous devez avoir un écran similaire.

Dans cette page vous pouvez encore préciser plusieurs choses, faire correspondre des champs, ... en principe votre fichier était bien préparé donc pas de raison de modifier quoi que ce soit !
Il vous reste à choisir “Ajouter” ou “Remplacer la table”

Et hop, chez moi cela a “encodé” 250 articles d’une carte d’un restaurant chinois, avec les numéros et les traductions en 3 langues sans parler des termes techniques.

J’ai “nem” plus peur d’entrer des données tabulaires dans spip :-)

Discussion

5 years 1 year 3 months Without limit
par date
Filter

44 discussions

  • 10
    Fennec72

    Bonsoir et bonne année.

    Que manque-t-il pour la compatibilité de CSV_IMPORT avec spip 3.1?

    Merci d’avance

    • Mist. GraphX

      pareil, certainement que quelqu’un mette a jour la borne dans le paquet ;-)

    • Pierre KUHN

      Fennec72 pourquoi ne pas tester et revenir dire si il est compatible ?

    • ivandps

      Bonjour, impossible d’installer le plugin dans un SPIP 3.1.0-rc3

    • Sylvain Nogues

      Je l’ai installé en 3.1 en modifiant la borne, pas trouvé de problème particulier.
      Sauf le bug des apostrophes qui n’est pas résolu.

      Il paraît que ce serait bien de brancher le plugin sur les fonctions csv du core, si quelqu’un sait faire...

    • philippe paille

      bonjour
      Pour moi sous SPIP 3.1.3
      Je peux faire uniquement des exports.
      Je n’ai pas les liens actifs pour faire des imports.

    • JuL BLoBuL

      Bonjour à tous,

      J’ai testé le plugin sous SPIP 3.2 et PHP 7,le plugin est quasi inutilisable, je pense pas pour autant que ce soit trop compliqué a régler.

      J’espère vite pouvoir le réutiliser, je suis désormais obliger de passer par un “vieux” spip 3.0, pour faire un import puis je mets a jour en 3.2, pour exporter la table concerné avec PhPMyAdmin, pour l’importer ensuite dans mon site final en 3.2.

      Je serais content d’aider, mais je ne pas un cador en php !

      Merci à l’équipe !

    • Pierre KUHN

      Bonjour,

      Le plugins est pas indiquer compatible 3.2 ici.

    • JuL BLoBuL

      Bonjour,
      Effectivement, mais le fil de conversation auquel je donne suite a pour sujet la portabilité du plugin vers SPIP 3.1. Donc je souhaitais juste donner un feedback sur la compatibilité 3.2.

      Merci.

    • Kingrise

      Bonjour, toujours pas de solution pour la portabilité en spip 3.2 ?
      Merci

    • Djan

      C’est le seul plugin qui semble gérer l’import de masse.
      Est-il prévu une mise à jour pour le rendre compatible SPIP 3.2 ?

    Reply to this message

  • 5
    isaweb

    Bonjour,
    Intéressant ce plugin.
    J’aurais toutefois quelques questions :
    -  est-ce qu’on pourrait envisager une évolution vers une restriction de l’importation à une rubrique par exemple ? Parce que c’est un peu délicat, il me semble pour mon cas, de devoir manipuler la totalité des articles d’un site juste parce qu’une rubrique est à mettre à jour.
    -  qu’entendez-vous par “Ajouter” : est-ce que les données modifiées sur un id-article seront prises en compte et remplacées dans la table ou est-ce que ces changements seront ignorés ? Parce que j’imagine que dans le fichier importé, il y aura de nouvelles lignes et des lignes qui auront été modifiées. Est-ce que la procédure compare chaque champ de la table spip_articles et remplace les anciens contenus par de nouveaux ?
    J’ai un gros site avec beaucoup beaucoup d’articles, je voudrais pas que mon rédacteur le mette en vrac avec une mauvaise manip. Mais je n’ai peut-être pas tout compris.
    Merci pour vos conseils.

    • isaweb

      Question subsidiaire : à quoi servent les champs de saisie vides dans la page Administrez les tables ?
      Merci.

    • DD

      D’après le code source tu peux y indiquer le titre personnalisé de ton fichier d’export (est ajouté au nom de fichier exporté)

      dd

    • isaweb

      Merci pour ta réponse DD :-)

    • Julien

      Même besoin!

      J’ai aussi un gros site a gérer ou seul certaines rubriques requiert des mise à jours. Restreindre l’importation à une rubrique serait vraiment top!

    • miros

      Bonjour,

      Ceci est un petit UP, en effet cette fonctionalité qui permettrai de choisir une rubrique pour l’import serait fort utile.

      Cordialement

    Reply to this message

  • 1
    Luis Speciale

    Si vous avez un message comme celui-ci “Fatal error: Uncaught Error: [] operator not supported for strings in (…)”, voici ce que j’ai fait. J’ai Stackoverflowfé et, effectivement…

    https://stackoverflow.com/questions/5879675/problem-with-fatal-error-operator-not-supported-for-strings-in

    “You get this error when attempting to use the short array push syntax on a string.
    For example, this”

    $foo = 'foo';
$foo[] = 'bar'; // ERROR!

    Puis, dans la ligne 89 il suffit de remplacer

    $vals = '';

    par

    $vals = [];

    Puis tout marche à la perfection sur SPIP 3.2.3 exception faite des quelques problèmes de affichage CSS dans le privé. En tout cas c’est ce que j’ai vu.

    Reply to this message

  • Jean

    J’ai ajouté

    $GLOBALS['csvimport_tables_jointures'] = true;

    Comment est-on sensé s’en servir ensuite ?

    Reply to this message

  • Julien

    Est-ce compliqué d’ajouter l’option “SQL UPDATE” dans le plugin?

    Julien.

    Reply to this message

  • 4
    jacangers

    bonjour

    ce plug in est vraiment génial. Par contre j’ai moi aussi un probleme avec le caractère d’échappement; qui insere systématiquement \ quand il trouve une apostrophe ou un guillement dans mes texte.

    par exemple je me retrouve avec

    d\’eau au lieu de d’eau

    comment faire ?

    • linuxien masqué

      Bonjour,

      J’ai modifié le plugin pour éviter d’avoir des anti-slash devant les apostrophes, le plugin est pas dispo sur le svn de spip, sinon cela m’aurais donné l’occasion de demander mes identifiants sur spip-zone ( après avoir demandé à l’auteur s’il trouvait pertinent ces modifications ).

      Vers la fin du fichier ligne inc\csvimport.php ligne 567

      		foreach($data as $key=>$ligne)
		{
			$count_lignes ++;
			
			$check = array_flip($tablefield);

			$champs = "";
			$valeurs = "";

			foreach($check as $key=>$value){
				$kc = csvimport_nettoie_key($key);
				if ( (isset($assoc[$kc])) && (isset($ligne[$assoc[$kc]])) )
				{
					$champs .= $assoc[$kc].',';
					$valeurs .= '"'.$ligne[$assoc[$kc]].'",';
					unset($check[$key]);
				}
	 		} // (FIN foreach)
			
			if ( (isset($stamp)) && isset($check[$stamp]) ){
				$what[$stamp] = date('Y-m-d H:i:s');
			}
			// Suppression virgule finale
			$champs = substr($champs, 0, -1);
			$valeurs = substr($valeurs, 0, -1);

			if (!empty($valeurs) && !empty($champs)) 
			{
				$id_primary= sql_insert($table, "($champs)", "($valeurs)" );
		
				// SI id = 0 (Erreur d'insertion) ...
				if ($id_primary==0) {
					$apercu = couper(print_r($valeurs,true), 150, ' ...'); // Petit aperçu de la valeur (150 caractères)
					$erreur[$count_lignes][] = "Ajout impossible ! :: $apercu ";	
				}
					
			} else {
				$erreur[$count_lignes][] = "Rien à ajouter ! ";
			}
			
		}// (FIN foreach)

      Si vous testez avec ce nouveau code, merci de faire un retour ici.

      Le Linuxien masqué

    • Jean-Momo

      Bonjour,

      J’ai toujours les apostrophes précédés d’un slash sur la version la plus récente

      Est-ce que quelqu’un est en mesure de corriger cela dans le plugin ?

      Merci d’avance

    • Sylvain Nogues

      Il me semble qu’on peut contourner le bug en utilisant un filtre “stripslashes” à l’affichage des champs issus de l’import.

    • Anna

      linuxien masqué j’ai testé ton code ça a l’air de fonctionner

      5 années après ton post il y a encore le bug dans le plugin lol

    Reply to this message

  • 1
    jeromelt

    Jointures,

    si dans spip 2.1.x.... on active les jointure dans options.php, comment fait on ensuite pour s’en servir ?

    je voudrais ajouter aux articles que je veux ajouter par ce biais des mots clés ainsi qu’un auteur

    le fait d’ajouter cette instruction dans mes options ne change rien à l’interface

    merci

    • Jean-Momo

      Même chose, j’aimerais bien trouver un exemple avec la liaison des mots clés

    Reply to this message

  • DD

    Hello,
    Bien pratique ce plugin

    Sur la page /ecrire/?exec=csvimport_tous
    il y a un lien en bas “Créer un nouveau formulaire”
    vers
    /ecrire/?exec=forms_edit&new=oui&type_form=table&retour=.%2F%3Fexec%3Dcsvimport_tous

    Je ne comprends pas bien ce que cela permet de faire.

    SPIP 3.0.1

    Merci
    dd

    Reply to this message

  • 1
    Sylvain Nogues

    Bonjour,
    merci pour ce plugin bien utile.
    Il y a un souci lorsqu’on importe des données pour un plugin issu de la fabrique : lorsque la table à remplir évolue dans sa structure (ajout de champ), CSV_import ne prend pas en compte ces modifications. Même si on désactive, et même si on réinstalle CSV_import.
    Il me semble qu’il y a des meta qui ne sont pas vidées en sortant, non ?
    MErci,
    Sylvain

    • Sylvain Nogues

      Bon, désolé, en fait ma table n’avait pas été modifiée, csv_import ne pouvait donc pas voir de diffférence...
      Il faut réinstaller le plugin de la fabrique pour que ses différences soient prises en compte.

      Mais quand même, les metas ne sont pas supprimées à la suppression du plugin csv_import.

    Reply to this message

  • Personne

    Bonjour,

    J’obtiens une erreur “Ligne 2 :: Fichier vide” lorsque j’essaie d’importer un fichier CSV dans la base de données. À quoi est-ce dû ?

    Merci d’avance pour votre aide !

    Reply to this message

Add a comment

Avant de faire part d’un problème sur un plugin X, merci de lire ce qui suit :

  • Désactiver tous les plugins que vous ne voulez pas tester afin de vous assurer que le bug vient bien du plugin X. Cela vous évitera d’écrire sur le forum d’une contribution qui n’est finalement pas en cause.
  • Cherchez et notez les numéros de version de tout ce qui est en place au moment du test :
    • version de SPIP, en bas de la partie privée
    • version du plugin testé et des éventuels plugins nécessités
    • version de PHP (exec=info en partie privée)
    • version de MySQL / SQLite
  • Si votre problème concerne la partie publique de votre site, donnez une URL où le bug est visible, pour que les gens puissent voir par eux-mêmes.
  • En cas de page blanche, merci d’activer l’affichage des erreurs, et d’indiquer ensuite l’erreur qui apparaît.

Merci d’avance pour les personnes qui vous aideront !

Par ailleurs, n’oubliez pas que les contributeurs et contributrices ont une vie en dehors de SPIP.

Who are you?
[Log in]

To show your avatar with your message, register it first on gravatar.com (free et painless) and don’t forget to indicate your Email addresse here.

Enter your comment here

This form accepts SPIP shortcuts {{bold}} {italic} -*list [text->url] <quote> <code> and HTML code <q> <del> <ins>. To create paragraphs, just leave empty lines.

Add a document

Follow the comments: RSS 2.0 | Atom