Le plugin Indexation - commentaires

Le plugin Indexation

Bonjour,
J'ai aussi un problème avec l'indexation de certains pdf : certains pdf sont bien indexés mais pas d'autres.

Les pdf bien indexés sont des pdf pour lesquels la fonction extracteur_pdf (dans pdf.php ) fonctionne.

Mais, pour les pdf non indexés, cette fonction (testée à part) ne fonctionne pas.

Par contre, cela fonctionne en utilisant pdftotext au lieu de la fonction extracteur_pdf .

Je peux vous faire parvenir un exemple de pdf non lu par extracteur_pdf .
Patricia

Encodage

Hello,
j'ai un petit souci d'encodage avec ce plugin. Certains de mes PDFs sont encodés correctement, d'autres non...Savez-vous d'où peut venir ce problème ? J'ai bien veillé à mettre toutes mes tables en utf8. Est ce que cela dépend de l'encodage du PDF lui même ?

Merci !

Le plugin Indexation

J'apprécie beaucoup ce plugin. En guise de remerciement, voici en pièce jointe une traduction anglaise du fichier de langue « fulltext_en.php ».

Beau travail. Merci encore et bonne journée.

Le plugin Indexation

Oups je viens de m'apercevoir que j'utilisais la version 0,3 du plugin

maintenant avec la version 0,4

http://files.spip.org/spip-zone/indexation.zip

ça marche très bien

Le plugin Indexation

Bonjour
Nouvelle tentative avec la version 206 et le plugins indexation :

- grace au modification du fichier indexation.php et pdf.php, la table indexation dans mysql se rempli bien (merci pour l'aide)
- par contre sur la page publique, toute recherche renvoi un page de debug

exemple : (juste le debut)
« Erreur(s) dans le squelette

1 ()
Erreur SQL
articles.id_article, '', articles.titre, articles.lang FROM spip_articles AS articles WHERE (articles.statut = 'publie') AND (articles.date < '9999-12-31') ORDER BY points DESC
Unknown column 'points' in 'order clause'
»

merci pour une nouvelle aide

Le plugin Indexation - Corrigé

Je viens de tester sur SPIP 2.03.

J'ai corrigé l'indexation PDF, en tout cas maintenant ça fonctionne.

Fichier indexation/inc/indexation.php :
Fonction indexer_contenu_document.

Mettre :

$contenu = $lire(realpath(_DIR_RACINE)."/$fichier", $charset);

Et, fichier indexation/extract/pdf.php
Voila à quoi ressemble ma fonction :

function extracteur_pdf($fichier, &$charset) { # /* methode tout PHP $pdf = new Format_PDF; return $pdf->extraire_texte($fichier);
*/ $charset = 'iso-8859-1'; # metamail
//	@exec('metamail -d -q -b -c application/pdf '.escapeshellarg($fichier), $r, $e);
//	if (!$e) return @join(' ', $r); # pdftotext # http://www.glyphandcog.com/Xpdf.html # l'option "-enc utf-8" peut echouer ... dommage ! exec('/usr/local/bin/pdftotext \''.$fichier.'\' - ', $r, $e); if (!$e) return @join(' ', $r);
//*/
}

Grosso modo, mettre le full distinguish name de la commande pdftotext et protéger le chemin avec des simples cotes.

Mathieu.

Le plugin Indexation

bonjour

De retour pour tester le plugin indexation avec spip202

Mise en place : spip202 en local et installation du plugin en automatique avec http://files.spip.org/spip-zone/indexation.zip
j'ai aussi installe pdftotext sur le serveur (et fait un test en console pdftotext monpdf.pdf montext.txt )

Mais bon l'indexation du pdf ne se fait pas dans spip.
J'ai regarde la table spip_indexation effectivement le texte du pdf n'a pas ete extrait.

J'ai regarde dans le plugin le fichier /indexation/extract/pdf.php.
Je pense que c'est dans ce fichier que le choix de l'extraction se fait ( tout php ou pdftotext)
mais bon meme en changeant les /* de place pour utiliser l'un ou l'autre, ca ne marche pas

quelqu'un a une piste a me donner ?

Le plugin Indexation

Le lien dans l'article ne pointe pas vers la dernière version du plugin :

http://files.spip.org/spip-zone/indexation.zip
- > en ce moment version 0.4

Indexation fulltext des documents pdf, doc, ... avec le plugin Indexation

Bonjour,

Concernant le message de gandhy du 11 mars 18:02 : « bonjour je fais un test en local avec SPIP 1.9.3 dev [11283] et mysql 5, ... mais l'indexation fulltext des pdf ne marche pas... »

Qu'en est-il avec SPIP 1.9.2.e ?

Au SEM-DIP à Genève, nous avons besoin de cette fonctionnalité

Meilleurs messages

FDG

Le plugin Indexation

C'est corrigé en version 0.4 le plugin Indexation est compatible SPIP 2.0

Le plugin Indexation

Le plugin Indexation ne marche pas avec SPIP SVN (12027).
Voir :
http://article.gmane.org/gmane.comp.web.spip.zone/9250

Call to undefined function : sql_countsel()

Ce plugin n'est pas compatible 1.9.2, il ne fonctionne qu'avec la branche dev de SPIP 1.9.3

Call to undefined function : sql_countsel()

Même erreur :
Fatal error : Call to undefined function : marquer_indexer() in /limoux/vol1/datas/WebSites/spip-1.9.2^d/ecrire/inc/modifier.php on line 92

Call Stack
#Time Memory Function Location
1 0.0002 66064 main( ) ../spip.php:0

2 0.0158 625288 include( ) ../spip.php:24

3 0.0196 818440 action_editer_article_dist( ) ../public.php:54
4 0.0240 981488 articles_set( ) ../editer_article.php:38

5 0.0240 981488 revisions_articles( ) ../editer_article.php:53

6 0.0330 1320488 modifier_contenu( ) ../editer_article.php:138

Version de SPIP : 1.9.2^d (revision 11132)

Plugin indexation 0.3 dev (pris dans plugins_stable.zip)

MySQL 5.0.19

Les tables doivent elles être en UT8 ?

Le plugin Indexation

Lire l'article !

Conditions de compatibilité :
- SPIP SVN révision >= 10182 [1]

Le plugin Indexation

Bonjour,
D'abord merci pour ce plugin qui va me permettre d'indexer bon nombre de docs ...
Je suis en train de tester en local ...
Voici le message qui met retourné :
Fatal error : Call to undefined function prepare_recherche() in D :\wamp\www\DEMO\ecrire\public\composer.php(72) : eval()'d code on line 16

ma version SPIP 1.9.2^d

Le plugin Indexation

je me repond
cela viens du fait qu'il n'y a pas de table spip_recherches dans cette version svn

par contre la solution, désole j'ai pas d'idée, plus tard peut être

Le plugin Indexation

bonjour
je fais un test en local avec SPIP 1.9.3 dev [11283] et mysql 5

- mais l'indexation fulltext des pdf ne marche pas, l'indexation est elle sur le titre seul ou sur l'ensemble du document ?
- sur ma apge d'accueil une recherche me donne : une page blanche avec « spip_recherches insertion sans description ».

merci de votre aide

Call to undefined function : sql_countsel()

Désolé, je viens seulement de lire le nota

[1] Nota : il s'agit de la version 1.9.3 en développement. Cette contrib n'est donc pas compatible avec les versions 1.9.2 et antérieures

Donc ceci explique cela je suppose.

Call to undefined function : sql_countsel()

Bonjour

Chez OVH avec un spip 192d [11132] avec le plugin téléchargé ce jour via svn, (révison 18239 je crois) j'ai ce message d'erreur.

Fatal error : Call to undefined function : sql_countsel() in /home.13/axeclotu/www/plugins/indexation/exec/admin_index.php on line 129.

et aussi un message d'erreur à chaque modification d'article (mot-clef, rubrique, etc)

Fatal error : Call to undefined function : marquer_indexer() in /home.13/axeclotu/www/ecrire/inc/modifier.php on line 92

Cela provient-il d'une configuration d'OVH ? Que faire ?

Merci.

Le plugin Indexation

Bonjour !

Il y a plusieurs problèmes, il me semble, de faire fonctionner ce plugin avec SPIP SVN (11205).

La syntaxe « ici une phrase recherchée » ne marche pas du tout, et c'est comme si le recherche bloque sur certaines pages et les montre toujours (peut-être parce que la table spip_recherches ne se met pas à jour ??).

La mise en page de la page admin_index est cassée.

Pour retrouver une fonction de recherche qui va à peu près bien sur le site, j'ai dû désactiver le plugin Indexation.

Le plugin Indexation

Bonjour !
c'est admin_index, non pas index_admin.

Le plugin Indexation

bonjour,
avec spip 1.9.3 et ce plugin, j'ai beau chercher, je ne trouve pas la page index_admin, lorsque je tente manuellement j'ai un message d'erreur....
j'ai du loupé quelque chose dans l'installation, mais quoi ?

Choisir ce qui est indexé

Merci, j'ai changé dans le fichier /inc/indexation.php pour définir $INDEX_objet_associes = FALSE; et testé en local. Cela a bien l'effet désiré.

Mais lorsque je clique pour purger les tables d'indexation (?exec=admin_index) la table spip_indexation demeure intacte. Devrais-je effacer le contenu de la table à la main, ou est-ce que le contenu sera progressivement mis à jour ?

Choisir ce qui est indexé

De ce point de vue j'ai conservé le même système que dans l'ancien plugin indexation : tu peux donc modifier la configuration INDEX_objet_associes. (Mais je ne sais pas où se trouve l'interface de configuration.)

Erreur sur les documents recherchés

Cette requete est générée par inc/prepare_recherche ; si tu regardes bien la différence entre la version du core et celle du plugin, il y a dans le core un :

calcul_mysql_in("$table.$primary" ...

dans le plugin c'est plutôt :

calcul_mysql_in($primary ...

Essaie donc de remplacer ça dans le plugin, et de voir si ça résoud ; si oui tu peux commit la correction :-)

Erreur sur les documents recherchés

Bonjour,

Je viens d'essayer ce plugin prometteur sur un SPIP 1.9.3 dev SVN [10570] utilisant une base comprenant plus de 1400 articles, 1170 documents en tout genre mais surtout pdf, et environ 700 articles de sites syndiqués .

Il fonctionne, à priori, pas mal et me permet de bien intégrer les sites syndiqués dans les recherches, ce que je voulais, à la base, donc, déjà, merci pour le travail accompli.

J'ai essayé « d'intégrer » la recherche au contenu des documents avec cette boucle :

< BOUCLE_documents(DOCUMENTS)
recherche par points inverse pagination 5 >

< dt >< a href="#URL_DOCUMENT" > #TITRE a >< /dt >

< / BOUCLE_documents >

Une recherche « matchant » un document me retourne l'erreur suivante ( un peu longue, j'ai donc rajouté un ou deux espaces...) :

< BOUCLE_documents > (documents)
Erreur SQL
documents.id_document, 0+124*(((id_document IN (27,28,152,158,296,384,396,576,613,1065)))) +125*(((id_document IN (74,125,126,127,128,381,383,489,490,566, 567,571,675,676,743,830,831,844,987,1806)))) +129*(((id_document IN (312)))) +120*(((id_document IN (401)))) +119*(((id_document IN (402)))) as points, documents.titre FROM spip_documents AS documents LEFT JOIN spip_documents_articles AS a ON documents.id_document=a.id_document LEFT JOIN spip_articles AS aa ON a.id_article=aa.id_article LEFT JOIN spip_documents_breves AS b ON documents.id_document=b.id_document LEFT JOIN spip_breves AS bb ON b.id_breve=bb.id_breve LEFT JOIN spip_documents_rubriques AS r ON documents.id_document=r.id_rubrique LEFT JOIN spip_rubriques AS rr ON r.id_rubrique=rr.id_rubrique WHERE (((id_document IN (27,28,74,125,126,127,128,152,158,296,312,381,383, 384,396,401,402,489,490,566,567,571,576,613,675, 676,743,830,831,844,987,1065,1806)))) AND (documents.taille > 0 OR documents.distant='oui') AND (documents.mode != 'vignette') AND (aa.statut = 'publie' OR bb.statut = 'publie' OR rr.id_rubrique = 'publie') ORDER BY points DESC
Column 'id_document' in field list is ambiguous
< / BOUCLE_documents >

Je me doute bien qu'il suffit de préciser quelque chose du type document.id_document dans une requête SQL, mais je ne sais où la trouver.

Ou bien faut-il se servir du fichier rogatons.txt et modifier distant.php du moteur à la main ?

NB : des accolades et des balises ont été mangées par un petit écureuil :)

Choisir ce qui est indexé

Et encore une chose : peut-il y avoir la possibilité de contrôler ce qui est indexé ? En particulier je désire éviter que les noms des auteurs soient indexés.

Pour notre structure de site, quand on cherche « John » cela n'aide pas de recevoir une page pleine d'articles mis en ligne par « John-Noël ». Et ce n'est pas très discret, non plus.

Premières impressions

Bonsoir,

Alors le plugin est mise en place sur le site taize.fr

Premières impressions :

- J'ai l'impression que la recherche est plus fiable et plus rapide qu'avec l'ancien système. Merci !
- Je pense que la balise #EXTRAIT donne aussi au lecteur un meilleur aperçu de ce qui a été trouvé.
- Le site prenait une âge pour se faire indexé (environ 8-10 articles par heure). Alors j'ai cliquer beaucoup de fois sur le bouton de la page admin_index pour arriver à indexer 3.500 articles.
- Améliorations pour la balise #EXTRAIT :
pas moyen de lui faire prendre en compte les balises ? (Je suppose que tu enlèves les balises multi en écrivant la table.) Mais les titres/textes en multi rendent un résultat plutôt difficile à lire
la balise semble avoir difficulté avec certains caractères « — », « “ » (voir la même page)
- si on recherche une phrase, par ex. « après la rencontre » le surlignement dans les pages retrouvées est toute à fait fantaisiste et déroutant !

Le plugin Indexation

SPIP SVN révision >= 10182 :-)

Le plugin Indexation

Aussi je trouve :

Fatal error : Call to undefined function : prepare_recherche() in /home2/icasse/public_html/ecrire/public/composer.php(72) : eval()'d code on line 213

quand je veux faire une recherche avec spip 1.9.2b

:-(

Salut

Le plugin Indexation

Merci, Fil, mais je me trouve avec « Moteur de recherche
Fatal error : Call to undefined function : sql_countsel() in /home2/icasse/public_html/plugins/indexation/exec/admin_index.php on line 126 » avec spip 1.92b + plugin indexation + recherche etendue. Salut !

Le plugin Indexation et spip-contrib

La première idée qui m'est venue en lisant le chapeau de cet article : ça serait-y pas bien de tester ce super plugin de la balle sur spip-contrib ?

Parce que bon, faut être patient ici hein..