Quand le fichier robots.txt n’est pas trouvé (Créer un compte)

  • Statut : non résolu
8 sujets de 1 à 8 (sur un total de 8)
  • Auteur
    Messages
  • #555107
    C_Lucien
    Modérateur
    Maître WordPress
    5115 contributions

    Bonjour,

    je soupçonne une bêtise commise à mes débuts.
    Je ne sais pas la corriger malgré les conseils glanés ici et ailleurs.

    J’ai le même fichier robots.txt
    – à la racine de html-public
    – à la racine du sous-dossier /blog/

    Or, je constate que les robots ne le trouvent pas.

    Le fichier htaccess à la racine contient

    <IfModule mod_rewrite.c>
    RewriteEngine on
    #RewriteCond %{HTTP_HOST} ^lucien-cerami.fr$
    RewriteRule . /blog/index.php [L]
    RewriteRule ^(.*) http://www.lucien-cerami.fr/$1 [QSA,L,R=301]
    </IfModule>

    Qu’est-ce qui coince ?
    Merci

    #1024426
    ouistiti.net
    Participant
    Maître WordPress
    1879 contributions

    Bonjour,

    le fichier robots.txt doit se trouver à la racine de votre site, si on tape dans la barre d’état l’url http://lucien-cerami.fr/robots.txt
    celui-ci doit apparaître ou si vous préférez, son contenu, ce qui n’est pas le cas en ce moment.

    Vu que votre site se trouve à la racine du sous-dossier /blog/, il faut donc taper http://lucien-cerami.fr/blog/robots.txt

    Qu’est ce qui vous fait dire que les robots ne le trouvent pas ??
    Si c’est vraiment le cas avez-vous essayé de le mettre dans le dossier html public, mais je doute que ce soit la solution, mais ne sait-on jamais, car je n’ai pas expérimenté à ce jour un site à la racine d’un sous-dossier.

    En ce qui concerne votre fichier .htaccess (ne pas oublier de mettre le point . au début) il doit contenir à la base:

    # BEGIN WordPress

    RewriteEngine On
    RewriteBase /
    RewriteRule ^index.php$ – [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /index.php [L]

    # END WordPress

    Cette ligne me paraît un peu suspecte

    RewriteRule ^(.*) http://www.lucien-cerami.fr/$1 [QSA,L,R=301]

    j’ai trouvé la référence via : http://guide.ovh.com/HtaccessModRewrite. Sous la rubrque : Rediriger exemple.com vers http://www.exemple.com
    Donc elle n’est pas fonctionnelle, en y ajoutant Rewritecond %{HTTP_HOST} ^lucien-cerami.fr$ comme l’exemple donné via le lien mentionné en début de phrase. Possible que votre url soit http://www.lucien-cerami.fr/blog/ donc à tester …

    Vous avez surement dû modifier cette ligne

    RewriteRule . /index.php [L]

    par

    RewriteRule . /blog/index.php [L]

    Vu que votre site se trouve dans le dossier nommé blog (je ne sais pas si c’est ainsi qu’on procède, mais il y a tout de même une certaine logique … donc à vérifier)

    Voici un lien: http://www.maintpress.com/blog/htaccess-wordpress/ qui peut vous aider.
    Codex: https://codex.wordpress.org/htaccess

    Il faut tester … Et ne pas oublier de garder une copie au cas où.

    #1024427
    ouistiti.net
    Participant
    Maître WordPress
    1879 contributions

    Je viens de me relire et je constate que je mets des « mais » un peu partout :D

    Je me permets de remettre le lien : http://guide.ovh.com/HtaccessModRewrite

    #1024428
    C_Lucien
    Modérateur
    Maître WordPress
    5115 contributions

    Bonsoir,

    merci ouistiti !
    Le site est bien dans /blog/

    Wordfence liste les pages non trouvées : tous les crawlers se plantent en cherchant robots.txt à la racine sans le trouver alors qu’il y est bien.

    La ligne suspecte dans .htaccess ? J’ai le vague souvenir de l’avoir mise –en me fiant à de bons conseils, pendant que je changeais d’hébergeur. Je dois donc revenir à quelque chose de stable, ce que j’avais oublié de faire.

    Vos|tes constatations confirment que ça cafouille à cause des règles .htaccess.

    #1024429
    ouistiti.net
    Participant
    Maître WordPress
    1879 contributions

    Je ne connais pas Wordfence, cependant l’outil webmaster Tool de google est connu pour tester le ficher robots.txt
    J’ai pu lire que ce fichier ne devait pas contenir de ligne vide, ce qui n’est pas le cas dans le vôtre.

    L’adresse sitemap est-elle juste??

    # On indique au spider le lien vers notre sitemap
    Sitemap: http://www.nohouere.ff/sitemap.xml

    Pour exemple dans mon fichier s’y trouve:

    # On indique au spider le lien vers notre sitemap
    Sitemap: http://http://www.mondomaine.ch/sitemap.xml

    D’où provient cette url: http://www.nohouere.ff ??

    A vérifier …

    #1024430
    C_Lucien
    Modérateur
    Maître WordPress
    5115 contributions

    le nohouere est une plaisanterie, issue de mon installation locale…
    Je ne savais plus que je l’avais laissée 😇
    Je dois m’atteler à cette

    sitemap

    , que j’avais laissée de côté du temps où ma compréhension en était moins qu’embryonnaire.
    La ligne vide, je m’en suis rendu compte ce soir.

    Merci ouistiti de regarder avec autant d’attention mes âneries. 🍺

    #1024431
    gilbert290
    Participant
    Padawan WordPress
    58 contributions

    Bonsoir,

    Sinon tu peux tester la validité de ton robots.txt sur ces 2 sites:

    http://tool.motoricerca.info/robots-checker.phtml
    https://www.alterlinks.fr/robots-txt-validateur/

    Visiblement le tient comporte pas mal d’erreurs.
    Si tu teste le mien par exemple, il est valide.

    #1024432
    C_Lucien
    Modérateur
    Maître WordPress
    5115 contributions

    Bonsoir,

    merci infiniment Gilbert, des outils fort utiles.
    L’essentiel du contenu que j’y ai mis provient de conseils glanés à droite et à gauche, sans grande maîtrise je dois le reconnaître.
    J’ai du pain sur la planche…
    👏 pour ton site

8 sujets de 1 à 8 (sur un total de 8)
  • Vous devez être connecté pour répondre à ce sujet.