[Résolu] modification du robots.txt non effective (Créer un compte)

  • WordPress :6.6
  • Statut : résolu
  • Ce sujet contient 10 réponses, 2 participants et a été mis à jour pour la dernière fois par Li-An, le il y a 1 mois.
11 sujets de 1 à 11 (sur un total de 11)
  • Auteur
    Messages
  • #2480850
    Vexico
    Participant
    Initié WordPress
    6 contributions

    Bonjour,

    Ma configuration WP actuelle

    • Version de PHP/MySQL : 8.1.2
    • Thème utilisé : Shapely
    • Extensions en place : Yoast SEO, monsterinsights
    • Nom de l’hébergeur : serveur dédié ovh
    • Adresse du site : https://arrierasmariachi.alilee.fr/

    Problème(s) rencontré(s) :

    Bonjour à tous,

    J’ai effectué une recherche sur le site avant d’ouvrir un sujet, mais je n’ai pas trouvé réponse à ma question (j’ai peut-être mal cherché…). J’ai modifié mon robots.txt avec yoast SEO. J’obtiens bien un robots.txt à la racine de mon site identique à celui configuré dans Yoast, à savoir:

    User-agent: *
    Disallow: /wp-admin
    Allow: /wp-admin/admin-ajax.php
    Disallow: /wp-includes
    Disallow: /wpcontent/cache
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /*.php$
    Disallow: /*.inc$
    Disallow: /*.gz$
    Disallow: /*.cgi
    Disallow: /wp-login.php
    Sitemap: https://arrierasmariachi.alilee.fr/sitemap.xml
    Sitemap: https://arrierasmariachi.alilee.fr/sitemap.rss

     

    Or avec l’outils de vérification de google console ou en tapant directement dans mon navigateur https://arrierasmariachi.alilee.fr/robots.txt j’ai le robots.txt suivant:

    User-agent: *
    Disallow: /

    pas terrible pour l’indexation de mes pages….

    J’ai essayé de le supprimer et le recréer mais j’obtiens toujours le même résultat Je dois passer à coté de quelque chose d’évident mais je bute la.

    En vous remerciant d’avance de l’aide que vous pourriez me fournir.

    Cdt

     

    Yves

     

    • Ce sujet a été modifié le il y a 1 mois et 1 semaine par Joss47.
    • Ce sujet a été modifié il y a 1 mois et 1 semaine par Joss47. Raison : Je déplace dans la bonne rubrique
    #2480874
    Vexico
    Participant
    Initié WordPress
    6 contributions

    Merci d’avoir déplacé dans la bonne rubrique, je m’en suis rendu compte au moment de la validation.

     

    Cdt

    #2480887
    Li-An
    Participant
    Maître WordPress
    28795 contributions

    Bonjour, vérifiez dans les réglages>Lecture>règles de lecture que vous n’avez pas choisi d’empêcher les moteurs de crawler votre site.

    #2480904
    Vexico
    Participant
    Initié WordPress
    6 contributions

    Bonjour Li-An,

     

    Merci pour ta réponse mais la case est bien décochée…

    Fichiers joints :
    Vous devez être connecté pour voir les fichiers joints.
    #2480910
    Li-An
    Participant
    Maître WordPress
    28795 contributions

    Et donc, lorsque vous allez regarder ce fichier en le téléchargeant, vous avez bien le contenu de Yoast ? Désactivez les extensions, mettez un thème par défaut et testez pour voir. Vous pouvez laisser une extension de maintenance pour ne pas effrayer vos visiteurs et utiliser https://www.echodesplugins.li-an.fr/plugins/widget-importer-exporter/ pour sauvegarder le réglage de vos widgets. Vous pouvez aussi regarder dans Outils>Santé du site s’il n’y a pas un problème important.

    #2480977
    Vexico
    Participant
    Initié WordPress
    6 contributions

    Qd je télécharge le fichier, j’ai bien le même fichier que celui affiché sur yoast. J’ai le même résultat en mettant un thème par défaut et en désactivant les extensions.

    Merci de ton aide et ton temps!

    #2480994
    Li-An
    Participant
    Maître WordPress
    28795 contributions

    C’est mystérieux. A priori, les tests récupèrent le fichier virtuel créé par WP et pas le fichier physique. Je n’arrive pas à comprendre comment c’est possible. Renommez le htaccess à la racine de votre site pour le désactiver et regardez ce que ça donne – vous pourrez ensuite lui remettre son nom original.

    #2480995
    Li-An
    Participant
    Maître WordPress
    28795 contributions

    D’après cette discussion https://wordpress.stackexchange.com/questions/211240/robots-txt-not-updating ça peut provenir d’un problème de cache serveur.

    #2481080
    Vexico
    Participant
    Initié WordPress
    6 contributions

    Bonjour Li-An,

     

    J’ai la meme impression que le robots.txt recupéré est le dynamique et non le physique à la racine. Mon wordpress est hébergé sur un nginx, il n’y a pas de htaccess. Puext-etre une config qui gene dans mon server block…

    Je vais regarder pour le cache serveur.

    Merci à toi!

    #2481084
    Vexico
    Participant
    Initié WordPress
    6 contributions

    Bonjour Li-An

     

    J’ai trouvé la source du problème. Ce n’était pas un problème de cache serveur mais du coup cela ma mis sur la piste car j’ai du vérifier mes fichiers de configuration nginx ainsi que le block server de ce site qui avait été créé par quelqu’un d’autre et oh surprise, un gros disallow sur toutes les pages avec tous les agents.

    J’ai supprimé la ligne et relancer nginx et badaboum ca marche bien!

    Merci de ton aide et de ton temps passé à chercher une solution!

    #2481086
    Li-An
    Participant
    Maître WordPress
    28795 contributions

    Super que vous ayez trouvé l’origine du problème. Vous pouvez passer le sujet en résolu en haut à gauche ? Merci d’avance.

11 sujets de 1 à 11 (sur un total de 11)
  • Vous devez être connecté pour répondre à ce sujet.