Fichier robots.txt virtuel

  • Statut : non résolu
15 sujets de 1 à 15 (sur un total de 25)
  • Auteur
    Messages
  • #509747
    Jetster
    Membre
    Initié WordPress
    7 contributions

    Bonjour,

    j’ai installer récemment XML-Sitemap Generator sur mon blog pour faire un plan de site pour Google, dans ces réglages, il me dit qu’il fera apparaitre le lien du plan dans le fichier robots.txt virtuel.

    Le problème c’est que j’ai créer pour propre robots.txt et donc il n’a pas inscrit ceci dans mon fichier que j’ai créer.

    Donc comment voir ce fameux robots.txt virtuel ? Et pour rentrer le plan du site dans mon robots.txt.

    Merci à vous et bonne journée !

    #833579
    WPFormation
    Participant
    Padawan WordPress
    56 contributions

    Bonjour
    Le robots.txt virtuel est automatiquement géré et voici ce qu’il contient:

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Sitemap: http://votresite.com/sitemap.xml.gz

    Pour le voir, tapez l’url suivante: votresite.com/robots.txt ou utilisez Google Webmaster Tools

    #833580
    Jetster
    Membre
    Initié WordPress
    7 contributions

    Bonjour,

    merci de votre réponse.
    Et comment l’éditer le virtuel ?

    Bonne journée.

    #833581
    WPFormation
    Participant
    Padawan WordPress
    56 contributions

    S’il est virtuel, on ne peut pas, il faudra passer par Google Webmaster Tools pour en créer un.

    Attention, pensez dans ce cas à décocher “Ajouter l’URL du sitemap au fichier virtuel robots.txt
    Le fichier virtuel robots.txt de WordPress est utilisé. Il NE DOIT PAS y avoir de vrai fichier robots.txt dans le répertoire du blog!” dans votre extension XML Sitemap Generator!!!

    #833582
    Jetster
    Membre
    Initié WordPress
    7 contributions

    Pour le moment j’en ai deux, le virtuel et le mien, Google prend le mien. Est-ce grave ?

    #833583
    WPFormation
    Participant
    Padawan WordPress
    56 contributions
    Jetster wrote:
    Pour le moment j’en ai deux, le virtuel et le mien, Google prend le mien. Est-ce grave ?

    Non, seulement cela fait double emploi 😉

    #833584
    SeoMix
    Participant
    Padawan WordPress
    53 contributions

    Tout à fait d’accord avec Wibeweb, cela fait double emploi.

    Mais à vrai dire, il est même souvent contreproductif d’indiquer un fichier sitemap dans un fichier robots.txt car il est plus rapide et efficace d’associer ce fichier sitemap dans les centre webmaster des moteurs de recherche. J’en parle d’ailleurs dans mon dernier article sur le robots.txt.

    Et en plus, le fait d’indiquer son URL et son nom dans le fichier robots.txt facilite le travail des spammeurs pour indexer, copier et voler votre contenu, ou pour analyser vos articles et trouver de nouvelles idées de contenus.

    #833585
    HeleneR
    Participant
    Maître WordPress
    1545 contributions

    merci beaucoup seomix de preciser cette donnée
    j’ai tellement qu’il f’allait l’indiquer

    par contre, j’imagine qu’aujourd’hui,
    il doit y avoir bien d’autres repertoires que les seuls Disallow: /wp-admin/
    Disallow: /wp-includes/ à afficher dans le fichier?

    je pense que je ne protège absolument pas suffisamment mes dossiers en ligne
    merci d’avance des réponses

    #833586
    Hervel
    Participant
    Maître WordPress
    30657 contributions

    bonjour,
    pas tout à fait d’accord, il faut toujours donner son sitemap.xml aux outils de webmaster des moteurs de recherches mais aucun raison de ne pas non l’ajouter à robots.txt
    c’est indiquer dans l’aide de Google
    https://support.google.com/webmasters/answer/183669?hl=fr
    et Google le met aussi
    http://www.google.com/robots.txt

    un article sur un robotx.txt optimisé
    http://www.geekpress.fr/wordpress/astuce/fichier-robots-txt-optimise-wordpress-503/

    #833587
    HeleneR
    Participant
    Maître WordPress
    1545 contributions

    peu après j’ai lu ça:
    http://www.seomix.fr/robots-txt-wordpress/
    qui confirme et un commentaire n’est pas d’accord……
    très honnêtement, je ne sais plus quoi penser
    mais je vais voir les liens dont je vous remercie

    #833588
    Hervel
    Participant
    Maître WordPress
    30657 contributions

    l’article date de 06/09/2012, plus d’un an.
    De plus seomix ne parlent que pour les sites de recherches avec les outils de webmasters.
    Rien ne vous empêcher de mettre l’url sitemap.xml dans robots.txt mais il ne faut pas pour ça ne pas indiquer aux outils de webmaster de Google, de Bing, de Yahoo de fournir l’adresse aussi.

    il est plus prudent de faire les 2

    #833589
    HeleneR
    Participant
    Maître WordPress
    1545 contributions

    j’ai carrément récupéré la démonstration de geekpress
    juste je trouve curieux d’indiquer:
    Disallow: */comments

    surtout quand on a plein de commentaires, ce qui est mon cas
    d’après slimstats que j’apprécie beauxoup pour tous les détails des stats, j’ai plein de robots qui farfouillent tout le site

    et je me souviens oui que google tools incorpore le sitemap dans le fichier robots…..
    pas évident de s’y retrouver
    je n’ai pas encore fais la mise à jour 3.7 parce que je ne suis pas sûre que tous les plugins puissent suivre 🙂

    merci de votre reponse en tous cas

    #833590
    Hervel
    Participant
    Maître WordPress
    30657 contributions

    pas obliger de reproduire tout le robots.txt de Geekpress

    #833591
    HeleneR
    Participant
    Maître WordPress
    1545 contributions

    🙂
    oui c’est sûr
    mais je viens de lire que cette balise par exemple permet de ne pas indexer la page qui affiche tous les commentaires ; elle ferait duplicat content avec les commentaires sur les articles…….
    je ne sais pas du tout quelle(s) balise(s) j’ai interet ou pas à utiliser 🙂

    sans indiscretion, vous utilisez quoi comme plugin de stats?
    j’ai slimstats qui agit bizarrement depuis quelques temps……sachant que je n’ai pas encore fais la mise à jour vers 3.7….

    #833592
    Hervel
    Participant
    Maître WordPress
    30657 contributions

    aucun plugin de stats je ne suis pas pour, je trouve que cela sature la base de données, je préfères utiliser un service externe comme histats ou seethestats

15 sujets de 1 à 15 (sur un total de 25)
  • Vous devez être connecté pour répondre à ce sujet.