[Résolu] Fonctionnement du robot.txt

Statut : non résolu

Ce sujet contient 6 réponses, 2 participants et a été mis à jour pour la dernière fois par ungars, le il y a 8 années et 4 mois.

7 sujets de 1 à 7 (sur un total de 7)

Auteur

Messages
10 juillet 2016 à 19 h 21 min #564950
ungars
Participant

Chevalier WordPress
400 contributions
Ma configuration WP actuelle
– Version de WordPress : 4.5.3
– Version de PHP/MySQL : 5.5
– Thème utilisé : Weaver Extrem
– Extension en place : contact form, Seo by Yoast, awpcp
– Nom de l’hebergeur : Online :
– Adresse du site : http://www.aller-en-chine.net :
Problème(s) rencontré(s) :

Bonjour,
Je souhaite désindexer une page sur mon site. Je fais une recherche et je tombe sur ce tuto

Je m’ intéresse donc au fichier robot.txt

Il devrait se trouver à la racine de mon site, mais sauf erreur, je ne le vois pas. Par contre, dans ma console Google il existe bien, et voici son contenu :
```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
```
Les deux premières lignes semblent correspondre à ce qui est marqué sur le tuto, mais la ligne Allow pas du tout, ne devrais je pas mettre simplement « / » à la place de « /wp-admin/admin-ajax.php » ?

2ème question, du coup, comme le ficher robot.txt n’ existe pas à la racine, dois je le créer avec ce qui est marqué sur ma console, via mon éditeur de texte, le nommer robot.txt et l’ envoyer sur la racine du site ?

Merci pour vos explications, bonne soirée.
10 juillet 2016 à 20 h 44 min #1062869

Lumiere de Lune
Participant

Maître WordPress
20531 contributions

1- robotS.txt

2- Yoast génère un fichier virtuel, qui est lu par les moteurs. C’est comme tes articles, tu n’as pas de page html correspondante sur ton ftp

11 juillet 2016 à 5 h 24 min #1062868

ungars
Participant

Chevalier WordPress
400 contributions

Merci pour ta réponse. Oui c’ est robots avec un S, effectivement.
Qu’ en est il par contre de la troisième ligne du fichier, ne devrais je pas mettre simplement « / » à la place de « /wp-admin/admin-ajax.php » ?

Bon début de semaine.

12 juillet 2016 à 16 h 01 min #1062870

ungars
Participant

Chevalier WordPress
400 contributions

Bonsoir, je fais un up, merci, bonne soirée.

17 juillet 2016 à 7 h 51 min #1062871
ungars
Participant

Chevalier WordPress
400 contributions
Bonjour,
Je pense que mon robots.txt était « moisi », mais je ne vois pas comment le modifier vu qu’ il n’ apparait pas dans la racine de mon site (j’ ai bien compris que c’ était un fichier virtuel) . Je ne sais pas non plus comment il a pu s’ ecrire comme ça, peut etre une fausse manip de ma part avec Yoast . Je l’ ai donc modifié, et cette fois ci je l’ ai mis à la racine, j’ ai lu que de cette façon il surpassait le fichier virtuel.
```
User-agent: *
Disallow: /wp-admin/
Disallow: /mentions-legales/
Allow: /
```
Est ce que c’ est bon comme ça ?

En tout cas, depuis d’ autres pages ont été indexées, ainsi que des images qui ne l’ était pas avant.

Bon Dimanche.
19 juillet 2016 à 8 h 01 min #1062872
ungars
Participant

Chevalier WordPress
400 contributions
Bonjour,
Ca se complique encore un peu plus.
```
User-agent: *
Disallow: /wp-admin/
Disallow: /mentions-legales/
Allow: /
```
Et pourtant /mentions-légales est indexé !

Merci pour votre aide, bonne journée.
24 juillet 2016 à 12 h 10 min #1062873

ungars
Participant

Chevalier WordPress
400 contributions

Bonjour, la réponse ici
✅
Auteur

Messages