Comment changer son fichier robots.txt dans Wordpress?

WordPress :6.2
Statut : non résolu

Ce sujet contient 4 réponses, 2 participants et a été mis à jour pour la dernière fois par Lucas Lopez, le il y a 5 mois et 2 semaines.

5 sujets de 1 à 5 (sur un total de 5)

Auteur

Messages
19 juin 2023 à 21 h 56 min #2456432
Lucas Lopez
Participant

Initié WordPress
18 contributions
Bonjour,

mon fichier robots.txt est maudit,
j’ai rajouté une ligne pour bloquer un répertoire de mon site et depuis malgré la suppression de cette ligne,
google search console considère qu’elle est toujours là!

J’utilise le plugin de WordPress TranslatePress : https://translatepress.com/
Pour mon site : https://wikihhc.com/ qui me permet de traduire en plusieurs langues sauf qu’il y a toujours un travail à refaire sur les url car elles ne sont pas forcement traduite de la meilleurs des façons donc lorsque j’ai lancé la version hongroise du site : https://wikihhc.com/hu/

j’ai rajouté une ligne :

Disallow: /hu/

qui correspond au dossier où se situe les pages traduites, le temps de faire les modifications afin que notre ami google n’indexe pas des pages qui vont être modifié dans les prochaines 24H.
Une fois que j’ai terminé la traduction, j’enlève cette ligne de mon robots.txt et c’est là que mon problème commence!
Google search console m’indique que l’es url commençant par /hu sont bloqué par le robots.txt hors ce n’est plus le cas!
Comme vous pouvez le voir dans le contenu de mon fichier robots.txt ci dessous.
```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://wikihhc.com/sitemap_index.xml
```
Avez vous une idée de comment résoudre ce problème?
Est ce ma ligne disallow serait inscrite ailleurs automatiquement et il faut que je la supprime?

Je précise que je suis passé par le plugin rank math pour changer le fichier robots.txt puis apres j’ai laissé wordpress géré par défaut le fichier.

Merci par avance!

Fichiers joints :
Vous devez être connecté pour voir les fichiers joints.
19 juin 2023 à 22 h 31 min #2456434

C_Lucien
Modérateur

Maître WordPress
5116 contributions

Bonjour,

« Un fichier robots.txt est un fichier texte situé à la racine de votre site«

Source

Qu’est-ce que les moteurs de recherche font de plusieurs, ça risque d’aller à l’encontre de vos souhaits. De plus, celui qui se trouve sous /hu/est bizarre, tout est sur une seule ligne.

Pour empêcher la visite des pages en cours de mise au point, je pense qu’un fichier .htaccess avec des filtres ciblés dans le répertoire /hu/ aurait été préférable, par exemple en interdisant toute visite sauf votre IP.

21 juin 2023 à 10 h 46 min #2456520
Lucas Lopez
Participant

Initié WordPress
18 contributions
Salut Lucien, merci pour ta réponse !
Lorsque j’ai créé la page/le dossier traduit, j’ai ajouté juste après la ligne Disallow et je l’ai supprimé quelque chose comme 5 h plus tard. Merci pour ta trouvaille : Effectivement il y a un fichier robots.txt bizarre à la racine des langues traduites, https://wikihhc.com/hu/ avec ce code :

User-agent: * Disallow: /wp-admin/ Engedélyezés: /wp-admin/admin-ajax.php Webhelytérkép: https://wikihhc.com/sitemap_index.xml

Qui n’est pas présent dans le gestionnaire de fichier donc il doit être généré dynamiquement.

Et c’est la même histoire avec la version espagnole https://wikihhc.com/es/ et les autres langues, par exemple je me retrouve avec un robots.txt traduit en espagnol :

Agente de usuario: * No permitir: /wp-admin/ Permitir: /wp-admin/admin-ajax.php Mapa del sitio: https://wikihhc.com/sitemap_index.xml

Le plugin de traduction doit même traduire mon fichier robots.txt et au lieu de « user agent » je me retrouve avec un « Agente de usuario », c’est magnifique!
Donc je suppose que je dois creuser dans cette direction également…
- Cette réponse a été modifiée le il y a 5 mois et 2 semaines par Lucas Lopez.
- Cette réponse a été modifiée le il y a 5 mois et 2 semaines par Lucas Lopez.
21 juin 2023 à 11 h 16 min #2456526

C_Lucien
Modérateur

Maître WordPress
5116 contributions

Bonjour,

l’extension de traduction qui traite les fichiers robots.txt,, admettons.

Par contre, s’il n’existe pas, il n’y a -à mon avis, aucune raison de le créer.

Merci de lister les extensions présentes avec celle-ci https://github.com/zitezinfo/infosite

Ça nous donnera peut-être des pistes.

21 juin 2023 à 11 h 56 min #2456529

Lucas Lopez
Participant

Initié WordPress
18 contributions

Ca y est je viens de re-vérifier par GSC les urls en commençant par /hu ne sont plus bloqué par le fichier robots.txt,
Pour la traduction en plusieurs langues du robots.txt par le plugin TranslatePress cela est inutile mais j’imagine que cela ne doit pas avoir d’influence si les moteurs crawl seulement la racine à la recherche de ce fichier.

Cependant je vais contacter le support du plugin pour voir comment impeacher cette traduction dans le doute, autant avoir un site le plus clean possible.

Merci encore!
Auteur

Messages