Google cessera de prendre en compte les paramètres noindex, nofollow et crawl dans les enregistrements robots.txt.
La situation particulière: la systématisation de l'explication de robots.txt
Google a besoin d'une norme officielle pour le fichier d'explication robots.txt, utilisée par les administrateurs de site pour définir les normes suivantes du robot d'exploration (REP, Robots Exclusion Protocol). De la même manière, Google a ouvert le code source de la bibliothèque C ++ utilisée pour analyser les archives robots.txt.
Google arrêtera de démêler quelques précisions dans le fichier robots.txt
En parallèle, Google annonce l'achèvement de la compréhension, par ses robots, de quelques énonciations utilisées par certains administrateurs de site - notamment "creep delay", "noindex" et "nofollow". Google indique qu'il a examiné le fichier robots.txt proposé par les objectifs, et note que quelques clarifications ne s'identifient pas au standard imaginé par Martijn Koster en 1994. Les normes de délai d'analyse, de nofollow et de noindex n'ont pas de la même manière comptabilisé par Google. Quasiment aucun administrateur de site ne les utilise, et il devrait en changer - avant la fin du mois d’août 2019.
La meilleure technique pour éliminer les pages de sites demandeurs sur Google
Google ne remédiera jamais aux obscures jauges du protocole d’exclusion des robots du premier septembre. Cela rejoint crawl delay, nofollow et noindex. Les enquêtes Google permettent aux administrateurs de sites de diffuser une page ou une liste dans noindex de différentes manières, afin de refuser de demander:
* Ajouter le noindex dans les méta marques de la page (meilleur plan)
* Les codes HTTP 404 et 410 suggèrent que la page n'existe pas, les robots d'exploration de Google le récupèrent et retirent ces pages de son document.
* Les pages définies derrière un paywall - et celles nécessitant un mot mystère - sont "généralement" supprimées dans le récapitulatif de Google.
* Google enregistre uniquement les pages qu'il connaît, mettre une page ou un fichier en interdiction via le fichier robots.txt reste une probabilité. Quoi qu'il en soit, Google aura la possibilité d'enregistrer une page s'il trouve une association avec cette page, tout en confirmant que ces pages rejetées via le fichier robots.txt seront moins reconnaissables ultérieurement sur Google.
* Vous pouvez également utiliser Search Console pour supprimer une URL qui n'a rien à voir avec Google.