Le robots.txt est fêté pour ses 25 ans d’existence, et Google a annoncé de nombreux changements autour du fichier, comme la suppression de la prise en compte de certaines directives. Tout est détaillé dans l’article suivant : https://blog.internet-formation.fr/2019/07/google-decrit-le-robots-txt-pour-ses-25-ans-dexistence-et-change-les-regles-prises-en-compte/.