manuboss
En 2007, Google a mis au point un mécanisme permettant aux référenceurs ou aux propriétaires de sites de vérifier que Googlebot est bien celui qu’il prétend être grâce à des vérifications DNS inversées. Mais maintenant, Google a également décidé de publier une liste d’adresses IP que Googlebot utilisera pour explorer votre site.
Google a publié deux fichiers JSON différents avec la liste des adresses IP que Googlebot peut utiliser :
(1) Vous pouvez identifier Googlebot par adresse IP en faisant correspondre l’adresse IP du robot d’exploration à la liste des adresses IP de Googlebot dans ce fichier JSON.
(2) Pour tous les autres robots d’exploration de Google, comparez l’adresse IP du robot d’exploration à la liste complète des adresses IP de Google dans ce fichier JSON.
Je suppose que ces adresses IP peuvent changer de temps en temps, il peut donc être judicieux de vérifier quotidiennement les mises à jour des fichiers JSON, c’est-à-dire si vous automatisez des scripts pour utiliser cette liste d’adresses IP.
C’est formidable de les avoir officiellement publiés par Google. Gardez à l’esprit qu’il existe d’autres méthodes pour vérifier Googlebot répertoriées ici.
J’ai demandé à John Mueller de Google pourquoi ont-ils fait cela maintenant, pourquoi le DNS inversé n’est-il pas assez bon ? Jean a répondu le Twitter en disant “cela facilite un peu la tâche de certains sites (CDN, etc.) et les anciens problèmes / risques liés au masquage semblent avoir pour la plupart disparu, alors…”
Cela facilite un peu la tâche de certains sites (CDN, etc.), et les anciens problèmes / risques liés au masquage semblent avoir pour la plupart disparu, donc pic.twitter.com/PgsGYBzn6i
— John 🧀 (@JohnMu) 10 novembre 2021
Forum de discussion à Twitter.
