Crawler PHP pour vérifier vos pages

Lors d’une mise en ligne, pour vérifier que le nouveau site web a des liens externes et internes qui fonctionnent, j’utilise un crawler comme Screaming Frog. Mais parfois cette solution est “gourmande” en ressources.

Vérifier l’entête http avec HTTPS Status Check

J’utilise pour des petits sites http-status-check qui permet de vérifier l’entête HTTP des pages du site dans la console  :

HTTP Status Check

Bravo à Spatie et merci pour cet outil très pratique.
Si vous voulez l’utiliser, rendez-vous sur le GitHub pour télécharger https status check

 

 

2 comments
  1. Bloggy
    Bloggy
    février 13, 2018 at 8:22

    Salut Nico,
    Effectivement, ce tool est super pratique. Démarrer SF pour un petit site c’est un peu lourd…

    Reply
  2. Silicon Salad
    Silicon Salad
    mars 3, 2018 at 7:43

    Hello 🙂 ! Sympa ce petit tool, mais il reste tout de même beaucoup moins complet que SF. De plus, je ne suis pas tout à fait d’accord avec Bloggy. Si le site est petit et que l’on veut pas le surcharger, il suffit de réduire le nombre de threads et le nombre d’url par thread pendant le crawl. Ainsi, cela évitera que le site reçoit trop de requêtes d’un coup et en si peu de temps.

    Nicolas, je suis d’accord avec toi : Screaming est une grenouille gourmande ^^. Mais as-tu vu la dernière mise à jour (numéro 9) qui a été lancée ? Il est maintenant possible de crawler et de mettre les données dans une bdd. Ce qui évite de surcharger la RAM et de crawler plus d’urls ! 🙂

    A bientôt, Makmanuss 🙂

    Reply
Leave a Reply

Your email address will not be published. Required fields are marked *