Crawler PHP pour vérifier vos liens

Catégories Scripts

Lors d’une mise en ligne, pour vérifier que le nouveau site web a des liens externes et internes qui fonctionnent, j’utilise un crawler comme Screaming Frog. Mais parfois cette solution est “gourmande” en ressources.

HTTPS Status Check

J’utilise pour des petits sites http-status-check qui permet de vérifier l’entête HTTP des pages du site dans la console  :

HTTP Status Check
murze.be

Bravo à Spatie et merci pour cet outil très pratique.

Si vous voulez l’utiliser, rendez-vous sur le GitHub pour télécharger https status check

 

3 commentaires sur “Crawler PHP pour vérifier vos liens

  1. Hello SXO 🙂 ! Sympa ce petit tool, mais il reste tout de même beaucoup moins complet que SF. De plus, je ne suis pas tout à fait d’accord avec Bloggy. Si le site est petit et que l’on veut pas le surcharger, il suffit de réduire le nombre de threads et le nombre d’url par thread pendant le crawl. Ainsi, cela évitera que le site reçoit trop de requêtes d’un coup et en si peu de temps.

    Nicolas, je suis d’accord avec toi : Screaming est une grenouille gourmande ^^. Mais as-tu vu la dernière mise à jour (numéro 9) qui a été lancée ? Il est maintenant possible de crawler et de mettre les données dans une bdd. Ce qui évite de surcharger la RAM et de crawler plus d’urls ! 🙂

    A bientôt, Makmanuss 🙂

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *