Vérifier les liens morts sur un site web

Librairies

Vu que nous utilisons un workflow de publication basé entre autres sur Grunt et Bower, il semblait être une bonne idée de chercher quelque chose du côté des librairies, plugins pour Grunt. Deux possibilités existent mais ça ne va pas bien loin.

Jamais réussi à faire fonctionner correctement grunt-deadlink et grunt-link-checker sort constamment avec une erreur. Ça commence fort !

Pas plus de chance avec un module npm du nom de hyperlink. La loose gagne du terrain.

Services en ligne

Le plus célèbre est certainement celui du W3C. Il est malheureusement gratuit uniquement pour une page web et non un site entier donc pas ce que je recherche.

Broken Link Check est le service en ligne gratuit qui m’a semblé correspondre le mieux à ce que je recherchais. L’outil est limité aux 3000 pages rencontrées, ce qui en fait l’un des moins limités que j’ai trouvé dans ce domaine des outils en ligne.

Et la sortie, succinte, présente l’essentiel; à savoir les pages contenant des liens morts et la possibilité de facilement les retrouver comme témoigne cet écran.

Mais bon côté automatisation, sans API, c’est pas le pied un service en ligne !

Logiciels dédiés

Reste un logiciel dédié pour me sortir de ce qui commence à être une vraie prise de tête ! La fraîcheur de ce qu’il est possible de trouver en ce domaine fait penser que ma quête semble avoir été résolue depuis les années 2000 et que rien n’a bougé depuis.

Deux logiciels sortent du lot et semblent mieux suivis que leurs petits camarades.

Webcheck

La commande à exécuter peut rester simple, même si pas mal d’options sont disponibles :

webcheck.py http://wooster.checkmy.ws

Dernière sortie en 2010 pour ce logiciel en Python qui fonctionne plutôt bien et a certainement la sortie la plus complète comme en témoignent les deux captures ci-dessous.

C’est pas vraiment sexy mais plutôt efficace pour pister et retrouver ces foutus liens morts.

linkchecker --check-extern -F html http://wooster.checkmy.ws/

Old school Bash script

J’ai d’abord essayé avec une commande wget un peu tarabiscotée :

wget --spider -o wget.log -e robots=off --wait 1 -r -p http://wooster.checkmy.ws

Mais ça ne donne rien de vraiment fiable. On oublie.

Puisque je ne trouve rien à ma convenance, cette histoire va se finir par un script bash s’appuyant sur Lynx et Curl. J’ai trouvé ce script dans le Linux Shell Scripting Book et l’ai un peu modifié pour ignorer les erreurs de certificat.

#!/bin/bash
#Filename: find_broken.sh
#Desc: Find broken links in a website

if [ $# -ne 1 ];
    then
    echo -e "usage: $0 URL\\n"
    exit 1;
fi

echo Broken links:

mkdir /tmp/$$.lynx
cd /tmp/$$.lynx

lynx -traversal $1 > /dev/null
count=0;

sort -u reject.dat > links.txt

while read link;
do
    output=`curl -I -k $link -s | grep "HTTP/.*200"`;
    if [[ -z $output ]];
        then
        echo $link;
        let count++
    fi
done < links.txt

[ $count -eq 0 ] && echo No broken links found.

C’est « cochon » mais ça fait plutôt bien le job si l’on excuse la relative lenteur des vérifications. Le script considère les redirections comme des erreurs.