|
Les infos pour webmasters de CrawlTrack
Vous trouverez sur cette page des informations qui vont vous aider à gérer votre site, le protéger et à améliorer son référencement et donc bien entendu le nombre de visiteurs sur celui-ci.
Identifier les robots des moteurs de recherche
Google, Bing, Yahoo ou bien Baidu sont en permanence entrain de rechercher sur le web de nouvelles pages a ajouter a leur index. Alors biensûr vous pouvez utiliser CrawlTrack pour savoir quand ces robots sont passés sur votre site, mais si vous voulez plus d'information sur les adresses IP et les user-agents utilisés par ces robot cet article va vous intéresser.
Les robots détectés par CrawlTrack
CrawlTrack peut détecter et identifier plusieurs centaines de robots différents. La liste complète est disponible en suivant le lien ci-dessous.
Outil pour connaitre l'origine d'une adresse IP
L'outils proposé ici permet grace à la base de données de Maxmind de connaitre le pays d'origine d'une adresse IP, ceci combiné à la base du CrawlTrack utilisé sur ce site permet en plus de savoir si cette adresse est identifiée comme celle d'un robot ou celle d'un hacker. N'hésitez pas à l'utiliser.
Eviter le duplicate content
En tant que webmaster expérimenté vous savez que le duplicate content est extrèmement néfaste pour votre référencement. Vous faites très attention à ne pas avoir le même contenu sur des pages différentes. Mais, êtes vous sur que vos pages sont réellement uniques? Si vous ne faites pas attention, toutes vos pages peuvent avoir deux url différentes: www.example.com/page.htm et example.com/page.htm. Pour la page d'accueil ça peux aller jusqu'à quatre url!!! Vous trouverez ici des solutions pour éviter ça.
Comment protéger votre site des tentatives de piratage?
Internet n'est pas un monde pacifique, vous devez savoir qu'un jour ou l'autre votre site sera la cible de pirates. Sur www.crawltrack.net, CrawlTrack détecte entre 500 et 10 000 attaques par jour. Vous ne pouvez pas ignorer ça, ou un jour, vous perdrez le contrôle de votre site!!!
