Le blog de CrawlTrack

Vous trouverez sur cette page des informations qui vont vous aider à gérer votre site, le protéger et à améliorer son référencement et donc bien entendu le nombre de visiteurs sur celui-ci. Je me sers de ce blog aussi pour donner des infos sur CrawlTrack et son développement. Et enfin comme il n'y a pas qu'internet et l'informatique dans la vie, de temps en temps je vous ferait partager mes récits de voyage.

Une semaine à Séoul    11 novembre 2011

En août 2010 j'ai passé une semaine à Séoul avec ma fille, guidé par son amie coréenne Chairee nous avons découvert cette ville à la fois très moderne et quasiment moyennageuse par certain aspect.

Road Trip dans le Sud Ouest Américain    10 novembre 2011

Cette fois ci c'est avec mon fils Johan que nous avons fait un road trip entre Las Vegas, Dan Diego, Los Angeles et San Fransisco. Voici un récit au jour le jour et en images de ce magnifique voyage.

Voyage au japon    11 décembre 2010

Voici pour se changer les idées le récit en images du voyage que j'ai fait en 2008 avec ma fille pour visiter les capitales du Japon, Tokyo, Kyoto et Nara.

CrawlTrack est sur SourceForge    04 décembre 2010

Le développement de CrawlTrack prend un nouveau départ, pour permettre un vrai travail collaboratif, Crawltrack est maintenant sur SourceForge afin d'utiliser le dépot Subversion et le tracker. Philippe, connu sous le pseudo Kissifrot, qui avait déjà beaucoup travaillé sur les dernières versions est le premier développeur à me rejoindre dans cette aventure. Si l'envie de rejoindre l'équipe vous titille, n'hésitez pas à me contacter.

Bingbot change de user-agent    23 octobre 2010

Après seulement à peine un mois de fonctionnement, Microsoft nous joue un tour en changeant le user-agent de BingBot. Le changement est minime, juste un ; de plus. Le nouvel user-agent est donc maintenant:

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Les utilisateurs de Crawltrack doivent faire la mise à jour de leur liste de robots pour continuer à détecter BingBot, la liste à jour est la liste 96.

Interview    10 octobre 2010

Ca doit être le début de la gloire, j'ai été solicité récemment à deux reprises pour répondre à une interview.

La première par Olivier, plus connu par les habitués de Webrankinfo sous le pseudo de Madrileño; et la seconde par Yvon de Référencement school.

L'interview faites par Olivier est sortie sur le site componente-calculatoare.blogspot.com en roumain (drôle d'idée, moi je vous assure j'ai répondu en français), le site propose un outil de traduction si vous ne comprenez pas le roumain (en bas de page).

La deuxième interview est visible (en français cette fois) sur blog.referencementschool.com.

Bonne lecture.

CrawlProtect    09 octobre 2010

Dans la continuité du recentrage sur le site www.crawltrack.net, aujourd'hui c'est CrawlProtect qui vient rejoindre son grand frère CrawlTrack

Vous trouverez donc maintenant sur www.crawltrack.net l'intégralité du contenu du site www.crawlprotect.com. Et de plus en regardant de plus près la page de documentation vous pourrez découvrir des nouvelles fonctionnalités qui feront leur apparition bientôt dans CrawlProtect.

Les tutoriels de CrawlTrack    02 octobre 2010

Quand on parle de sécurité pour un site internet, une part fondamentale de celle-ci dépend du serveur sur lequel le site est installé.

J'avais lancé il y a quelque temps un annuaire de tutoriels sous le nom de: www.serveur-newbie.com.

Aujourd'hui j'ai pris la décision pour des raisons de cohérence d'intégrer cet annuaire au sein de www.crawltrack.net. Vous y trouverez une mine de bonne adresse pour vous aider à paramètrer votre serveur au mieux.

Bingbot    02 octobre 2010

Bing, le moteur de recherche de Microsoft, l'avait annoncé il y a déjà quelque mois, le vieux MSNBot allait être relayé par un nouveau et fringant robot du doux nom de Bingbot.

L'annonce parlait d'une démarrage en octobre 2010, en fait Bingbot a eu un tout petit peu d'avance puisque j'ai détecté sa première visite le 29 septembre vers 1 heure du matin. Alors si ce n'est pas déjà fait, n'oubliez pas de mettre à jour votre CrawlTrack pour pouvoir le détecter (Crawltrack le détecte à partir de la version 3.2.5 et de la liste de robots N°95).

Bingbot utilise le user agent:
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm).

A aujourd'hui MSNBot est toujours en activité, mais on peut penser que progressivement il va disparaître.

Identifier les robots des moteurs de recherche

Google, Bing, Yahoo ou bien Baidu sont en permanence entrain de rechercher sur le web de nouvelles pages a ajouter a leur index. Alors biensûr vous pouvez utiliser CrawlTrack pour savoir quand ces robots sont passés sur votre site, mais si vous voulez plus d'information sur les adresses IP et les user-agents utilisés par ces robot cet article va vous intéresser.

Les robots détectés par CrawlTrack

CrawlTrack peut détecter et identifier plusieurs centaines de robots différents. La liste complète est disponible en suivant le lien ci-dessous.

Outil pour connaitre l'origine d'une adresse IP

L'outils proposé ici permet grace à la base de données de Maxmind de connaitre le pays d'origine d'une adresse IP, ceci combiné à la base du CrawlTrack utilisé sur ce site permet en plus de savoir si cette adresse est identifiée comme celle d'un robot ou celle d'un hacker. N'hésitez pas à l'utiliser.

Eviter le duplicate content

En tant que webmaster expérimenté vous savez que le duplicate content est extrèmement néfaste pour votre référencement. Vous faites très attention à ne pas avoir le même contenu sur des pages différentes. Mais, êtes vous sur que vos pages sont réellement uniques? Si vous ne faites pas attention, toutes vos pages peuvent avoir deux url différentes: www.example.com/page.htm et example.com/page.htm. Pour la page d'accueil ça peux aller jusqu'à quatre url!!! Vous trouverez ici des solutions pour éviter ça.

Comment protéger votre site des tentatives de piratage?

Internet n'est pas un monde pacifique, vous devez savoir qu'un jour ou l'autre votre site sera la cible de pirates. Sur www.crawltrack.net, CrawlTrack détecte entre 500 et 10 000 attaques par jour. Vous ne pouvez pas ignorer ça, ou un jour, vous perdrez le contrôle de votre site!!!