Mise à jour de Keyword Crawler vers la version 1.1

Depuis la version 1.1, les règles du fichier robots.txt ainsi que celles de la balise META Robot sont désormais suivies.

Keyword Crawler utilise dorénavant les headers http afin de déterminer la nature des documents visités. Les document textes, PDF et office sont maintenant comptabilisés et utilisés pour la génération du fichier SiteMap.

Des bugs mineurs ont aussi été corrigés.

---

Plus d'info: Page de Keyword Crawler