Le fichier robots.txt est une nécessité pour tous les sites ou les blogs.

Il sert à définir les zones dans lequelles les robots des moteurs de recherche peuvent se déplacer, l’emplacement du fichier sitemap, etc…

De nombreux blogueurs WordPress oublient de créer ce fichier, ce qui influe grandement sur la qualité d’optimisation de leur blog. Lorsqu’un moteur de recherche parcoure votre blog, il vérifie tous les liens qu’il peut trouver et indexe le contenu des pages, afin qu’il puisse savoir quel est le thème du blog. Ce point est très important puisque c’est celui qui va vous permettre d’apparaître dans les résultats des recherches.

Qu’est ce qu’un fichier Robots.txt

Le fichier robots.txt est une sorte de laisser passer ou d’interdiction de passage que vous attribuez aux moteurs de recherche. En définissant ces règles, vous indiquez aux robots des moteurs de recherche les pages qu’ils ne doivent pas indexer. Pourquoi agir ainsi ? Tout simplement parce que vous ne souhaitez pas voir les moteurs indexer plusieurs pages ayant le même contenu, ou alors vous ne souhaitez pas que certaines pages soient indexées.

Le fichier robots.txt est une simple fichier texte (créé avec Notepad, WordPad ou tout autre éditeur de texte), qui est placé à la racine de votre blog, afin que les robots des moteurs de recherche le consulte.

Configurer le fichier robots.txt

Copier le texte ci-dessous et coller le dans un fichier texte que vous appellerez robots.txt

User-agent: *
Disallow:
Sitemap: http://www.VotreDomaine.com/sitemap.xml

Ce code signifie que tous les robots peuvent parcourir la totalité du blog sans aucune restriction.

Si vous souhaitez placer certaines restrictions sur une page ou un répertoire; le code sera :

User-agent:*
Disallow: /feed/
Disallow: /wp-
Disallow: /cgi-bin/
Sitemap: http://VotreDomaine.com/sitemap.xml

N’oubliez pas de remplacer VotreDomaine.com par l’adresse de votre blog. Ensuite placez ce fichier à la racine de votre blog, afin qu’il soit accessible en utilisant cet appel : www.VotreDomaine.com/robots.txt

Google met a votre disposition, un outil de génération de fichier robots.txt qu’il suffira d’installer sur votre blog.

Voici quelques adresses de générateurs de fichier robots.txt parmi bien d’autres :

• Robots.txt Generator
• Robots.txt Syntax Checker
• Iniseo
• Robots.txt Generator

Une chose importante à noter, Google est le premier moteur de recherche qui publie un générateur de fichier robots.txt, ce n’est probablement pas dû au hasard.

Le fichier robots.txt sert aux robots des moteurs de recherche à référencer vos articles, aussi n’oubliez pas de l’inclure à la racine de votre blog, après l’avoir bien configuré, bien entendu.

Nous commençons aujourd’hui une série d’articles qui vont porter sur le SEO ou Optimisation pour les Moteurs de Recherche.

Nous allons essayer d’être aussi clair que possible, afin que tout le monde, y compris les débutants puissent comprendre de quoi il en retourne.

Commençons donc par définir ce que signifie SEO. Si vous avez une certaine expérience dans le domaine, vous pouvez sauter cette étape, quoiqu’une révision peut toujours être utile.

SEO signifie Search Engine Optimization voir parfois Search Engine Optimizer. Avant de commencer à approfondir la définition, vous devez être conscients de la façon dont les moteurs de recherche fonctionnent, c’est moins complexe qu’il y paraît.

Le principe de fonctionnement des moteurs de recherche (Google en particulier) est en constante évolution, afin que personne ne puisse trouver l’algorythme de calcul, le sésame pour obtenir le meilleur classement.

Aujourd’hui les moteurs de recherche cachent derrière une énorme puissance, une profonde simplicité, quoique …
Prenons Google comme moteur de recherche principal et concentrons les explications sur ce moteur, sachant que le principe de fonctionnement est identique pour tous les autres moteurs de recherche.

Pourquoi? Principalement parce que Google reçoit plus de 60% de l’ensemble du trafic du marché des recherches, qui est de l’ordre de 40 milliards d’euros et de 400 millions de recherches par mois. Deuxièmement, parce que si votre site est bien optimisé pour Google, cela signifie qu’il est en de même pour tout les autres moteurs de recherche, puisque Google est actuellement ce qui se fait de plus efficace.

Google, c’est avant tout,une énorme base de données, alimentée en permanence par des robots, les Googlebot. Les Googlebot sont des robots logiciels, qui scannent, régulièrement, tous les sites Web afin d’indexer l’ensemble des pages au sein de la base de données principale de Google. Ces robots sont constitués d’un morceau de code développé en interne par Google afin de parcourir l’intégralité de la toile.

Le plus important pour votre site est d’être conçu de telle sorte que les robots puissent parcourir l’ensemble des pages que vous souhaitez voir indexées, sans qu’ils se retrouvent bloqués par des « pièges à robots », qui de nos jours ne servent plus qu’à bannir les sites des moteurs de recherche.

Voyons à présent la façon dont Google gère les sites Internet dans leur base de données, et comment il attribue les positions lors de l’affichage des résultats d’une recherche (SERP).

Des algorithmes spéciaux créés par Google sont responsables de cette procédure. Seuls quelques-uns des employés de Google ont connaissances des algorithmes de travail, alors que  les utilisateurs comme vous et moi ne pouvons nous référer qu’ à notre propre expérience, pavée d’essais et d’erreurs.

Comme vous l’avez probablement remarqué, lorsque vous faites une recherche sur Google, les résultats d’une expression spécifique arrivent sous forme de liste de sites pertinents du haut vers le bas. Habituellement, le site classé en premier est celui dont la pertinence est la plus proche de votre recherche.

Voilà un des points les plus importants de la science SEO, la pertinence.

Le contenu est roi et la pertinence est reine

Si vous vous en tenez à cette règle, vous obtiendrez, sans aucun doute, d’excellent résultat en matière de SEO. Mais ne soyons pas trop enthousiaste car nous venons à peine  d’effleurer le sujet. Il y nous reste de nombreux points à évoquer.

La pertinence est un des principes fondamentaux des moteurs de recherche mais cela ne suffit pas aux algorithmes pour affecter la position exacte d’un site Web. Depuis quelques années les moteurs de recherche ont grandement évolué, et aujourd’hui aucun des facteurs composant l’algorithme secret n’est un facteur déterminant, comme c’était le cas il y a une dizaine d’années.

Dans le prochain article nous aborderons les rétro-liens, mais abordons tout de même le sujet ici. Un rétro-lien est un lien externe pointant vers votre blog et qui agit comme un vote pour votre site. Plus votre blog a de votes et plus Google considèrera que votre blog est précieux. Il ne faut toutefois pas oublier que les rétro-liens doivent aussi avoir une pertinence avec votre blog. Plus la pertinence est grande avec votre blog, plus votre classement s’en trouvera amélioré.

Une fois de plus, vous pourrez constater que la pertinence est également importante lorsqu’il s’agit de l’optimisation de votre site, que ce soit en optimisation « on page » (directement dans la page) ou « off page » (les rétro-liens)

L’optimisation on-page regroupe des facteurs comme le codage, les titres de page, en-têtes, le texte ALT des images, les tags etc… En quelques mots, cette partie de SEO est principalement basée sur le formatage et la conception de votre page web pour garantir que votre page est « Search Engine Friendly« .

L’optimisation off page est basée sur des facteurs tels que le nom de domaine riche en mots-clés, l’architecture et la hiérarchie de votre site. Le facteur le plus important off page est la popularité des liens, ou plutôt la qualité de vos rétro-liens. Quand l’on dit qualité des rétro-liens, il serait mieux de dire pertinence des rétro-liens.

Voici une règle d’optimisation dont nous devrions tenter de nous approcher afin d’avoir la meilleur optimisation possible.

20% pour l’optimisation des pages (rendez votre mise en page et votre codage SEO Friendly)
60% pour l’optimisation off-page (popularité des rétro-liensliens et principalement pertinence des liens)
20% pour le nom de domaine (il doit être riche en mots clés si vous voulez une pièce de ces « 20% »)

Il arrive souvent que des webmasters débutants pensent qu’il faut avoir un grand nombre de rétro-liens, peut importe la provenance. Cette erreur peut leur être fatale, car leurs concurrents vont passer devant eux dans les résultats, en n’ayant de 10 rétro-liens pertinents et de qualités alors qu’avec 100 rétro-liens, ils se pensaient au dessus du lot.

Evitez ce genre d’erreur ne pourra qu’être bénéfique à votre blog. N’oubliez pas que Google aime la diversité des liens, ce qui signifie que vos rétro-liens doivent venir de différents sites et pas seulement de 2 ou 3, comme c’est malheureusement souvent le cas.

Il reste encore plein de choses à dire, mais il me paraissait important d’expliquer ces processus dans le détail, afin que tout le monde puisse suivre par la suite.

Image by Extra Ketchup via Flickr

Une fois de temps en temps quelqu’un écrit et s’interroge sur l’importance des tags dans les blogs.

Les moteurs de recherche se focalisant davantage sur le contenu proprement dit et son unicité, il faut se tourner du côté de l’indexation des réseaux sociaux, afin d’avoir une vue plus complète de ce que peuvent vous apporter les tags, et comment ils peuvent devenir vos connexions, s’ils sont choisis avec pertinence.

D’un point de vue simplfiés, les tags sont sensiblement identiques aux mots clés. La plupart des réseaux sociaux, et des annuaires, ont des catégories générales afin de soumettre les billets, mais elles permettent aussi d’ajouter des clés secondaires afin de permettre un un examen plus approfondi de chaque document que vous soumettez, et c’est à ce moment précis que les tags entre en jeu.

En fait, lorsque vous placez vos tags dans votre blog, vous indiquez aux moteurs de recherche et aux réseaux sociaux, que votre contenu est également pertinent dans les différentes catégories que vous indiquez.

Ainsi, tout comme pour les mots clés, il vous faut tenir compte des recherches faites par les utilisateurs et des tags de vos concurrents, afin pour choisir les tags les plus appropriés à faire ressortir vos billets dans les résultats des recherches.

Aussi, si vous commencez par effectuer une recherche de mots clés, avant même l’écriture de vos billets, vous aurez un meilleur aperçu de ce que les utilisateurs recherchent, et une fois vos billets indexés, vous récolterez les fruits semés avec vos tags, tout en ayant un minimum de compétition.

Assurez-vous simplement que vos tags soient toujours pertinents pour votre contenu!

Les réseaux sociaux acceptent n’importe quels tags, même s’ils n’ont aucun rapport avec le contenu posté.Etant fondamentalement, des conteneurs, et n’ayant pas d’algorithme pour déterminer la pertinence, le principal objectif des réseaux sociaux est d’entamer le débat.

Les moteurs de recherche, pour leur part, sont  basés sur la pertinence, et leurs systèmes sont conçus pour fournir un contenu pertinent à chaque requête. Donc, si quelqu’un recherche, des « tomates vertes », ils veulent uniquement obtenir la liste des pages se référant aux tomates vertes.

Votre seule préoccupation est de garder à l’esprit le résultat que vous souhaitez atteindre. Cela signifie que, quelle que soit la façon dont les réseaux sociaux traitent les tags, vous ne devez insérer que les tags les plus en rapport avec le contenu de votre billet.

Les moteurs de recherche s’occuperont du reste.

Image via Wikipedia

Par défault, WordPress représente les urls des blogs avec une série de « point d’interrogation » et de « égal »

Par exemple si vous avez une page « A Propos » en second position dans votre menu, le lien vers la page sera du style http://www.votredomaine.fr/?page_id=2 ce qui n’est pas très parlant pour un visiteur, ni très utile en terme d’optimisation pour les moteurs de recherche.

En utilisant la bonne structure dans vos permaliens, vous allez pouvoir inclure des mots clé dans les titres de vos billets, ce qui aura pour effet d’améliorer votre position dans les moteurs de recherche, ainsi que d’en accroître la lisibilité pour vos visiteurs.

Afin de changer la structure de vos permaliens, il vous faut vous connecter à WordPress, puis dans le menu, à gauche de l’écran, choissez Réglages, puis Permaliens.

Sélectionnez l’option Date et Titre ou Mois et Titre, vous verrez apparaître dans Structure personnalisée : /%year%/%monthnum%/%postname%/ (pour l’option Date et titre) ou alors /%year%/%monthnum%/%postname%/ (pour le choix Mois et Titre).

Supprimez tout ce qui se trouve avant /%postname%/ et cliquez sur « Enregistrez les modifications »
A présent retourner à votre blog, rafraichissez l’affichage, en appuyant sur la touche F5 de votre clavier.

Vous êtes passés de http://www.votredomaine.fr/?page_id=2 à la nouvelle structure http://www.votredomaine.fr/?a_propos pour votre page A propos, et pour toutes les autres pages de votre site.

Voici donc la structure de permalien que je vous recommande, et qui est en place sur ce blog.

Un truc de plus dans votre besace afin d’améliorer votre blog et le rendre plus visible.

Image by smemon87 via Flickr