Conseils importants pour l'indexation

Le temps est un atout important et toujours serré. Même le Googlebot n'a qu'un temps limité et donc un budget d'exploration. Toutefois, comme le bot décide d’inclure votre site Web dans l’index de Google, vous devez le lui faciliter le plus possible. Nous vous donnerons aujourd’hui quelques conseils importants sur la meilleure indexation du contenu de votre moteur de recherche et vous montrerons comment nettoyer votre page pour que Google puisse indexer votre page plus facilement.

Votre site web comme une maison sur la carte

Si vous comparez Internet à une grande carte lorsqu'un domaine correspond à une maison construite sur cette carte, les sous-pages de ce domaine sont identiques aux pièces ou aux étages d'une maison. Googlebot est un visiteur de votre maison dans ce monde. Plus vous avez de portes et mieux votre site Web est structuré, plus ce visiteur peut facilement rechercher du contenu sur votre site et l'enregistrer pour une visite ultérieure. Parce que c'est l'une des tâches principales de Googlebots: suivre les URL et enregistrer les URL.

Si Googlebot ne peut pas indexer votre site Web, il n'y aura pas de lien vers vos pages dans les SERPs de Google. Cela signifie que vous ne pouvez pas trouver votre page avec Google. Même si Googlebot rencontre des pages orphelines ou que vos sous-pages renvoient des codes d’état HTTP incorrects, Googlebot peut ne pas envoyer ces URL à l’index. Dans les cas extrêmes, Googlebot n'explorera plus ces pages.

Lorsque Googlebot visite votre site Web

Une des premières étapes conduit le Googlebot au fichier appelé robots.txt. Dans ce fichier, vous indiquez quelles zones de votre site Web Googlebot peuvent ou non visiter. Ensuite, vous déposez ce fichier sur votre site Web, par exemple. donc www.meineseite.de/robots.txt. Comment faire un fichier robots.txt, vous pouvez le lire ici dans le wiki de SEO Expertise.

Le fichier robots.txt doit également contenir l'URL de votre plan Sitemap. Il s’agit du fichier dans lequel vous pouvez répertorier toutes les URL de votre site Web lisibles par machine de Googlebot. Par conséquent, à l'étape suivante, nous allons vous montrer comment créer et utiliser un sitemap XML.

Google montre ce que vous avez: comment envoyer un sitemap XML

Pour que Googlebot indexe toutes vos pages importantes, il est préférable d’utiliser un plan du site sans défaut. Vous y transférez toutes les URL de votre site Web.

Un sitemap XML en tant que document lisible par une machine doit contenir les éléments suivants:

Figure 1: Balises obligatoires pour le sitemap XML

Outre les balises obligatoires, votre sitemap peut également contenir d'autres balises.

• Ici, vous pouvez spécifier au format AAAA-MM-JJThh: mmTZD, lors de la dernière modification du plan Sitemap.
• Cela donnera à Googlebot une indication de la fréquence de modification du plan du site. Les valeurs possibles sont: toujours (la page changera chaque fois que vous y accéderez), toutes les heures (Par heure), tous les jours (Daily), hebdomadaire (Hebdomadaire), mensuel (Mensuel) annuel (Annuellement) jamais (jamais, utilisable pour les URL qui sont dans l'archive). Vous ne devez utiliser cette balise que si vous pouvez la faire correspondre à n’importe quelle URL. Cela devrait montrer au robot que le contenu change et qu'il visite la page plus souvent. Il ne serait pas logique d’utiliser la balise "changefreq always" pour toutes les URL de votre site Web.
• Cette balise vous permet de hiérarchiser vos URL. La valeur 1.0 correspond à la priorité la plus élevée et 0.1 à la priorité la plus basse.

Important: L'utilisation des balises Fréquence de changement et Priorité n'affectera pas le classement de votre site Web. Ils servent uniquement à contrôler plus efficacement le travail de Googlebots.

Jusqu'ici la théorie. Maintenant, il faut pratiquer: créer le plan du site.

Bien entendu, pour la plupart des sites Web, la création manuelle d'un tel fichier serait une tâche extrêmement longue. C'est pourquoi il existe des outils correspondants sur le Web que vous pouvez trouver ici:

Certains CMS ont déjà une fonctionnalité qui vous permet de créer un sitemap XML par clic. Bien sûr, vous pouvez aussi les utiliser.

Ce que vous devriez rechercher dans votre sitemap

Si vous indiquez à Google les URL de votre site Web via le plan du site, vous devez faire attention à quelques points, afin qu'aucune erreur ne se produise et que le plan du site ne puisse être lu correctement. Les générateurs de sitemaps couramment utilisés ou votre CMS généreront des sitemaps corrects. Néanmoins, vous devriez alors vérifier les aspects suivants de votre dossier.

Liste de contrôle pour la création correcte d'un sitemap:

• Le codage du sitemap doit toujours être au format UTF-8.
• Les trémas et les caractères spéciaux dans les URL doivent être convertis en codes d'échappement. L'URL www.meineseite.de/büro sera répertorié sous le nom www.mysite.com/b%FCro dans le plan du site.
• Les URL doivent avoir une syntaxe uniforme. Si votre page est principalement accessible via http://www.mysite.com, il ne devrait pas y avoir de sous-pages dans le sitemap au format http://myeseite.de ou https://www.myeseite.de.
• Il ne doit y avoir aucun ID de session dans les URL soumises dans le plan Sitemap. Ces identifiants sont généralement ajoutés à l'URL réelle pour identifier de manière unique les utilisateurs lors de leur visite.
• Si votre page est disponible dans plusieurs langues, indiquez-le dans la balise Sitemap by hreflang.

exemple:

Vous avez maintenant les bases pour créer un plan du site. Toutefois, nous aimerions attirer votre attention sur deux autres formulaires spéciaux: les plans Sitemap qui s’écartent de la norme.

Cas particuliers: plans Sitemap pour vidéos, images, sites Web mobiles ou actualités

À l'aide du plan Sitemap XML, vous pouvez non seulement répertorier les URL des sous-pages de votre site Web, mais également des liens vers des vidéos, des images, des URL de mobile ou des actualités. Plus important encore, vous marquez ces types de contenu dans la balise du plan du site respectif.

Figure 2: Cas spéciaux pour le sitemap

Si votre site Web contient de nombreuses images, nous vous recommandons de créer également un sitemap pour l’image. La même chose s'applique aux vidéos. Un sitemap pour les actualités n’est important que si vous souhaitez apparaître dans Google Actualités avec votre site Web. Pour être éligible au programme Google Actualités, des conditions particulières s'appliquent. Vous les trouverez ici.

Passons au point suivant: création de plans Sitemap pour de très grandes pages Web.

Sitemaps fractionnés pour les grands sites Web

Si vous souhaitez répertorier un grand nombre d'URL dans un plan Sitemap, il est recommandé de les diviser en plusieurs petits plans Sitemap. Fondamentalement, chaque sitemap doit faire moins de 50 mégaoctets et pas plus de 50 000 URL.

Si vous avez plusieurs sitemaps, il est préférable de créer un fichier d'index Sitemaps à partager avec Googlebot. Cela ressemble à ceci pour trois sitemaps:

Il est important que le fichier central soit fourni avec la balise sitemapindex. En outre, vous devez indiquer chaque jour où vous avez enregistré le plan du site correspondant. En option, il s'agit également de la dernière modification des fichiers Sitemap.

Maintenant, vous avez rencontré presque tous les scénarios. Passons maintenant à l'étape pratique: soumettre le plan du site.

Comment envoyer votre plan Sitemap à la console de recherche Google

Tout d’abord, sauvegardez votre sitemap, vos sitemaps ou votre fichier d’index sur votre serveur afin de pouvoir les récupérer via une URL fixe. Copiez ces URL.

Connectez-vous ensuite à Google Search Console.

Si vous n'avez pas encore utilisé de plan Sitemap, cliquez sur "Aucun plan Sitemap" dans le volet de droite du tableau de bord de la console de recherche.

Figure 3: Mettre en place des sitemaps

Cliquez sur le bouton rouge "Ajouter / tester un plan du site" à la page suivante.

Entrez ensuite le chemin d'accès au fichier Sitemap stocké.

Si vous souhaitez commencer par tester votre sitemap pour détecter les erreurs, cliquez sur "Tester le sitemap". Ensuite, vous recevrez une évaluation du fichier avec des informations sur les erreurs possibles, sans que le fichier soit transféré à Googlebot.

Cela pourrait alors u.a. ressembler à ceci:

Figure 4: Aperçu des erreurs Sitemap

Si tout est correct, vous compléterez votre sitemap.

Important: Placez également l'URL du sitemap dans votre fichier robots.txt afin que Googlebot puisse le récupérer avant d'explorer votre page.

A quoi peut ressembler un fichier robots.txt avec une référence au plan du site, vous pouvez voir ici:

Il est important que votre sitemap soit toujours à jour. Mettez toujours le fichier XML à jour chaque fois que les URL de votre page ont été modifiées ou que de nouvelles URL ont été ajoutées. Incidemment, le principe de rapidité s’applique également à votre site. Dans la section suivante, nous allons vous montrer comment nettoyer votre page en prenant soin des pages orphelines et des 404 pages d'erreur.

Nettoyage régulier

Si vous affichez toutes vos URL dans Googlebot avec le plan du site, vous devez également vous assurer que leur contenu est toujours à jour et disponible. En effet, si Googlebot rencontre 404 pages d'erreur plus souvent, vos sous-pages risquent de ne plus être indexées par les moteurs de recherche. Avec les pages orphelines, il peut arriver que le bot ne les trouve pas et ne puisse donc pas les transmettre à l'index.

Trouver 404 pages

Lorsqu'un utilisateur clique sur une URL de votre page qui n'existe plus, votre serveur émet généralement un code d'état 404 (introuvable). Ceci est insatisfaisant pour chaque visiteur et votre référencement. Googlebot gaspille également des ressources inutiles en visitant ces pages. Par conséquent, essayez d'éliminer ces pages d'erreur 404.

Procédez comme suit.

Avec la console de recherche Google, si vous cliquez sur Erreurs d'exploration, vous trouverez toutes les erreurs 404 dans la section Analyse.

Figure 5: Trouver 404 pages d'erreur

Même avec SEO Expertise, vous pouvez identifier les erreurs 404. Dans le module Réussite de site Web, cliquez sur "Indexabilité", puis sur "Codes d'état".

Figure 6: Trouver les 404 erreurs via les codes d'état

Vérifiez ces pages maintenant.

• Le contenu de "l'ancienne" URL est-il disponible sur une "nouvelle" URL? Ensuite, vous pouvez facilement rediriger l'ancienne URL vers la nouvelle via 301-redirect. Théoriquement, vous pouvez également effectuer cette étape lors de la redirection vers des contenus similaires de votre domaine.
• Ne pouvez-vous pas rediriger les URL? Ensuite, vous devriez concevoir une page d'erreur attrayante. Donnez à l'utilisateur la possibilité de rechercher sur votre site ou donnez-lui des recommandations sur des sujets ou sous-pages similaires.

Pages orphelines

Les pages orphelines peuvent interrompre l’exploration de Googlebot sur votre site Web. Parce que ces pages sont des pages Web qui ne sont ni accessibles via des liens entrants, ni reliées par des liens internes au reste de votre site Web.

Trouver des pages orphelines est un peu compliqué. Pour ce faire, les webmasters doivent créer une liste de toutes les URL de la page Web et les comparer aux URL réellement explorées.

Etant donné que les robots d'exploration ne trouvent pas de pages orphelines, vous ne pouvez filtrer les pages non analysées et donc orphelines en juxtaposant votre liste avec celle-ci.

Il existe différentes raisons pour les pages orphelines. Si vous trouvez de telles sous-pages, qui proviennent de liens internes défectueux, vous devez corriger les liens internes le plus rapidement possible.

Si vous trouvez des pages orphelines dont le contenu est également nul ou incorrect, vous pouvez les supprimer.

Lors de la correction des pages d'erreur 404 et après la suppression des pages orphelines, vous devez mettre à jour votre plan Sitemap. En vérifiant l'index Google, vous vous assurez que l'indexation de votre site Web est optimisée et que seul le contenu actif entre dans l'index Google.

Si vous optimisez l'indexation de vos pages Web en nettoyant et en soumettant un plan Sitemap, il existe encore une autre étape importante, souvent oubliée: la surveillance. Nous arrivons à cet aspect dans la dernière section.

Surveillance permanente

Il est important de savoir comment Google indexe votre page. Vous pouvez ainsi réagir rapidement aux erreurs et éviter que votre page ne perde des classements ou des pièces non indexées.

Pour voir l'état de vos pages indexées, vous pouvez utiliser Google Search Console.

Connectez-vous à votre compte Google, puis cliquez sur l'élément de menu "Index Google" situé à gauche, puis sur "Statut d'indexation". Vous obtiendrez ensuite un aperçu de l'historique d'indexation Google de votre site Web.

Figure 7: état de l'index

Si vous découvrez ici que le nombre de pages indexées diminue rapidement, même si vous produisez toujours de nouveaux contenus, et donc des pages, vous devriez aller au fond des choses.

Bien que Google ne garantisse pas l'indexation des URL envoyées via le plan Sitemap, vous devez également surveiller la proportion de pages soumises par rapport à celles indexées. Si le nombre d'URL envoyées est considérablement plus élevé que le nombre réellement indexé, des erreurs sur vos pages peuvent également empêcher Google d'indexer.

Connectez-vous à la console de recherche. Ensuite, vous voyez déjà dans la partie supérieure droite "Plan du site" le nombre de pages soumises qui ont été effectivement indexées. Cliquez sur "Plan du site" pour obtenir un aperçu des plans du site que vous avez envoyés.

Figure 8: Vue d'ensemble des sitemaps soumis

Les indices suivants aident au dépannage:

1. Vérifiez votre fichier robots.txt. Les zones de page importantes sont-elles exclues ici?
2. Vérifiez l'utilisation correcte des balises Canonical. Est-ce que vos tags Canonical font référence à la bonne page? Utilisez-vous la même syntaxe?
3. Vérifiez si vous utilisez correctement la balise noindex. Excluez-vous éventuellement des sous-pages de votre site Web?

De manière sporadique, vous pouvez également consulter une requête de site sur la recherche Google, pour savoir si des pages individuelles de vous figurent dans l'index.

Dans la barre de recherche, vous entrez ensuite: site: www.meineseite.de/unterseite Après avoir cliqué sur "Rechercher", votre page apparaîtra avec un extrait de code dans les SERP, si elle est indexée.

Il est important que vous vérifiiez régulièrement le statut d'indexation de votre site après avoir apporté des modifications au site ou ajouté de nouvelles URL. Toutefois, même si vous apportez des modifications importantes au site Web, il est important de créer un plan de surveillance et de regarder Weekly dans la console de recherche.

SEO Expertise est également utile pour surveiller votre site. Si vous allez dans le menu "Indexabilité" puis cliquez sur "Robots.txt", vous obtiendrez immédiatement toutes les sous-pages de votre domaine, qui sont bloquées par le fichier robots.txt.

Figure 9: Fonctionnalité SEO Expertise Robots.txt

Vous pouvez également vérifier si des sous-pages individuelles de votre site Web sont également répertoriées dans votre fichier de sitemap. Pour ce faire, cliquez sur le sous-élément "Dans les plans Sitemap" dans le rapport "Plan du site".

Figure 10: Vérifier les bases individuelles avec SEO Expertise

conclusion

Aujourd'hui, nous vous avons montré comment optimiser l'indexation de votre site Web à l'aide du plan du site et du rangement. Nous avons expliqué tous les aspects importants pour la création du plan du site. Nous vous avons également montré comment trouver 404 pages d'erreur et pages orphelines, et pourquoi il est important de les modifier.

Rappelez-vous toujours qu'un plan du site correct n'est pas une garantie pour un bon classement. Vous simplifiez simplement le travail de Googlebot et pouvez gérer de manière optimale son budget d'analyse. Cela facilite l'indexation et crée ainsi les conditions permettant à votre page d'obtenir un bon classement. Lors du nettoyage de votre site, vous pouvez non seulement gagner du temps pour le bot, mais également lui permettre de créer de la valeur pour vos utilisateurs et de les aider à trouver ce qu'ils recherchent. Et c'est l'objectif principal de l'optimisation des moteurs de recherche. En ce sens: Bonne optimisation!