Een XML-sitemap lijst de URL’s van een site op om de crawlers van zoekmachines te begeleiden. De rol lijkt eenvoudig, maar de kwaliteit van dit bestand heeft directe invloed op de snelheid en volledigheid van de indexering. Welke praktijken scheiden een goed onderhouden sitemap van een standaard gegenereerd bestand dat nooit is gecontroleerd?
Tags van de XML-sitemap: wat crawlers daadwerkelijk benutten
De meeste CMS’en genereren automatisch een sitemap, met vier tags per URL. Niet alle hebben hetzelfde gewicht voor Google.
Zie ook : Ontdek hoe u eenvoudig kunt navigeren met de sitemap van Citizens News
| Tag | Gedeclareerde rol | Verwerking door Google |
|---|---|---|
| <loc> | Volledige URL van de pagina | Enige verplichte tag, systematisch gebruikt door Googlebot |
| <lastmod> | Datum van laatste wijziging | Wordt alleen in overweging genomen als de datum een echte wijziging van de inhoud weerspiegelt |
| <changefreq> | Geschatte wijzigingsfrequentie | Wordt al jaren door Google genegeerd |
| <priority> | Relatieve prioriteit tussen pagina’s van de site | Wordt door Google genegeerd |
Twee van de vier tags hebben dus geen effect op de Google-indexering. Het behouden ervan vormt geen technisch probleem, maar alleen <loc> en <lastmod> verdienen echte aandacht.
Op de homepage van Essentium zien we een gesegmenteerde sitemap die deze logica van sorteren op type inhoud illustreert, een formaat dat het diagnosticeren in Google Search Console vergemakkelijkt.
Zie ook : Hoe u de creatie van uw professionele website met Cyber Vista kunt laten slagen
Betrouwbare lastmod of decoratieve lastmod: het verschil dat de indexering verandert
De tag <lastmod> wordt vaak verkeerd begrepen. Veel sites werken deze automatisch bij bij elke regeneratie van de sitemap, zelfs zonder wijziging van de inhoud van de pagina. Deze praktijk maakt het signaal nutteloos.
Google behandelt <lastmod> als een versheidsignaal, op voorwaarde dat de datum eerlijk is. Een pagina waarvan de tekst, afbeeldingen of gestructureerde gegevens niet zijn veranderd, mag geen nieuwe datum ontvangen.
De inzet is concreet: wanneer Googlebot systematisch recente <lastmod>-data detecteert zonder echte veranderingen, negeert het uiteindelijk deze tag voor de hele site. De sitemap verliest dan zijn vermogen om echte updates te signaleren, die rechtvaardigen dat er snel opnieuw gecrawld wordt.
- Werk <lastmod> alleen bij na een substantiële wijziging van de inhoud (herwerkte tekst, nieuwe alinea, toegevoegd media)
- Verwar technische updates (wijziging van template, toevoeging van een script) niet met inhoudsupdates
- Controleer regelmatig de consistentie tussen de <lastmod>-data en de werkelijke wijzigingsdata van de pagina’s
Een site die deze discipline respecteert, geeft Googlebot een bruikbaar signaal. Daarentegen stuurt een site die elke week al zijn data zonder reden bij, ruis.
Segmenteer je XML-sitemap op type inhoud
Een enkel bestand dat alle URL’s opsomt, werkt voor een kleine site. Voor meer dan een paar honderd pagina’s, wordt segmentatie per URL-familie een stuurmechanisme.
Het principe is om meerdere sitemap-bestanden te creëren die zijn gegroepeerd in een index (sitemapindex): een bestand voor statische pagina’s, een voor blogartikelen, een voor productbladen, een voor afbeeldingen, een voor video’s. Elk bestand wordt gedeclareerd in een sitemapindex die wordt verwezen in de robots.txt.
Het belang beperkt zich niet tot organisatie. In Google Search Console kan de indexeringsdekking worden gefilterd op ingediende sitemap. Als een bestand dat is gewijd aan productbladen een abnormaal laag indexeringspercentage vertoont, is de diagnose onmiddellijk: het probleem ligt bij deze URL-familie, niet elders.
Deze aanpak maakt het ook mogelijk om snel weeskind-URL’s of inhoud te identificeren die door het CMS is gegenereerd zonder toezicht (tagpagina’s, archieven per datum, geparametriseerde URL’s).
Canonieke URL’s en uitgesloten pagina’s: maak de sitemap schoon voor betere indexering
Een XML-sitemap die vervuild is met niet-indexeerbare URL’s verspilt het crawlbudget. Elke URL in de sitemap moet een status 200 retourneren en canoniek zijn.
De URL’s die systematisch moeten worden uitgesloten:
- Pagina’s met een 301- of 302-omleiding (de bestemmings-URL is voldoende)
- Pagina’s met een
noindex-tag (rechtstreeks tegenstrijdig met de aanwezigheid in de sitemap) - Geparametriseerde URL’s die bestaande inhoud dupliceren (filters, sorteringen, niet-canonieke pagineringen)
- Pagina’s van lage waarde die automatisch zijn gegenereerd (archieven per datum, lege tagpagina’s)
Google verduidelijkt het in zijn documentatie: een sitemap mag alleen URL’s bevatten die de site geïndexeerd wil zien. Het opnemen van geblokkeerde of omgeleide URL’s verhindert de indexering van de goede pagina’s niet, maar verstoort de signalen die naar de crawlers worden gestuurd en bemoeilijkt de opvolging in Search Console.
Een kwartaalcontrole van de sitemap, gecombineerd met de dekkingsrapporten, maakt het mogelijk om inconsistenties te detecteren voordat ze zich ophopen. Crawlingtools reproduceren het pad van Googlebot en signaleren de afwijkingen tussen de gedeclareerde sitemap en de werkelijke toestand van de URL’s.
Dien de XML-sitemap in bij zoekmachines
Een schone sitemap genereren is niet genoeg. Hij moet worden gedeclareerd zodat de zoekmachines hem kunnen vinden zonder afhankelijk te zijn van de interne linkstructuur.
Twee methoden voor declaratie bestaan naast elkaar. De eerste gaat via het robots.txt-bestand, waar een regel Sitemap: https://example.com/sitemap.xml de locatie van het bestand aangeeft aan elke robot die het robots.txt raadpleegt. De tweede gaat via directe indiening in Google Search Console of Bing Webmaster Tools, wat bovendien de mogelijkheid biedt om verwerkingsfouten te volgen.
Het declareren van de sitemap in de robots.txt en in Search Console blijft de aanbevolen combinatie. De robots.txt dekt alle zoekmachines, terwijl Search Console gedetailleerde feedback biedt over ontdekte, geïndexeerde of uitgesloten URL’s.
Na elke grote update van de site (migratie, herstructurering, massale toevoeging van pagina’s) versnelt een nieuwe indiening in Search Console de verwerking van de wijzigingen.
De XML-sitemap verbetert de positie van een pagina niet. Hij garandeert dat de pagina’s die geïndexeerd moeten worden, daadwerkelijk binnen een redelijke termijn worden ontdekt, met betrouwbare metadata. Het verschil zit in de zorgvuldigheid van het onderhoud, niet in het simpele bestaan van het bestand.