Waarom wordt mijn site niet of traag geindexeerd?

Je wilt natuurlijk knallen met je website, maar dan moet deze wel gevonden worden. Dat begint allemaal met het indexeren van je website. Indexeren wil zeggen dat de zoekmachine de pagina’s (en andere onderdelen) van je website kan bereiken, lezen en een plek kan geven in de zoekresultaten. In deze blog richten wij ons op problemen met de indexatie van je site in Google, maar deze informatie geldt ook voor andere websites. Wordt jouw website niet of traag geindexeerd, dan kost dit je bezoekers. De vraag is: waarom wordt jouw site niet of traag geindexeerd? Daar gaan wij in deze blog op in. Ook geven wij natuurlijk enkele mogelijke oplossingen.

Controleer of jouw website geïndexeerd kan worden

De eerste stap is een hele logische. Toch willen wij hier niet aan voorbij gaan. Je zult nog versteld staan hoe vaak dit fout gaat. Wordt jouw website in zijn geheel niet geïndexeerd (en is hij dus nog niet vindbaar in de zoekmachine), dan begin je met controleren of jouw website wel geïndexeerd kan worden.

Of je website geïndexeerd kan worden, wordt bepaald door het robots.txt bestand. Dit bestandje is bedoeld om zoekmachines te laten weten welke pagina’s wel en niet geïndexeerd mogen worden. Dit gebeurt door middel van eenvoudige code. Er is veel meer te vertellen over de mogelijkheden dan dat wij in deze blog doen, maar wat je moet weten, is dit: zie je “nofollow” en “noindex” staan, dan is het foute boel. Tenzij je (nog) niet wilt dat (bepaalde) pagina’s gevonden gaan worden, natuurlijk.

Met “nofollow” wordt aangegeven dat de zoekmachine links helemaal mag negeren. Met een “noindex” kan de zoekmachine deze pagina’s wel uitlezen, maar zullen de betreffende pagina’s niet worden opgenomen in de zoekresultaten.

Je vraagt je misschien af: waarom zou ik een noindex gebruiken? Deze kan hartstikke handig zijn. Bijvoorbeeld wanneer je nog niet wilt dat pagina’s gevonden worden omdat ze nog niet af zijn. In dat geval heb je de mogelijkheid om rustig te bouwen zonder dat je website verkeerd wordt geïndexeerd of incomplete pagina’s te vroeg vindbaar zijn. Dit brengt ons direct bij een veel voorkomend probleem: veel mensen vergeten namelijk om de noindex uit te schakelen wanneer de website helemaal klaar is. Al je pagina’s zijn af…. maar er gebeurt nog helemaal niets. Dat is omdat je de crawler van de zoekmachine nog steeds expliciet vertelt dat je pagina’s niet in de zoekmachine resultaten mogen worden opgenomen. Check dus altijd eerst of je website indexeerbaar is.

Een goede sitemap maakt het de zoekmachine makkelijk

Dat je website geïndexeerd kan worden, is nog geen garantie voor succes. Het is namelijk aan de zoekmachine zelf om te bepalen hoe pagina’s geïndexeerd gaan worden. De zoekmachine zal proberen om een zo volledig mogelijke “plattegrond” te maken van jouw website. Hiervoor is het belangrijk dat alle pagina’s die geïndexeerd moeten worden ook echt vindbaar zijn. Hoe zorg je hiervoor? Alles begint met en goede sitemap. De sitemap (gebruik voor de zoekmachine altijd een XML sitemap) vertelt de zoekmachine waar al jouw pagina’s te vinden zijn. Zo vergroot je de kans dat al jouw pagina’s worden gevonden. Een 100% garantie is dit echter niet, maar daar komen we dadelijk nog op terug.

Robots.txt en de sitemaps zijn in orde, maar toch nog geen resultaat

Is je website nieuw en weet je zeker dat je Robots.txt en XML sitemaps in orde zijn, dan moet je eventjes geduld hebben. Maar als het goed is wordt je sitemap binnen enkele dagen gelezen. Een essentiele tip: voeg jouw XML sitemaps toe aan Google Search Console. In Search Console kun je namelijk zelf de dekking (welke pagina’s geïndexeerd zijn) bekijken, alsmede belangrijke statistieken en eventuele foutmeldingen. Maak je trouwens gebruik van een WordPress website dan zijn er uitstekende tools om automatisch sitemaps aan te laten maken en in te stellen welke delen van je website wel en niet geïndexeerd mogen worden. De Yoast SEO plugin is hiervan een goed en populair voorbeeld.

Helaas komt het regelmatig voor dat je tot nu toe alles goed hebt gedaan: je pagina’s zijn vindbaar voor de zoekmachine en mogen geïndexeerd worden. En toch wordt je site niet of traag geïndexeerd. Dit kan aan meerdere dingen liggen. Gelukkig is voor alles een oplossing. Onderstaand behandelen wij enkele van de meest voorkomende problemen en geven wij aan wat je kunt doen om ze op te lossen.

Je website heeft te weinig autoriteit

Een niet volledige of trage indexering gebeurt helaas vaak bij nieuwe websites. De reden kan zijn dat je website nog te weinig autoriteit heeft. Dit is een beetje paradoxaal: hoe meer autoriteit je hebt, hoe eenvoudiger je geïndexeerd wordt, maar om geïndexeerd te worden, heb je eerst autoriteit nodig. Een beetje een kip en ei verhaal. Maar waarom is die autoriteit zo belangrijk? Hoe meer autoriteit je website heeft, des te meer belang de zoekmachine hieraan toekent. En hoe vaker deze langs zal komen om nieuwe pagina’s of wijzigingen op bestaande pagina’s te checken. Zo simpel is het.

Om je website direct van meer autoriteit te voorzien, kun je gebruikmaken van linkbuilding. Door te zorgen voor kwalitatieve, hoogwaardige links naar jouw website toe, stijgt de autoriteit van je site. Om de autoriteit van je gehele domein te boosten kun je links naar je homepage laten verwijzen. Wil je specifieke pagina’s van meer autoriteit voorzien, plaats dan relevante links naar deze pagina’s.

Linkbuilding is effectief, maar kost meestal wel geld. Je kunt echter zelf ook de zoekmachine een handje helpen. Door middel van interne linking. Door relevante links van een pagina naar een andere pagina te plaatsen, maak je die pagina niet alleen beter vindbaar voor de zoekmachine; je geeft ook aan dat deze pagina belangrijk is.

Je server is te traag

Een trage server kan funest zijn voor het indexeren van je pagina’s. De spider/crawler van de zoekmachine is best een veeleisend robotje. Wanneer deze je site bezoekt, wil deze snel en zonder problemen je sitemap kunnen uitlezen en pagina’s willen doorlopen. Per bezoek kan de zoekmachine tientallen pagina’s indexeren (of updaten), maar niét wanneer dit te lang duurt. Is je server traag, dan is de kans aanwezig dat de zoekmachine al na een paar pogingen weer verder gaat. Zo kan het ontzettend lang duren voordat al je pagina’s zijn geindexeerd. Check dus of je server snel genoeg is en geen problemen geeft. Wederom is Google Search Console hier je vriend: onder “instellingen” vind je crawlstatistieken. In die statistieken kun je zien wat de reactietijd van je server is. Ook kun je zien hoe veel pagina’s per bezoek doorlopen zijn. Je zult zien dat op momenten dat je server sneller is er ook meer pagina’s worden gecrawld. Vooral prijsvechter hosts staan niet bekend om hun snelheid. Het upgraden van je hosting kan een oplossing zijn.

Je sitemap is veel te groot

In deze blog hebben we het over sites die niet of niet volledig worden geïndexeerd, of waarbij een volledige indexatie heel lang duurt. Is er van het tweede of het derde sprake, dan kan dit komen doordat je sitemap veel te groot is. Er is een aangeraden limiet van maximaal 2.500 pagina’s per sitemap. Maar afhankelijk van diverse factoren kunnen enkele honderden pagina’s soms al te veel zijn.

Probeer je sitemaps efficiënt in te richten. Stop sowieso niet alles in één sitemap, maar zorg voor meerdere sitemaps. Welke je nodig hebt, is afhankelijk van je website. Zo hebben de meeste websites genoeg aan een page sitemap en een post sitemap. In de eerste worden je pagina’s opgenomen, in de tweede je berichten (blogs). Maar webshops kunnen bijvoorbeeld aan nog veel meer sitemaps denken. Denk aan productcategorieën. Probeer alles ook zo in te stellen dat pagina’s of onderdelen die niet interessant of noodzakelijk zijn voor de bezoeker worden overgeslagen.

Er zijn te veel technische fouten op je website

Zoals wij eerder al schreven: de zoekmachine houdt van een snelle, eenvoudig toegankelijke site. Omleidingslussen, tal van doorverwijzingen en vooral 404-foutmeldingen (pagina niet gevonden) kunnen funest zijn voor je indexatie. Draag te allen tijde zorg voor een site zonder technische problemen. Raadpleeg bijvoorbeeld Screaming Frog om de gezondheid van je websitestructuur in beeld te brengen en te verbeteren.

Wordt je site nu nog steeds niet of traag geïndexeerd? Dien handmatige verzoeken in

Uiteindelijk is een robot een robot en geen mens. Je kunt niet redeneren of onderhandelen met een robot. Maar in dit geval is er nog wél iets dat je kunt doen om ervoor te zorgen dat je website beter wordt geïndexeerd. Ook met dit laatste redmiddel heb je geen 100% garantie, maar wel een zeer grote kans op succes. Je kunt namelijk handmatige verzoeken indienen bij de crawler tot het bezoeken van een specifieke pagina.

Wat je óók kunt doen, is prioriteit geven aan je sitemap en de inhoud van je sitemaps. Dit doe je door middel van een puntensysteem tussen 0 en 1, waarbij 0 staat voor de laagste prioriteit en 1 voor de hoogste. Ons advies is om hier voorzichtig mee te zijn omdat dit kan leiden tot ongewenste resultaten. Het is tricky.

Handmatige verzoeken indienen is fool proof. De zoekmachine zal het verzoek vaak inwilligen waarbij je verder de structuur van je sitemap of prioriteiten van het indexeren in het geheel niet overhoop gooit. Een makkelijke eerste stap is de “oplossing valideren”. Google Search Console geeft zelf een overzicht van pagina’s die nog niet geïndexeerd zijn. Interessant hierbij is de categorie “Gevonden, nog niet geïndexeerd”. Dit betekent namelijk dat de zoekmachine de pagina’s wel heeft gezien, maar nog niet in zoekresultaten vindbaar heeft gemaakt. Vaak heeft dit te maken met overbelasting van de server (dus een te trage server op het moment van crawlen). Kies voor “oplossing valideren” om een verzoek in te dienen om deze categorie opnieuw te crawlen. Dit kan voor goede resultaten zorgen. In dit scherm zie je namelijk ook wanneer de laatste poging geweest is, en misschien was dat wel weken of in extreme gevallen zelfs maanden geleden. Wil je individuele pagina’s laten indexeren? Klik dan op de betreffende URL en kies voor “indexering aanvragen”.

In bulk aanvragen of individuele URL’s selecteren voor indexering?

De vraag is wat handiger is: in bulk aanvragen (dus een aanvraag doen voor de hele categorie/lijst) of individuele URL’s selecteren voor indexering. Hier moet je een afweging maken. In bulk aanvragen biedt potentieel het beste en snelste resultaat. Idealiter worden dan namelijk alle pagina’s geïndexeerd. Vergeet alleen niet dat dit in een eerder stadium niet is geluk. Als er verder niets veranderd is en je server nog steeds overbelast raakt, is de kans aanwezig dat het opnieuw niet lukt. Je kunt het uiteraard proberen. Heeft het niet het gewenste resultaat, dan kun je vervolgens individuele URL’s indienen.

Blijkt dat er voor jou essentiële pagina’s nog niet zijn geïndexeerd? Dan is het misschien verstandig om eerst voor deze individuele URL’s een indexering aan te vragen. Zo vergroot je de kans dat je belangrijkste pagina’s snel worden geïndexeerd.