Skip to main content

Diep kruipen

De Googlebot crawlt websites op twee verschillende manieren. Eens slechts oppervlakkig en met het zogenaamde diepe kruipen naar het laagste niveau.

Wat is een diepe kruip?

De deep crawl is, samen met de fresh crawl, een van de twee methoden waarmee Google websites crawlt om ze te evalueren op basis van de verzamelde informatie en ze op basis van deze evaluatie dienovereenkomstig te indexeren. Bij deze crawlmethode crawlt de Googlebot een webpagina volledig. De crawler gebruikt het robots.txt-bestand en de sitemap XML, indien beschikbaar, om de volledige structuur van een website vast te leggen. De voorwaarde voor een volledige crawl is dat elke pagina van het domein toegankelijk is.

Wat zijn de taken van het diepe kruipen?

Google gebruikt de deep crawl om alle toegankelijke subpagina’s van een website te crawlen en ze als onafhankelijke pagina’s in de Google-index op te nemen. Voor website-exploitanten heeft dit het voordeel dat bij het zoeken naar bepaalde zoekwoorden niet alleen de homepage van een webaanwezigheid, maar ook de subpagina’s kunnen worden opgenomen in de organische zoekresultaten(SERP) van de Google-zoekmachine.

Google’s zogenaamde“fresh crawl” daarentegen doorzoekt het internet voortdurend naar nieuwe webpagina’s en inhoud om deze zo snel mogelijk na publicatie in de index te kunnen opnemen. Wegens tijdgebrek wordt het nieuwe crawlen beperkt tot het crawlen van het bovenste niveau van de webpagina. Lagere niveaus worden niet in deze crawls opgenomen en worden niet geïndexeerd.


Heeft u nog vragen?

Neem contact met ons op


Verdere inhoud