Wat is een

websitecrawler?

Zoekmachines als Google sturen programma’s (crawlers) uit om het wereldwijde web te indexeren. Door links (knooppunten in het web) te volgen, kruipen ze van pagina naar pagina. Van elke pagina maken ze een kopie. Hun zoekmachine leest die kopie en probeert zo het hele internet te rangschikken in zoekresultaten.

FUN FACTS

  • Crawlers zijn verantwoordelijk voor ongeveer 50% van het internetverkeer
  • De bekendste crawlers bij ons zijn Googlebot (Google), Bingbot (Bing) en Slurp Bot (Yahoo)
  • Ongelinkte pagina’s blijven onder de radar van crawlers en dus van Google

Analyseren en indexeren

Als je de crawler laat doen zal hij heel je website uitpluizen: elk woord, elke afbeelding, elke link, elk stukje code … De zoekmachine, bijvoorbeeld Google, gebruikt deze info om je website te analyseren en te indexeren.

Vriendelijke crawlers

Vriendelijke websitecrawlers zijn zoals goede darmbacteriën: je krijgt kippenvel als je eraan denkt, maar je website heeft ze nodig om goed te presteren. Dankzij de informatie die zij verzamelen krijgen zoekmachines een duidelijk beeld van wat je doet en welke problemen je oplost. Die informatie gebruiken ze om zoekers de best mogelijke resultaten voor te schotelen.

Met een no-followtag versper je crawlers de weg

Andersom, als je Google geen duidelijk beeld geeft van wat je doet, zal Google je website niet vertrouwen. En zonder dat vertrouwen verover je natuurlijk geen toppositie in de zoekresultaten.

Kwaadaardige crawlers

Soms zetten zoekmachines crawlers in om gegevens, zoals e-mailadressen, van websites te kopiëren. Die adressen worden dan meestal gebruikt voor spam. Vandaar dat je op het internet soms moet bewijzen dat je geen robot bent voordat je toegang krijgt tot bepaalde gegevens.

Crawlers besturen

SEO-experts kunnen crawlers manipuleren door hen de gewenste informatie aan te reiken. Zo kunnen zij crawlers de weg tonen of juist versperren. Die mogelijkheid kan je creatief inzetten, bijvoorbeeld om naar content te linken waar je niet mee wil geassocieerd worden. Ik deed het met een link in dit artikel over SEO-fouten. Raad jij waar?

LEES MEER ...