Wat is een

websitecrawler?

“Crawlers” of “spiders” zijn programma’s die zoekmachines uitsturen om websites te verkennen, te analyseren en te indexeren. De bekendste webcrawlers bij ons zijn Googlebot (Google), Bingbot (Bing) en Slurp Bot (Yahoo).

Webcrawlers zijn verantwoordelijk voor ongeveer 50% van al het internetverkeer. Door links te volgen, surft een crawler zich een weg doorheen het wereldwijde web, vergelijkbaar met de manier waarop een mens dat zou doen. De crawler kopieert elke pagina en stuurt de gegevens door naar zijn zoekmachine.

Analyseren en indexeren

Als je de crawler laat doen zal hij heel je website uitpluizen: elk woord, elke afbeelding, elke link, elk stukje code … De zoekmachine, bijvoorbeeld Google, gebruikt deze info om je website te analyseren en te indexeren.

Nut

Zodra je pagina is geïndexeerd, kunnen gebruikers jouw website terugvinden in de zoekmachine. Als je pagina niet wordt geïndexeerd, bijvoorbeeld omdat er geen enkele website naar de jouwe linkt, zal Google jouw website nooit vinden.

Vriendelijke crawlers

Vriendelijke websitecrawlers zijn zoals goede darmbacteriën: je krijgt kippenvel als je eraan denkt, maar je website heeft ze nodig om goed te presteren. Dankzij de informatie die zij verzamelen krijgen zoekmachines een duidelijk beeld van wat je doet en welke problemen je oplost. Die informatie gebruiken ze om zoekers de best mogelijke resultaten voor te schotelen.

Met een no-followtag versper je crawlers de weg

Andersom, als je Google geen duidelijk beeld geeft van wat je doet, zal Google je website niet vertrouwen. En zonder dat vertrouwen verover je natuurlijk geen toppositie in de zoekresultaten.

Kwaadaardige crawlers

Soms zetten zoekmachines crawlers in om gegevens, zoals e-mailadressen, van websites te kopiëren. Die adressen worden dan meestal gebruikt voor spam. Vandaar dat je op het internet soms moet bewijzen dat je geen robot bent voordat je toegang krijgt tot bepaalde gegevens.

Crawlers besturen

SEO-experts kunnen crawlers manipuleren door hen de gewenste informatie aan te reiken. Zo kunnen zij crawlers de weg tonen of juist versperren. Die mogelijkheid kan je creatief inzetten, bijvoorbeeld om naar content te linken waar je niet mee wil geassocieerd worden. Ik deed het met een link in dit artikel over SEO-fouten. Raad jij waar?

LEES MEER ...