LEESVOER

Wat is een websitecrawler?

“Crawlers” of “spiders” zijn programma’s die zoekmachines uitsturen om websites te verkennen, te analyseren en te indexeren. De bekendste webcrawlers bij ons zijn Googlebot (Google), Bingbot (Bing) en Slurp Bot (Yahoo).

Lees meer >