Wat is een websitecrawler?

“Crawlers” of “spiders” zijn programma’s die zoekmachines uitsturen om websites te verkennen, te analyseren en te indexeren. De bekendste webcrawlers bij ons zijn Googlebot (Google), Bingbot (Bing) en Slurp Bot (Yahoo).

Wat is een websitecrawler? Read More »