De zoekmachine spider is een bot die over het hele web surft. Op een automatisch en systematische manier gaan ze te werk en maken ze een kopie van elke pagina die ze tegenkomen. Later verwerkt Google deze pagina zodat deze in het Google algoritme zit. Op deze manier worden pagina’s geïndexeerd en zijn ze vindbaar binnen Google.
Webcrawler
De zoekmachine spider wordt ook wel een ‘webcrawler’ of ‘webspider’ genoemd. De naam spider komt uit de Engelse taal en betekent spin. Het heeft deze naam gekregen omdat het in feite over het web ‘crawlt’.
Om ervoor te zorgen dat al jouw pagina’s worden geïndexeerd door de zoekmachine spider, is het belangrijk om een XML sitemap te maken. Door een XML sitemap te maken kan de spider ook pagina’s lezen die ‘verstopt’ zitten. Denk bijvoorbeeld aan een pagina die bereikt moet worden na een interactieve handeling. De spider voert geen interactieve handelingen uit en zal deze pagina dus niet indexeren. Als je een pagina juist niet wil indexeren, kan dat ook. Je hoeft simpelweg aan te geven dat een pagina niet geïndexeerd mag worden.