Da dieser Blog dazu dienen soll, nicht IT-Fachleuten und Einsteigern wissen zu vermitteln, möchte ich hier drei Begriffe erklären die bei der Suchmaschinenoptimierung immer wieder auftauchen. Spider, Crawler und Robots.
Was ist ein Spider, Crawler oder Robot?
Ein Spider ist eine Software welche automatisch das Internet durchsucht und Internetseiten analysiert. Crawler und Robot sind nur andere Bezeichnungen, meinen aber das gleiche wie Spider. In unserem Fall wird diese Software von einer Suchmaschine geschickt. Der Spider hat zwei Hauptgaufgaben.
1. Webseiten finden die noch nicht in der Suchmaschine gespeichert sind
2. Webseiten finden deren Inhalt sich geändert hat.
Zu 1:
Der Spider findet eine Webseite die noch nicht in der Suchmaschine gespeichert ist. Er analysiert diese Webseite und dann wird die Webseite in der Datenbank der Suchmaschine gespeichert. Erst jetzt kann die neu gespeicherte Webseite überhaupt in der Suchmaschine gefunden werden.
Zu 2:
Angenommen Sie haben wegen Onpageoptimierung ihre Webseite verändert, damit diese in der Suchmaschine besser gefunden wird. Nun kann Ihre Webseite erst dann besser in der Suchmaschine positioniert werden, wenn die Suchmaschine die Änderung analysiert hat. Der Spider / Crawler / Robot von der Suchmaschine muss also kommen und Ihre Webseite neu analysieren. Erst dann kann Ihre Webseite eine besser Position in der Suchmaschine erlangen.
Ein Spider / Crawler / Robot ist also eine Software die im Auftrag einer Suchmaschine Webseiten analysiert.
Wie Sie dem Spider „Anweisungen“ geben können erfahren Sie im Artikel
„Was sind Meta-Tags und warum sind sie für die Suchmaschinenoptimierung wichtig?„