Was ist ein Spider oder Crawler oder Robot?

Da dieser Blog dazu dienen soll, nicht IT-Fachleuten und Einsteigern wissen zu vermitteln, möchte ich hier drei Begriffe erklären die bei der Suchmaschinenoptimierung immer wieder auftauchen. Spider, Crawler und Robots.

Was ist ein Spider, Crawler oder Robot?

Ein Spider ist eine Software welche automatisch das Internet durchsucht und Internetseiten analysiert. Crawler und Robot sind nur andere Bezeichnungen, meinen aber das gleiche wie Spider. In unserem Fall wird diese Software von einer Suchmaschine geschickt. Der Spider hat zwei Hauptgaufgaben.
1. Webseiten finden die noch nicht in der Suchmaschine gespeichert sind
2. Webseiten finden deren Inhalt sich geändert hat.

Zu 1:
Der Spider findet eine Webseite die noch nicht in der Suchmaschine gespeichert ist. Er analysiert diese Webseite und dann wird die Webseite in der Datenbank der Suchmaschine gespeichert. Erst jetzt kann die neu gespeicherte Webseite überhaupt in der Suchmaschine gefunden werden.

Zu 2:
Angenommen Sie haben wegen Onpageoptimierung ihre Webseite verändert, damit diese in der Suchmaschine besser gefunden wird. Nun kann Ihre Webseite erst dann besser in der Suchmaschine positioniert werden, wenn die Suchmaschine die Änderung analysiert hat. Der Spider / Crawler / Robot von der Suchmaschine muss also kommen und Ihre Webseite neu analysieren. Erst dann kann Ihre Webseite eine besser Position in der Suchmaschine erlangen.

Ein Spider / Crawler / Robot ist also eine Software die im Auftrag einer Suchmaschine Webseiten analysiert.

Wie Sie dem Spider „Anweisungen“ geben können erfahren Sie im Artikel
Was sind Meta-Tags und warum sind sie für die Suchmaschinenoptimierung wichtig?

Wie funktionieren Suchmaschinen?

Bevor man Webseiten für Suchmaschinen optimiert, sollte man, wenigstens ungefähr, wissen wie Suchmaschinen funktionieren. Die Entwickler von Suchmaschinen verraten natürlich nicht wie die Suchmaschinen funktionieren, sonst würde jeder seine Webseite so manipulieren, dass sie in der Suchmaschine ganz vorne ist. Deswegen kann man nicht 100%ig sagen, wie Suchmaschinen funktionieren, aber einiges ist bekannt und anderes kann durch intelligentes Experimentieren raus gefunden werden.

Das die Entwickler von Suchmaschinen keine Interesse haben, dass getrickst werden kann hat einen einfachen Grund: Sie möchten dem Suchenden immer das beste Suchergebnis bieten! Wenn jemand nach einem Pizzadienst sucht und lauter Webseiten von Bäckereien angezeigt bekommt, ist das für den Suchenden sehr unbefriedigend.

Deswegen werden Suchmaschinen immer wieder verbessert und verfeinert um Optimierungstricks zu erkennen und dementsprechend zu bestrafen. Ehrlichkeit wird also von Suchmaschinen belohnt!

Suchmaschinen sind umfangreiche Computerprogramme, mit denen man im Internet suchen kann. Die Suchmaschine hat eine Datenbank in welcher die ganzen Internetseiten gespeichert werden. Diese Datenbank wird Repository genannt.

Mit Hilfe eines Crawlers, der auch Spider oder Robot genannt wird, durchsucht die Suchmaschine das Internet nach Webseiten, die dann im Repository abgelegt werden.

Aus den abgelegten Webseiten im Repository erstellt der „Indexer“(der Indexer ist auch ein Computerprogramm), einen Index. Der Index ist eine Auflistung von Begriffen. Hier wird gespeichert, welcher Begriff auf welcher Internetseite vorkommt. Der Index ist vergleichbar mit einem Stichwortverzeichnis in einem Buch. In einem Stichwortverzeichnis wird hinterlegt, welcher Begriff auf welchen Seiten (es wird die Seitennummer angegeben) vorkommt. Im Index einer Suchmaschine wird hinterlegt, welcher Begriff auf welcher Internetseite vorkommt.

Wenn nun eine Suchanfrage an eine Suchmaschine geschickt wird, schaut diese im Index nach, auf welchen Internetseiten dieser Begriff vorkommt. Dann holt sie sich aus dem Repository Detailinformationen zu jeder Internetseite (z. B. der Titel einer Webseite) und stellt diese im Suchergebnis dar.

Die Frage ist nur, wie kommt die Reihenfolge der aufgelisteten Webseiten zustande?

Die Kriterien für die Reihenfolge der Webseiten im Suchmaschinenergebnis können Sie in den Artikeln Was ist OnPage-Optimierung? und Was ist Offpage-Optimierung? entnehmen. Die Kriterien beider Artikel spielen für die Reihenfolge des Suchmaschinenergebnisses eine Rolle.

Es spielen also mehrere Kriterien eine Rolle, für die Reihenfolge im Suchmaschinenergebnis. Ein Kriterium habe ich allerdings noch nicht erwähnt. Die Aktualität eine Webseite. Genauso wie Sie von einer Tageszeitung erwarten, dass Sie über aktuelle Ereignisse berichtet und nicht über Ereignisse die schon zwei Jahre her sind, so erwarten Sie auch von einer Suchmaschine, dass Sie Ergebnisse liefert, die nicht schon veraltet sind. Wenn eine Suchmaschine merkt, dass eine Webseite regelmäßig aktualisiert wird, schaut sie auch öfters auf diese Webseite, wie wenn eine Webseite nur einmal im Jahr aktualisiert wird.

Mehr Informationen über Suchmaschinenoptimierung(SEO) finden Sie auf nachstehendem Link (meine Geschäftswebseite) .

Suchmaschinenoptimierung(SEO)

Sprechen Sie mit mir! Ich berate und helfe Ihnen sehr gerne!!!