Skip to content
#
Wiki
<

Crawler / Suchmaschinenbot

/>

Crawler - Die stillen Arbeiter hinter den großen Suchmaschinen

Eine Einführung in Web-Spiders und Suchmaschinenbots: Wie funktionieren sie?

Ein Crawler ist ein automatischagierendes Programm, dass das Internet nach Webseiten durchsucht. Diese Suchroboter werden beispielsweise von Suchmaschinen wie Google oder Bing verwendet, um die für ihre Suchergebnisse die passenden Seiten zu finden. Suchroboter „besuchen“ Ihre Webseite in regelmäßigen Abständen, abhängig davon welche Art von Inhalt Sie bereitstellen.
Eine Seite mit News und Nachrichten wird logischerweise öfters von Suchrobotern besucht, als das bei einer Informationsseite zum Thema Weinanbau der Fall ist.
Diese Suchmaschinenroboter oder auch Bots untersuchen Ihre Webseite und bewerten den Inhalt, den Aufbau und die Struktur, und viele weitere Faktoren (vgl. Rankingfaktoren). Dieser Faktoren werden in die Berechnung Ihres Rankings mit einbezogen und ergeben in Summe die Platzierung Ihrer Seite in den Suchergebnissen.

Hier finden Sie die gesamte Übersicht über Google-Roboter und -Fetcher: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=de