Crawler - Die stillen Arbeiter hinter den großen Suchmaschinen
Ein Crawler ist ein automatisch–agierendes Programm, dass das Internet nach Webseiten durchsucht. Diese Suchroboter werden beispielsweise von Suchmaschinen wie Google oder Bing verwendet, um die für ihre Suchergebnisse die passenden Seiten zu finden. Suchroboter „besuchen“ Ihre Webseite in regelmäßigen Abständen, abhängig davon welche Art von Inhalt Sie bereitstellen.
Eine Seite mit News und Nachrichten wird logischerweise öfters von Suchrobotern besucht, als das bei einer Informationsseite zum Thema Weinanbau der Fall ist.
Diese Suchmaschinenroboter oder auch Bots untersuchen Ihre Webseite und bewerten den Inhalt, den Aufbau und die Struktur, und viele weitere Faktoren (vgl. Rankingfaktoren). Dieser Faktoren werden in die Berechnung Ihres Rankings mit einbezogen und ergeben in Summe die Platzierung Ihrer Seite in den Suchergebnissen.
Hier finden Sie die gesamte Übersicht über Google-Roboter und -Fetcher: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=de