Die Meta Robots Tags
Die sogenannten Meta Robots Tags oder hier als „noTags“ bezeichnet, stellen eine Gruppe von Codestücken dar. Diese Codeschnipsel werden im HTML Code der Webseite integriert und können wie auch vgl. META-Elemente von Suchmaschinen vgl. Crawlern gelesen werden.
Die noTags haben verschiedene Funktionen, mit denen man gezielt einen Crawler anweisen kann, gewisse Aktionen durchzuführen bzw. zu unterlassen.
Das „noFollow“ beispielsweise sagt einem Crawler, dass er alle Links auf Ihrer Seite die damit ausgezeichnet sind, nicht weiterverfolgen darf.
Im Klartext heißt das für den Roboter:
„Bis hier her darfst du, aber was danach kommt geht dich nichts mehr an.“
„noIndex“ sorgt dafür, dass eine Seite die damit ausgezeichnet ist, nicht von Suchmaschinen in den Ergebnissseiten angezeigt werden darf. Der Administrationsbereich Ihrer Webseite sollte zum Beispiel nicht von Suchmaschinen indexiert werden (vgl. Indexierung).
Die komplette Liste aller von Google unterstützen Meta-Tags finden Sie hier: https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=de
