Direkt von Google:
Meta-Tags sind eine großartige Möglichkeit für Webmaster, Suchmaschinen Informationen über ihre Websites bereitzustellen. Meta-Tags können verwendet werden, um Informationen für alle Arten von Clients bereitzustellen, und jedes System verarbeitet nur die Meta-Tags, die sie verstehen, und ignoriert den Rest.
Wenn Sie alle Suchmaschinen vollständig blockieren möchten:
Warum?
Möglicherweise handelt es sich um eine etwas private URL auf Ihrer Website, die jedoch nicht so geschützt ist, dass ein Suchbot sie nicht sehen kann. Wenn für eine Seite ein Login erforderlich ist, um sie anzuzeigen, wird dies ohnehin von einem Suchbot blockiert. Wenn es sich jedoch nur um eine verschleierte URL handelt, die weiß, wie Such-Bots umgehen, möchten Sie möglicherweise die Indizierung verhindern.
Suchergebnisse sind eine weitere häufige. Es ist seltsam, ein Suchergebnis zu haben, vielleicht Suchergebnisse. WordPress-Themes enthalten in der Regel Folgendes:
Ich könnte das ein wenig ändern und Bots sagen, hey, Sie können den Links hier folgen, um die Indizierung der Site fortzusetzen, aber indizieren Sie diese Seite nicht speziell.
Andere
Suchmaschinen verwenden in der Regel das Beschreibungs-Tag für Textinhalte neben :
Auf der Google-Seite finden Sie weitere Google-spezifische Elemente wie die Möglichkeit, Google-spezifische Benutzeroberflächen zu stoppen, z. B. das Suchfeld "Site-Link".