Suchmaschinen Bots verlangsamen

Wenn Ihre Seite oft von Suchmaschinen Bots (GoogleBot, BingBot, etc.) besucht wird und hierdurch hoher Traffic oder eine hohe Auslastung Ihres Webaccounts / Servers entsteht, können Sie die Besuchsgeschwindigkeit der Bots verlangsamen.

Erstellen Sie hierzu eine Datei namens "robots.txt" in Ihrem Verzeichnis "www.domain-bei-profihost.de".

Der Inhalt der Datei sollte wie folgt aussehen:

User-agent: *
Crawl-delay: 10

Nur alle 10 Sekunden darf eine neue Seite zum Auslesen vom Suchmaschinen Bot aufgerufen werden.

Hinweis: Dies funktioniert leider nicht auf dem "GoogleBot". Hier muss die Besuchsgeschwindigkeit in den Webmaster Tools eingestellt werden: https://www.google.com/webmasters/tools/?hl=de‎

Google stellt dazu eine FAQ bereit:
https://support.google.com/webmasters/answer/48620?hl=de

Aktualisiert am 5. Dezember 2018
War dieser Artikel hilfreich?

Ähnliche Artikel