Robots.txt und Homepage nicht verfügbar: Nach 30 Tagen Crawl-Stopp

Wenn Google 30 Tage lang weder Website noch Robots.txt erreicht, beendet die Suchmaschine das Crawlen. Das geht jetzt aus der Google-Dokumentation hervor. Die Robots.txt-Datei ist eine Textdatei, die Anweisungen für Crawler zur Verfügung stellt. So werden Seiten, die nicht indexiert werden sollen, beispielsweise vom Crawling ausgeschlossen. Ist Robots.txt nicht abrufbar oder gibt es anderweitige Probleme, […]