Die 15 witzigsten robots.txt-Files im Web

Die robots.txt-Datei ist zwar eigentlich nur für Bots gedacht, einige Websites nutzen sie aber trotzdem für lustige Nachrichten an menschliche Leser. Wir zeigen euch die 15 witzigsten Beispiele. Die robots.txt-Datei geht auf das Robots-Exclusion-Standard-Protokoll zurück. Die Datei sagt dem Webcrawler von Google und anderen Bots, die das Web durchpflügen, welche Inhalte erfasst und welche nicht […]