Google unterstützt Noindex in der Robots.txt nicht mehr | t3n

Ab 1. September gelten neue Regeln für den Suchmaschinen-Einweiser. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr. Sie werden angeblich zu selten verwendet. Die Robots.txt, genauer gesagt das Robots-Exklusion-Standard-Protokoll (REP), ist seit 25 Jahren der De-facto-Standard, um Crawlern der Suchmaschinen vorzugeben, welche Bereiche einer Website sie durchsuchen oder auslassen sollen. Vor kurzem hat […]