Was ist Robots.txt? Einfach erklärt im Online-Marketing Lexikon

Robots.txt ist eine Datei, die Suchmaschinen-Crawler anweist, bestimmte Seiten oder Abschnitte einer Website nicht zu durchforsten.