Was ist eigentlich die Robots.txt-Datei? | t3n

Die Robots.txt – gesehen haben wir sie alle schon mal, aber was macht sie eigentlich und wofür ist sie zuständig? T3n.de klärt auf!