robots.txt – Wie geht das nochmal?
Suchmaschinen Robots wie zum Beispiel die von Yahoo! und Google versuchen beim ersten Seitenaufruf einer Internetseite zunächst die robots.txt-Datei einzulesen, die üblicherweise im root des Webverzeichnisses liegen sollte. In der Robots.txt wird definiert welche Seiten oder Verzeichnisse welcher Robot lesen und indizieren darf.