robots.txt ist eine Datei im Hauptverzeichnis einer Webseite, die den Crawlen der Suchmaschinen sagt, was sie für Ihre Suchergebnisse nutzen sollen und welche Bereiche angezeigt werden können. Voraussetzung dabei ist, dass sich die Crawler auch daran halten.
Google anscheinend tut dies.
Die Datei muss in Kleinbuchstaben (robots.txt) vorhanden sein, um auch erkannt zu werden.