Beispiel für eine robots.txt-Datei

Linie
# robots.txt for www.tukani.de - 1.5.2011
User-agent: *
Disallow: /cgi-bin/
Disallow: /logs/
Disallow: /ftp/

footer

Made on a MacVerbindliche Nutzungsbestimmungen: Copyright © 1998-2011 TUKANI media experts. Alle Rechte vorbehalten.
DatenschutzerklärungValid XHTML 1.0 Transitional
Letztes Update: 1.5.2011 (valides xhtml/css)
Technische Probleme: Wenden Sie sich bitte an den Webmaster.
Ihr Experten-Netzwerk