Sitemap: http://cjr.lu/sitemap.xml # =================================== # Folgende Seiten sollen nicht indexiert werden: # =================================== User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /temp/ Disallow: /script/ Disallow: /img/ # =================================== # Schlie�e folgende Spider komplett aus: # =================================== User-agent: WebReaper User-agent: WebCopier User-agent: Offline Explorer User-agent: HTTrack User-agent: Microsoft.URL.Control User-agent: EmailCollector User-agent: penthesilea