# robots.txt # vinotheca.com # 100404 last # User-agent:MSIECrawler Disallow: / # User-agent:.*HTTrack.* Disallow: / # ansonsten alle Agenten erlaubt fuer folgende Verzeichnisse: User-agent: * Disallow: /cgi-bin