User-agent: * Disallow: /images/ Disallow: /css-style/ Disallow: /js/ # Robots.txt file created by http://www.webtoolcentral.com # For domain: http://www.sioper.it # Escludiamo anche i robot di Netmechanic, il sito che offre servizi di controllo di siti Web cui non siamo interessati User-agent: NetMechanic Disallow: / # Escludiamo anche EmailCollector, un software che ricerca sulla rete indirizzi di e-mail per poi utilizzarli nello spam. User-agent: EmailCollector Disallow: / # Infine, escludiamo anche Teleport, l'offline browser noto per le sue capacitr di sovraccaricare i server. User-agent: Teleport Disallow: /