# User-Agent: il motore di ricerca che si vuole bloccare # Disallow: la cartella o files da bloccare # Esempio: # User-Agent: googlebot # Disallow: intestazione.html # Disallow: links.html # Disallow: /temporanei/ # Disallow: /cgi-bin/ User-Agent: * #Disallow: / # Nome spider Motore di ricerca # googlebot Google # fast Fast/Alltheweb # slurp Inktomi # scooter Altavista # mercator Altavista # Ask Jeeves Ask Jeeves # teoma_agent Teoma # ia_archiver Alexa