# Facio che abbilitare la scansione da parte di google di tutto il sito
User-agent: googlebot
Disallow: 

# Non voglio che nesun motore di recerca ficchi
# il naso nella mia directory database.
User-agent: *
Disallow: /mdb-database/


# Qui di seguito la lista degli spider dei varii motori di ricerca
# Nome spider 		Motore di ricerca	
# googlebot			Google	
# fast			Fast - Alltheweb	
# slurp			Inktomi - Yahoo!	
# scooter			Altavista	
# mercator			Altavista	
# Ask Jeeves		Ask Jeeves	
# teoma_agent		Teoma	
# ia_archiver		Alexa - Internet Archive