vediamo se ho capito
stai dicendo che con quel tipo di programma si riescono a scaricare tutti i file dalla root navigabile come, ad esempio, i documenti di docman (magari "protetti")?

se, invece, sei preoccupata della parte "layout" non credo ci sia nulla da fare anche perché basta vedere il sorgente dal browser per vedere come hai "composto" la pagina (e comunque il bot scaricherebbe una versione statica del tuo sito)
in alternativa, non ho capito nulla
