esistono anche script da installare sul server per eseguire la scansione di tutte le possibili url pubbliche del sito.
Se non sbaglio uno script lo dava anche google stesso sempre per la generazione delle sitemap in xml, mi sembra anche di averlo provato una volta, in perl da riga di comando.... ma qualche anno fa