Il file robot.txt non è vincolante come il file. htaccess, diciamo che è convenzionale cioè dà delle indicazioni ai motori di ricerca su cosa e come considerare i contenuti. Potresti vietarli da .htaccess ma non sarebbero scansionabili e quindi navigabili da nessuno, eh già scansione e navigazione sono la stessa cosa, puoi mettere un testo in una pagina ove dici non aprire quella porta ma non puoi impedire che qualcuno la apre lo stesso.
