secondo me, la cosa piu semplice non e' trasferire il sito da una parte all'altra, ma come hai chiesto inizialmente fare tutto su un hd esterno che puoi spostare.
io, vito che sei alle prime armi, ti suggerisco di scaricare un apache friend, nel caso di windows (se ho capito bene) e' xampp
al link che ti avevo postato trovi la portable app, come dice la parola stessa, un applicazione nata per essere installata su un supporto mobile.
per l'utilizzo di xampp ci sono parecchie guide, molto semplici in rete.
se opti x questa soluzione avrai il tuo sito su l'hd (o chiavetta che sia) e lo potrai portare un po dove ti pare.
sviluppandolo in locale (che comprende la chiavetta) potrai seguire in seguito le guide x spostare su remoto!