Si e no;

nel senso che è ovviamente possibile portare tutti i file su un supporto rimovibile; tuttavia dovresti necessariamente fare anche un dump del database e installare xampp o easyphp (o comunque apache con supporto php e un database MySql) sul computer di destinazione.
Comunque esistono dei pacchetti in giro (Linux

) che ti consentono di avere praticamente un sistema operativo in miniatura e/o un sacco di applicazioni standalone nello spazio di una comune chiavetta usb anche da 256MB; prova a fare qualche ricerca; magari trovi qualcosa che possa fare al caso tuo!
Spero di esserti stato d'aiuto.
Ciao!
