Ciao, secondo me potresti aumentare il margine nella stato di bottone inattivo ( es se la scritta si allarga in totale di 6px tu metti al bottone 3px a sinistra e 3px a destra) in maniera tale che quando il bottone è in stato di hover non fa più l'effetto fisarmonica.
Ciao ciao