Utilizzo una versione portatile di Thunderbird (che si chiama MozUp) da tantissimi anni, sette credo, su Windows: mai avuto UN problema specifico! Non utilizzo la versione con l'installer.
Utilizzo da tanti mesi (forse un anno e più) sul lavoro una versione di Firefox Portable: mai avuto UN problema specifico!
Non ho mai utilizzato la versione WinPenPack, ma sono sicuro che non ci sono problemi con la loro versione.
Ho utilizzato per dei test le versioni standalone di Mozilla (FF e TB), ma proprio perché erano per dei test ho riscontrato problemi che andavo a cercarmeli da solo...
In poche parole, tutto dipende da quale sito scarichi queste versioni. E, ovviamente, se queste versioni poi si infettano "durante" l'utilizzo...