Prova ad aprire il registro di configurazione di windows, comando regedit.exe, e vedere se nelle due chiavi di registro, trovi tracce di mozilla relative a una installazione che non sia la tua versione portable.
Dovrebbe essere nella prima chiave:
HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Uninstall\Mozilla Firefox
HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Uninstall\Mozilla Firefox
Potrebbe essere la stessa portable ad aver creato qualche chiave di registro che impedisce l'installazione, non vorrei dirti di cliccare su reinstalla nella schermata che poi perdi magari qualche configurazione particolare.