Personalmente, e proprio perché non sei un utente molto esperto di Linux, non ti consiglio di disinstallare Firefox: eventualmente segnala il problema sul forum di Ubuntu ecc. e vedi se qualcuno ha risolto o, se è un bug, se qualcuno lo ha già riportato.
E' sempre preferibile usare il pacchetto della distribuzione, se possibile, per tutta quella serie di automatismi che hai giustamente indicato (icona del menu, associazione come browser predefinito, ecc.).
Ciao!