Premesso che ancora non si sa quando uscirà Firefox 4.0, credo che l'aggiornamento non sarà immediatamente automatico perché, come è sempre successo anche in passato, oltre al rilascio della major release verrà per un certo tempo mantenuta aggiornata anche la release precedente (in questo caso la 3.6.*).
Quindi, se vorrai passare dalla 3.6.* alla 4.0 nel giorno esatto del suo rilascio, dovrai semplicemente installare la 4.0 sovrascrivendo la 3.6.*.
Ciao