Un video MP4 può contenere flussi audio e video con codec diversi, quindi non è detto che il comportamento sia lo stesso per tutti i video.
Ciò detto, il supporto ai file MPEG 4, H.264, MP3 e AAC non è inserito in Firefox che per la loro resa si appoggia sulle capacità del sistema operativo; non so bene perché, ma stando alla pagina di documentazione XP non ha questo tipo di supporto. La riprova è che, con la stessa identica configurazione di Firefox, su Linux io vedo quel video (perché viene usato Gstreamer) su XP no.