A me succede anche con IE (IE7 su XP Pro SP3). Anzi, con IE7 ho un consumo decisamente maggiore di CPU.
La differenza sta nel fatto che con IE7, nel momento in cui chiudo il sito di cui sopra, la priorità torna normale mentre con Firefox no. Questo probabilmente è dovuto al fatto che Silverlight sotto Firefox rimane comunque attivo anche nel momento in cui tutte le pagine che lo utilizzano sono state chiuse.