Senza smanettare troppo: Apri una cartella qualsiasi, anche senza files al suo interno.
Dal menù Strumenti scegli Opzioni cartella (bada bene: sto parlando di windows, ok? Quando sfogli le cartelle, in risorse del computer!
)
TRova i tipi di file, sfoglia fino a trovare .htm e .html, ed eliminali.
Se hai fatto tutto correttamente, i file .html, dopo una bella pressione di F5, dovrebbero avere di nuovo l'icona di file generico.
Facendoci doppio clic sopra, ti chiederà di nuovo con quale programma aprirli.
Una volta per tutte!