Se i file hanno preso nomi così strani temo che sarà difficile cancellarli da windows stesso, forse, e dico forse, da un altro gestore file ci riusciresti, tipo dall'interfaccia di 7zip o programmi simili (ma è difficile), magari anche linux avviando il pc da una distro live e poi inserendo la pendrive.
Soluzione più drastica, se ti sei fatto il backup di tutti gli altri file del profilo, è di formattare la pendrive.