Topic: Thunderbird dovrebbe "forzare" UTF-8 (standard W3C)

[UTF-8-ista]

Salve a tutti.
Tutti noi, specie i poliglotti o chi comunque ha amici stranieri, abbiamo sperimentato problemi con le lettere. Non solo ideogrammi, ma anche accenti possono avere problemi.
È vero che i problemi sono sempre meno, comunque ritengo che un programma come Thunderbird dovrebbe installarsi ed avere come predefinita la codifica UTF-8, la codifica di Unicode che permette di risparmiare spazio, universale, standard del W3C e che permette di far convivere insieme tutte le lingue viventi del pianeta, ed in parte quelle morte.
Il problema è che per vedere tutti i caratteri, sia chi manda l'email sia chi la riceve devono avere la stessa codifica o codifiche compatibili. Ed io non posso tenere la codifica di un russo perché avrò problemi con le lettere italiane. Entrambi dobbiamo usare UTF-8 (o comunque Unicode).

Unicode esiste da ben 20 anni (!!), UTF-8 (Unicode "salvaspazio") da poco dopo. Eppure ancora le email non viaggiano come dovrebbero: un poco è una cosa voluta (avvantaggia l'inglese ma soprattutto svantaggia altre lingue).

Come strumento libero, Thunderbird dovrebbe offrire il meglio: UTF-8 default (per chi non lo conosce), se poi uno vuole complicarsi la vita (e la vita dei suoi corrispondenti) con codifiche monolingue o "pochilingue" gli basta cambiarla dalle opzioni.

-----
PS. alla domanda di registrazione viene chiesto di inserire il sì senza l'accento... trucco di sicurezza o il solito problema di codifica?
PPS. Ho inserito qui il messaggio perché nella descrizione della stanza c'è che scritto di segnalare l'uso degli standard web di mozilla (come UTF-8). Se è il posto sbagliato posso usare la stanza dedicata a Thunderbird o quella che mi suggerirete.

[klades]

Il tuo punto di vista ha una sua logica.

Attualmente il charset predefinito per l'invio (e anche per la visualizzazione, ma questo ha molta meno importanza) è indicato nei file di localizzazione e precisamente nel file messenger.properties

La cosa migliore da fare, se vuoi portare questa cosa all'attenzione degli sviluppatori, è aprire un bug su https://bugzilla.mozilla.org/

Per quanto riguarda la sezione, sposto in "Localizzazione", che dovrebbe essere più pertinente.

P.S. : comunque non si può dire che UTF-8 sia uno standard del web, dato che è consentito usare qualunque altra codifica.

[UTF-8-ista]

Grazie per la risposta e lo spostamento; mi ci vorrà un po' di tempo per la traduzione.
Non riesco a trovare la pagina dove lo dice, ma per il web 2.0 UTF-8 è lo standard, comunque cercando "w3c utf-8" su google si dovrebbe trovare qualcosa (o ricordo male io?).

[Sokak]

Domanda curiosa: ma se mando una mail utf8 a un outlook, non è che poi mi ritrovo la solita codifica iso occidentale in risposta, o peggio, outlook la innterpreta male e mi sputa immondizia a schermo?

[UTF-8-ista]

Domanda curiosa: ma se mando una mail utf8 a un outlook, non è che poi mi ritrovo la solita codifica iso occidentale in risposta, o peggio, outlook la innterpreta male e mi sputa immondizia a schermo?

In teoria UTF-8 dovrebbe essere supportato da tutti.
In pratica pure (credo), ma adesso non ho Outlook per fare una prova (non lo uso da secoli...).

[Sokak]

Dillo a me che sono su un sistema operativo utf8 di default

[Megabyte]

Piccolo test
Ho appena provato a inviarmi da Thunderbird una email piena di "caratteri strani" (codifica UTF-8, formato html).

Outlook 2010 in ricezione ha decodificato correttamente tutti i caratteri, tranne 3 errorini (tra loro analoghi): per qualche misterioso motivo ha inserito arbitrariamente un carattere "a capo" dopo il carattere "virgolette chiuse" (cioè »), un altro dopo il carattere "parentesi graffa chiusa" (cioè }) e un altro dopo il carattere §.

Da Outlook ho poi risposto… e gli errorini si sono conservati nelle risposta.
In ricezione Thunderbird ha poi decodificato correttamente la mail di risposta proveniente da Outlook (ovviamente conservando gli errorini introdotti da Outlook nella mail originaria).

Aggiungo che Outlook ha aggiunto i caratteri "a capo" anche nella "versione testo" della mail (quindi con "coerenza" nell'errore).

Temevo peggio… nel complesso mi sembra comunque un risultato abbastanza soddisfacente!!
In pratica Outlook ha decodificato bene tutti i caratteri… limitandosi ad introdurre qualche "errorino di impaginazione" nella mail ricevuta.


Ho poi provato con Windows Live Mail, che ha invece decodificato in modo perfetto la stessa mail proveniente da Thunderbird (senza introdurre alcun errore!).
Il successore di Outlook Express ha quindi superato il test in modo completo!!

[Sokak]

Quindi fermo restando che outlook risponda conservando la codifica, per spargere la buona prassi utf8 basta iniziare a usarlo di default

[Megabyte]

Sì… confermo che nelle "risposta" Outlook 2010 ha conservato la codifica UTF-8 (a parte gli errorini sopra citati… per fortuna non troppo gravi).



Aggiornamento
Nuovo test… mi sono reinviato da Thunderbird la stessa mail originale, cambiando però la codifica (prima ISO-8859-15, poi ISO-8859-1, infine Windows-1292).

In tutti i casi Outlook 2010 ha commesso lo stesso "errorino di impaginazione" sopra descritto!!

Questo mi porta quindi a pensare che non si tratta di "errore di codifica/decodifica", bensì dei soliti problemi di mancato rispetto degli standard da parte di Outlook.

Nessun problema invece con Windows Live Mail: con tutte le codifiche provate, WLM ha sempre decodificato le mail in modo perfetto!!

[UTF-8-ista]

... la codifica (prima ISO-8859-15, poi ISO-8859-1, infine Windows-1292).

Vade retro!!  

---

L'ideale sarebbe avere Tutti i programmi nella stessa codifica, in tutti i computer ed in tutto il mondo, o in pochissime codifiche compatibili (unicode, limiterei a sole due codifiche: UTF-8, UTF-16).
Sul sito W3C ho letto di UTF-8 e UTF-16. Sono esattamente gli stessi numeri per ogni lettera (ovvero i numeri di unicode), ma cambia la rappresentazione in byte.

UTF-16 è a lunghezza fissa: tutti i caratteri sono di 16 bit (2 byte).
UTF-8 utilizza il primo bit come flag:
 - se è 0: allora il carattere occuperà un solo byte (esattamente come un carattere ASCII; ricordiamo che ASCII usa 7 bit perché uno era il bit di parità)
 - se è 1: allora 2 o più byte devono essere concatenati per codificare un singolo carattere, quasi sempre 2, ma in certi casi 3. Questo perché, sacrificando la testa del byte come flag si perde spazio per le informazioni. Nella maggioranza dei casi si risparmia oppure si ha la stessa lunghezza di UTF-16. Infatti i caratteri di 3 byte sono in genere ideogrammi (ma non è detto che un ideogramma sia per forza di 3 byte).


Le due codifiche sono compatibili, basterebbe usare solo una di esse (conviene UTF-8) oppure fare una piccola condizione: se la lingua del computer è cinese o giapponese, allora usare UTF-16 (o magari chiedere). Però anche per queste lingue con migliaia di lettere il risparmio di spazio con UTF-16 non sempre è considerevole. Inoltre se si usano dei caratteri rarissimi, UTF-16 potrebbe non bastare.

Per i dettagli potete leggere in giro (o forse molti di voi ne sapranno più di me), questa e un'infarinatura generale.

---
P.S. Ieri ho creato il bug!  https://bugzilla.mozilla.org/show_bug.cgi?id=706465

[Megabyte]

In effetti mi sa che a questo punto anch'io imposterò UTF-8 come "codifica uscente" predefinita (per principio più che per vera necessità… almeno nel mio caso).

Se tutti i programmi usassero codifiche Unicode (e soprattutto se rispettassero gli standard in modo rigoroso), anche i "software non-standard" (-> Outlook ) alla lunga dovrebbero adeguarsi ed attrezzarsi per decodificare le email in modo ottimale.

[UnoSD]

Riporto in vita questa vecchia discussione perché mi sono trovato anche io davanti a questa cosa che mi è sembrata alquanto balzana!

Io davo per scontato che Thunderbird usasse UTF-8, ma importanto dei file mbox UTF-8 mi sono reso conto che non è affatto così...

Mi trovo l'intero archivio delle mie email di Thunderbird in ISO-8859-15 e, se provo a cambiare cartella per cartella, cambia solo la codifica, non converte i messaggi e mi trovo un sacco di àèìòùé sostituite da un bel punto interrogativo su nero...

Oltre a sostenere in toto UTF-8-ista, non si dovrebbe anche mettere una bella funzione di conversione??

[Megabyte]

Mi trovo l'intero archivio delle mie email di Thunderbird in ISO-8859-15 e, se provo a cambiare cartella per cartella, cambia solo la codifica, non converte i messaggi e mi trovo un sacco di àèìòùé sostituite da un bel punto interrogativo su nero...

Strana questa cosa.

Se le email non sono malformate, per ogni singolo messaggio Thunderbird dovrebbe comunque rilevare la giusta codifica ed usarla automaticamente (indipendentemente dalla "codifica predefinita" corrente).

Non è che hai involontariamente disattivato l'autorilevazione della codifica dei singoli messaggi?



P.S.
Una eventuale "conversione" sarebbe invece molto pericolosa (come tutte le "conversioni di formato").
Le email già salvate è sempre meglio non toccarle…

[UnoSD]

Non è che hai involontariamente disattivato l'autorilevazione della codifica dei singoli messaggi?

Non credo, ma nel caso, vorrei controllare, dove si trova?

Una eventuale "conversione" sarebbe invece molto pericolosa

Cosa rischio? Si dovrebbe trattare di una semplice conversione di caratteri, al limite li riconverto...

P.s.

La codifica attuale della cartella, la vedo cliccando col destro sulla cartella e andando su "Proprietà". Ho provato a cambiarla, ma non converte niente, semplicemente legge male i caratteri non ASCII e se rimetto ISO-8859-15 li rilegge di nuovo bene...

[Megabyte]

La "codifica predefinita" IN/OUT la trovi in "Strumenti/Opzioni/Visualizzazione/Formato/Avanzate".

Ogni cartella di posta può poi scavalcare l'impostazione generale, definendo una codifica diversa in "Proprietà" (che diventerà la "codifica predefinita" per quella singola cartella).
In ogni caso, se non selezioni la sottostante opzione "Applica le impostazioni predefinite a tutti i messaggi ecc. ecc.", l'autorilevazione della codifica individuerà la codifica giusta per ogni messaggio (se il messaggio non è intrinsecamente malformato), quindi Thunderbird userà la codifica specifica di quel messaggio (indipendentemente da quella predefinita)

Se invece selezioni quell'opzione, l'autorilevazione della codifica verrà disattivata e verrà quindi forzata la codifica predefinita per tutti i messaggi di quella cartella (con inevitabili errori di visualizzazione nei messaggi composti con una codifica diversa).
Forse nel tuo caso quell'opzione è selezionata…