Toutes les autres langues, parlées par plus de 90 % de la population mondiale, doivent se rabattre sur d'autres jeux de caractères. Et il en existe une pléthore, créées au cours des ans pour satisfaire à la fois les contraintes d'écriture et les limites technologiques en constante évolution.
Le problème n'en est donc pas un de carence, mais bien de surabondance, du moins lorsque les standards Internet permettent de choisir. Et la surabondance est bien un problème : si chaque utilisateur arabe fait son propre choix parmi les quelques trois douzaines de codages disponibles pour cette langue, il y a bien peu de chance que son « voisin » ait fait le même choix et qu'ils se comprennent.

C'est pour résoudre ce problème qu'ont été créés, d'une part le standard Unicode, et d'autre part la norme internationale ISO 10646. Deux standards ? Quelle horreur ! Leurs concepteurs s'en sont bien rendu compte, et ont su coopérer au point de rendre les répertoires de leurs jeux de caractères identiques, de même que les codages de ce répertoire commun.

Codage : principes

Les ordinateurs manipulent uniquement des données de type numérique, en l’occurrence, sous forme binaire (chiffres binaires : Binary Digit = BIT).
Un bit est la plus petite unité d’information manipulable par un ordinateur.
Un bit peut avoir soit la valeur 1 ou 0.
Avec 2 bits on peut avoir quatre états différents (2*2) : 00, 01, 10, 11
Avec 3 bits on peut avoir huit états différents (2*2*2) : 000, 001, 010, 011, 100, 101, 110, 111
Avec 7 bits on peut avoir 128 états différents (2⁷)
Avec 8 bits on peut avoir 256 états différents (2⁸)
Avec 16 bits on peut avoir 65000 états différents (2¹⁶)
Avec 32 bits on peut avoir + 4 milliards d’états différents (2³²)

Un code (un jeu de caractères) est une table de correspondance qui associe à une donnée numérique un symbole graphique.
Un jeu de caractères respecte généralement certains critères :
- Nom : un jeu de caractères est désigné sous diverses appellations : codage de caractères, répertoire codé de caractères et page de code. Il est toujours nommé afin que le système de traitement ou de réception puisse utiliser la bonne table. Exemples de jeu de caractères : ISO/CEI 8859-1, ISO/CEI 8859-2, ASCII, Unicode 4.0, etc. ;
- Taille : la taille d’un jeu de caractères est exprimée par le nombre de bits utilisé pour représenter un caractère et détermine le nombre de caractères à coder :
* 7 bits permettent de coder 128 caractères : ASCII, ISO/CEI 9036 (arabe)
* 8 bits permettent de coder 256 caractères : ISO/CEI 8859-1, UTF-8
* 16 bits permettent de coder +65000 caractères : UTF-16, KSC 5601 (coréen)
* 32 bits permettent de coder +4 milliards de caractères : UCS-4, UTF-32.

- Caractères : on trouve au moins (pour l’alphabet latin) : les 10 chiffres, les 26 lettres de l’alphabet, des signes de ponctuation ou des opérateurs, des caractères de contrôle destinés à faciliter la transmission de l’information et à des fonctions de mise en page.

Tous les jeux de caractères distinguent la notion de caractère de celle de glyphe :

* Un caractère est une unité d’information utilisée pour coder du texte. Il est représenté par un numéro qui ne réside qu’en mémoire ou sur disque.

* Un glyphe est une forme géométrique utilisée pour présenter un caractère. Il apparaît à l’écran ou sur papier. Un répertoire de glyphes constitue une police (Arial, Times New Roman, etc.)

- Traitement : le codage des chiffres et des lettres doit être conçu pour faciliter le traitement.

On doit par exemple pouvoir facilement faire le tri sur des caractères. Puisque au sens lexicographique « A<B », le code du symbole « A » doit être plus petit (au sens arithmétique, puisque c’est un nombre) que le code du symbole « B ».

Le principe est le même pour les nombres.
Les relations d’ordre entre les nombres doivent être respectées pour les codes (5 étant plus grand que 2 ; le code du symbole 5 doit être plus grand que le code du symbole 2).

La majorité des normes de codage des caractères définissent pour chaque caractère deux choses :

? un numéro de code associé à chaque caractère ;

? un nom pour chaque caractère.

Exemple :
Dans la norme ISO-LATIN-1 (8859-1), le caractère «A » a comme numéro de code « 065 » et comme nom « Latin capital lettre A, Lettre majuscule A » ainsi que le caractère « ; » a comme numéro de code « 059 » et comme nom « Semi-colon, point virgule », etc.

ASCII : American Standard Code for Information Interchange

Norme ISO 646 (1963)
C’est est un jeu de caractères à 7 bits permettant sans extension la représentation de 128 caractères.
Le tableau de code d’ISO 646 est constitué de 128 positions déposées en 8 colonnes et 16 lignes.
Les colonnes sont numérotées de 0 à 7, et les lignes sont numérotées de 0 à 15.
Les positions du tableau de code sont identifiées par une notation de la forme X/Y dans laquelle X est le numéro de colonne et Y est le numéro de ligne. Le numéro de colonne représente les 3 bits de poids fort du mot transmis, le numéro de la ligne représente les 4 bits de poids faible.

Avec cette notation, le tableau de code est reparti comme suit :

Les colonnes 0 et 1 sont réservées à des codes de fonction formant un jeu de commandes appelé C0 (C Zéro) ou « caractères de contrôle ».

Les colonnes 2 à 7 à l’exception des emplacements 2/0 et 7/15 forment un jeu graphique G.

Le code 2/0 (SP) représente l’espace qui est considéré à la fois comme un caractère graphique et un caractère de commande.

Le code 7/15 représente la fonction oblitération (DEL) héritée du temps du ruban de papier perforé où une erreur était corrigée par oblitération du code erroné par sept trous.

JEU DE COMMANDES CO
Il comprend 32 codes. Ils constituent l’ensemble des fonctions utilisées pour la téléinformatique élémentaire avec transmission mot par mot asynchrone et la gestion élémentaire de fichiers sur bande magnétique.

JEU GRAPHIQUE G
Il s’agit des caractères que nous pouvons les afficher sur un écran ou les imprimer. Ils sont au nombre de 94 dont 82 caractères sont dits obligatoires :
- 52 lettres majuscules et minuscules de l’alphabet latin non accentué ;
- 10 chiffres : 0-9 ;
- 20 signes de ponctuations ou autres : ! " % ( ) * - . / : ; < > = ? - , & ’ +
-12 cases sont réservées à l’usage national ou spécifique (lettres diacritiques et autres symboles).

Codage: problèmes d'incompatibilité

Des centaines de systèmes de codage de caractères ont été créés.

Ils sont souvent incompatibles entre eux : deux systèmes peuvent utiliser le même code numérique pour deux caractères différents ou utiliser différents codes pour le même caractère.

En raison des multitudes de jeux, chaque constructeur propose sa propre solution fondée plus ou moins sur l'une de ces normes. Le problème de transfert des données entre systèmes ou des migrations d'un système à l'autre se pose alors.

Le problème n'en est donc pas de carence, mais bien de surabondance.
 
Pour l’arabe : plusieurs jeux de caractères : ISO 8859-6, ISO 9036, MS Arabic Dos Code Page 708, MS Windows Arabic Code Page 1256, Arabic Mac Code Page, Arabic Windows 3X Code Page, Code Page 864 Dos Arabic, etc.

Exemples d’incompatibilité :
Le mot arabe « ??? » est codé en ISO 8859-6 sous la forme de la séquence des codes numériques suivante : 226 () 232 (? ?) et 234 (?).

Si on passe de l’ISO 8859-6 à la page de code Windows 1256, la même séquence des codes numériques donnera à l’affichage : êèâ.

Pourquoi cette transformation ? : les deux jeux de caractères attribuent des codes différents pour les trois lettres arabes de notre exemple.

- Le même problème est observé avec les lettres latines accentuées : û, ê, î, ï, è, etc.

Codage : une solution Universelle (Unicode et ISO 10646)

Le standard Unicode et la norme ISO/CEI 10646 spécifient un numéro unique pour chaque caractère, quelle que soit la plate-forme, quel que soit le logiciel et quelle que soit la langue.
Depuis 1992, date de la fusion, le développement d'Unicode est synchronisé avec celui de la norme ISO/CEI 10646.
L'apparition du standard Unicode et la norme ISO/CEI 10646, ainsi que la disponibilité d'outils les gérant, sont parmi les faits les plus marquants de la globalisation récente du développement logiciel.
Grâce au standard Unicode et la norme ISO/CEI 10646, un seul logiciel ou site Internet peut satisfaire simultanément et sans modification les demandes de plusieurs plate-formes, langues et pays.
Ils permettent aussi à des logiciels de provenance variée d'échanger des caractères sans pertes de données.

Unicode/ISO 10646 : l’internationalisation de l’Internet

Actuellement, Unicode et ISO/CEI 10646 sont exigés par de nombreux standards récents en provenance du W3C et de l’IETF tels que XML, XSL, XHTML, etc.

RFC 2277 établit les orientations suivantes :

• tout protocole doit identifier le jeu de caractères utilisé ;
  
• tout protocole doit être en mesure d’utiliser le codage UTF-8 du jeu universel de caractères ISO/CEI 10646 ;

• les protocoles existants qui utilisent d’autres jeux de caractères ou même qui utilisent un jeu de caractères par défaut que l’UTF-8, doivent supporter le codage UTF-8 […]

Les versions récentes des principaux navigateurs supportent le codage UTF-8 : Internet Explorer 4, 5 et 6, Netscape 4 et 6, Tango, etc.

En langage HTML, il suffit d’ajouter dans la section <head> d’un document une méta-information indiquant cela :
<meta http-equiv="content-type" content="text/html"; charset="UTF-8">

Avec le langage XML, la mention du codage UTF-8 doit être indiquée dans le prologue du document XML :
<?xml version="1.0" encoding="UTF-8"?>

Dans le corps du document HTML ou XML, on peut insérer les caractères par référence aux numéros qu’ils ont dans le tableau des codes.
Les références aux caractères peuvent être fournies soit en valeur hexadécimale ou en valeur décimale du caractère dans la table.
Dans le premier cas, la référence est préfixée par &#x suivis par la valeur hexadécimale du caractère dans la table suivi d’un point virgule.
Dans le second cas, la référence est préfixée par &#, suivis par la valeur numérique du caractère dans la table suivi enfin par un point virgule.

Type de fichier	Format
Texte	HTML .HTM .SHTM .SHTML .SGML .XML .ASP .PHP .RTF .TXT .DOC .PDF .PS .EPS .TEX .DVI .XLS
Compression, archivage et encodage	.ZIP .BIN .EXE .HQX .SIT .SEA .UUE
Les extensions souvent recompressées	(.ZIP) .GZ .TAR .Z
Multimédia	.PPT .DIR .SWF
Images	.PS .EPS .BMP .GIF .JPEG .JPG .PNG .TIFF .TIF
Audio	.AIFF .AIF .MID .MP3 .RA .RAM .WAV
Vidéo	.AVI .MOV .QT .MPEG .MPG .RA .VDO .VIV