Représentation d'un texte en machine

Pour l'ordinateur, un texte est une suite de nombres : à chaque caractère correspond un code, stocké sur un ou plusieurs octets.

La table qui associe caractères et codes s'appelle un encodage. Il en existe plusieurs, nés à des époques différentes : ASCII, ISO-8859-1, puis Unicode et son encodage UTF-8.

Comprendre ces encodages, c'est comprendre pourquoi un accent devient parfois « é », et comment convertir un fichier d'un format à l'autre.

1. ASCII : le point de départ

1.1 Une table de 128 caractères

En Python, ord donne le code d'un caractère, et chr fait l'inverse.

print(ord("A"), ord("a"), ord("0"))
print(chr(65), chr(97), chr(48))

for c in "NSI !":
    print(c, ord(c), bin(ord(c)))

Un caractère ASCII tient sur un octet dont le bit de poids fort vaut $0$.

def majuscule(c):
    # à toi
    return c

1.2 Une application : le chiffrement de César

Puisque les lettres sont des nombres, on peut calculer avec. Le chiffrement de César décale chaque lettre de d positions dans l'alphabet.

def cesar(texte, d):
    """Décale chaque lettre majuscule de d positions (chiffrement de César)."""
    resultat = ""
    for c in texte:
        if "A" <= c <= "Z":
            resultat = resultat + chr((ord(c) - 65 + d) % 26 + 65)
        else:
            resultat = resultat + c
    return resultat

secret = cesar("RENDEZ-VOUS A MIDI", 3)
print(secret)
print(cesar(secret, -3))

1.3 Les limites

2. ISO-8859-1 : un octet complet

Avec le 8e bit, on dispose de $256$ codes.

Un caractère occupe toujours un octet : cela reste simple.

3. Unicode et UTF-8 : un code pour tous les caractères

3.1 Unicode : le répertoire

Plus de $150\,000$ caractères sont définis. Les $128$ premiers points de code sont ceux de l'ASCII, les $256$ premiers ceux d'ISO-8859-1.

for c in "Aé€中😀":
    print(c, ord(c), hex(ord(c)))

3.2 UTF-8 : un encodage à longueur variable

UTF-8 code chaque point de code sur 1 à 4 octets, selon sa taille.

Les bits de préfixe du premier octet (0, 110, 1110, 11110) annoncent la longueur. Chaque octet de continuation commence par 10. Les x reçoivent les bits du point de code.

Vérifions, et regardons les octets d'autres caractères.

for c in "Aé€😀":
    octets = c.encode("utf-8")
    print(c, len(octets), "octet(s) :", [bin(o) for o in octets])

3.3 Pourquoi UTF-8 s'est imposé

Plus de $98\,\%$ des pages web sont en UTF-8. C'est l'encodage par défaut de Python 3, du HTML5, de Linux et de macOS.

mot = "café"
print(len(mot), "caractères")
print(len(mot.encode("utf-8")), "octets en UTF-8")
print(len(mot.encode("latin-1")), "octets en Latin-1")

def taille_utf8(texte):
    octets = 0
    for c in texte:
        octets = octets + 1   # à corriger : tous les caractères ne font pas 1 octet
    return octets

4. Erreurs d'encodage et conversions

4.1 Le mojibake

Si un programme lit des octets UTF-8 en croyant à de l'ISO-8859-1, chaque caractère accentué, codé sur deux octets, devient deux caractères.

Ainsi é $= \overline{\text{C3 A9}}$ s'affiche « é », d'où « café » ou « élève ». Ces caractères parasites s'appellent du mojibake.

Dans l'autre sens, l'octet $\overline{\text{E9}}$ d'un fichier Latin-1 lu en UTF-8 n'est pas une séquence valide : le programme affiche « � », ou s'arrête sur une erreur.

4.2 Encoder, décoder

>>> "café".encode("utf-8")
b'caf\xc3\xa9'
>>> "café".encode("latin-1")
b'caf\xe9'
>>> b'caf\xc3\xa9'.decode("utf-8")
'café'
>>> b'caf\xc3\xa9'.decode("latin-1")
'café'

La dernière ligne décode avec le mauvais encodage : c'est exactement ainsi que naît le mojibake. Fabrique le tien.

texte = "Noël à la crèche"

octets = texte.encode("utf-8")           # on écrit en UTF-8
print(octets.decode("latin-1"))          # on relit en Latin-1 : mojibake
print(octets.decode("utf-8"))            # on relit en UTF-8 : tout va bien

4.3 Convertir un fichier

# On fabrique un vieux fichier en Latin-1 pour l'exemple
with open("ancien.txt", "w", encoding="latin-1") as f:
    f.write("Élève appliqué")

# La conversion
with open("ancien.txt", "r", encoding="latin-1") as f:
    texte = f.read()
with open("nouveau.txt", "w", encoding="utf-8") as f:
    f.write(texte)

# On compare les tailles des deux fichiers, en octets
print(len(open("ancien.txt", "rb").read()), "octets en Latin-1")
print(len(open("nouveau.txt", "rb").read()), "octets en UTF-8")

Les éditeurs de texte affichent l'encodage en bas de la fenêtre et proposent « réenregistrer avec l'encodage… ». Une page web déclare le sien avec <meta charset="utf-8">.

4.4 Taille d'un texte

La taille en octets est la somme des tailles des caractères.

Un roman de $500\,000$ caractères en français pèse environ $510$ ko en UTF-8, car environ $2\,\%$ des lettres sont accentuées. Il pèserait $1$ Mo en UTF-16, à $2$ octets par caractère.

5. Exemple résolu pas à pas

Vérifie les quatre réponses :

print(ord("G"), bin(ord("G")), ord("g"), bin(ord("g")))

mot = "Noël"
print([hex(o) for o in mot.encode("latin-1")])
print([hex(o) for o in mot.encode("utf-8")])
print(mot.encode("utf-8").decode("latin-1"))
print(len(mot), len(mot.encode("utf-8")))

À retenir