Jak počítač reprezentuje text?

V minulém článku jsem se naučili jak počítač reprezentuje čísla. A nyní se podíváme, jak reprezentuje písmena a celý text.

Jak počítač reprezentuje čísla? 0.1 + 0.2 = 0.30000000000000004

Proč počítač spočítá 0.1 + 0.2 jako 0.30000000000000004? Tento článek krok za krokem ukazuje, jak počítač reprezentuje čísla, proč vznikají zaokrouhlovací chyby a jak funguje standard IEEE 754 pro čísla s plovoucí desetinnou čárkou.

Daniel KopeckýDaniel Kopecký

Nyní už víme, že všechna data v počítači jsou tvořena pouze z jedniček a nul. Naučili jsme se, že tyto bity mohou reprezentovat čísla. Abychom to pochopili, museli jsme udělat určitou mentální gymnastiku – přijmout, že kombinace nul a jedniček mohou vyjadřovat libovolné číslo. Teď však chceme, aby počítač uměl pracovat i s písmeny a textem, což je pro nás další stupeň abstrakce.

To odpovídá i historickému vývoji počítačů. První elektronické počítače, například ENIAC (1945), byly ve své podstatě obrovské kalkulačky – dokázaly provádět pouze číselné výpočty. Programování tehdy znamenalo fyzicky přepojovat kabely nebo nastavovat přepínače, a výsledky se vypisovaly na děrné štítky nebo zobrazovaly pomocí světelných indikátorů.

Později se počítače začaly používat pro zpracování velkého množství dat – například pro evidenci zaměstnanců či účetní záznamy. Aby to bylo možné, museli vývojáři vymyslet způsob, jak budou počítače rozumět písmenům a dalším znakům.

Už v 50. letech 20. století měly děrné štítky sadu znaků, která zahrnovala písmena A–Z, číslice 0–9 a několik speciálních symbolů.

Jak to ale fungovalo?

Na to si ještě chvíli počkáme. Než tomu porozumíme, musíme se vrátit o více než sto let zpět – do doby, kdy počítače ještě neexistovaly. A jak už možná tušíte, všechno začalo elektřinou.
Konkrétně v roce 1831, kdy Michael Faraday objevil elektromagnetickou indukci. Tento objev znamenal okamžik, kdy lidé dokázali vytvářet elektrický proud a pomocí vodičů ho ovládat – a tím otevřeli cestu ke všem pozdějším elektronickým vynálezům, včetně počítačů.

Objev elektromagnetické indukce odstartoval éru, ve které se lidé naučili využívat elektrický proud k přenosu informací. Prvním praktickým krokem byl telegraf. Ten dokázal pomocí elektrických impulsů posílat zprávy na dálku – a to už ve 40. letech 19. století.

V roce 1837 představili Samuel Morse a Alfred Vail systém, který dokázal převést písmena a čísla na kombinace krátkých a dlouhých signálů – tečky a čárky, známé jako Morseova abeceda.

To byl přelomový okamžik: poprvé v historii byla písmena reprezentována elektrickými signály.

Morseova tabulka - písmena

Morseova tabulka - číslice

Morseova tabulka - interpunkce

A právě tímto způsobem se zrodila myšlenka, že text lze uložit a zpracovat jako čísla – princip, na kterém stojí veškeré moderní programování.

Ještě na chvíli se zastavme u Morseovy abecedy a udělejme další myšlenkový krok.
Co kdybychom tečky a čárky nahradili nulami a jedničkami?
Tečka by představovala nulu a čárka jedničku.
Dostali bychom tak následující tabulku:

Příklad textu

Slovo SOS v Morseovce:

··· --- ···

V binární podobě:

000|111|000

Pokud přidáme oddělovač slov /:

000|111|000 / 000|111|000

Nyní již vidíme, že pomocí jedniček a nul dokážeme reprezentovat jednotlivá písmena. Později, když se objevili počítače, vývojáři na tuto myšlenku navázali.

ASCII a kódování

Morseovu abecedu bychom teoreticky mohli použít i pro ukládání textu, ale má dvě zásadní nevýhody.

První spočívá v tom, že každé písmeno má jinou délku zápisu.
Když se podíváme na její binární podobu, zjistíme, že pro písmena E a T stačí 1 bit, pro A, I, M a N potřebujeme 2 bity, a postupně se dostáváme až k písmenům, která vyžadují 4 bity. Pokud do systému zahrneme i čísla a speciální znaky, délka zápisu může dosáhnout až šesti bitů.

Druhou nevýhodou je, že Morseova abeceda nemá jednoznačně definovaný znak pro oddělení písmen a slov, což by při ukládání textu v počítači způsobovalo problémy s čitelností a zpracováním dat.

Proto bylo nutné vytvořit jednotný systém pro převod znaků na binární kód.
Tím se stala tabulka ASCII (American Standard Code for Information Interchange) – první široce přijatý standard pro kódování textu, který vznikl v roce 1963.
Před ASCII měl totiž každý výrobce počítačů vlastní kódovou tabulku, takže data mezi různými stroji nebyla kompatibilní.

V době vzniku ASCII byly běžné 8bitové počítače, jejichž procesor dokázal pracovat s 8 bity najednou, tedy s 2⁸ = 256 různými hodnotami.
Původní ASCII tabulka však používala pouze 7 bitů (128 znaků) – osmý bit sloužil jako paritní bit pro kontrolu správnosti přenosu dat.

Původní tabulka vypadala takto:

Originální tabulku najdete přímo na webových stránkách tohoto standardu: https://www.ascii-code.com/ASCII.

Prvních 32 znaků (0–31) tvoří tzv. řídicí znaky.
Tyto znaky nesloužily k zápisu textu, ale k ovládání zařízení, jako byly telegrafy, tiskárny nebo terminály.
Reprezentovaly různé akce – například:

• LF (Line Feed) – přechod na nový řádek,
• CR (Carriage Return) – návrat na začátek řádku,
• TAB (Tabulátor) – odsazení,
• BEL (Bell) – zvukové upozornění, tzv. „pípnutí“.

Většina těchto znaků se dnes již běžně nepoužívá, ale některé přežily v moderní podobě – například \n a \r v textových souborech nebo ESC používaný pro barevné sekvence v terminálu.

Na dalších pozicích ASCII tabulky se nacházejí znaky běžně používané v textu.
Protože ji vytvářeli američtí inženýři, obsahuje pouze anglickou abecedu, číslice a základní interpunkční znaky.

ASCII byla ve své době přelomová, ale jak už jsme naznačili, měla i zásadní omezení.
Největším problémem bylo, že neobsahovala znaky jiných jazyků – chyběla například diakritika, řecká písmena, azbuka nebo asijské znaky.
Dalším limitem bylo, že kvůli tzv. paritnímu bitu měla tabulka k dispozici pouze 7 bitů, tedy 128 znaků, což je polovina z možností, které by poskytoval 8bitový systém (256 znaků).

Výrobci počítačů proto začali rozšiřovat původní ASCII tabulku, každý po svém.
A tím se situace vrátila zpět do doby před rokem 1963 – znovu vznikalo mnoho nekompatibilních standardů, a textové soubory nebylo možné spolehlivě přenášet mezi různými zařízeními.

Rozšíření ASCII

Aby bylo možné zapisovat znaky dalších jazyků, začaly se v 70. a 80. letech objevovat tzv. rozšířené ASCII sady. Ty využívaly všech 8 bitů (tedy 256 kombinací) a přidávaly k původním 128 znakům další – například písmena s diakritikou, matematické symboly nebo grafické prvky pro textové rozhraní.

Problém však byl, že každý výrobce nebo region si vytvořil vlastní rozšířenou sadu.
Například:

• ISO 8859-1 (Latin-1) – používala se v západní Evropě a obsahovala znaky pro francouzštinu, němčinu, španělštinu a další jazyky.
• ISO 8859-2 (Latin-2) – byla určena pro střední a východní Evropu, tedy i pro češtinu, polštinu nebo maďarštinu.
• Windows-1250 – proprietární kódování od Microsoftu, které se používalo v systému Windows pro stejné jazyky jako Latin-2, ale mělo odlišné rozložení.

Tato rozšíření sice umožnila používat národní znaky, ale zároveň znovu přinesla problém nekompatibility.
Text napsaný v jednom systému se při otevření na jiném často zobrazoval chybně – místo písmen s diakritikou se objevovaly podivné symboly nebo otazníky.

Ukažme si to na příkladu. Věta: "Nechť již hříšné saxofony ďáblů rozezvučí síň úděsnými tóny waltzu, tanga a quickstepu." je označována jako pangram a měla by obsahovat všechna písmena české abecedy. Pokud tuto větu zakódujeme v sadě ISO 8859-2 (Latin-2), dostaneme tento binární kód.

01001110 01100101 01100011 01101000 10111011 00100000 01101010 01101001 10111110 00100000 01101000 11111000 11101101 10111001 01101110 11101001 00100000 01110011 01100001 01111000 01101111 01100110 01101111 01101110 01111001 00100000 11101111 11100001 01100010 01101100 11111001 00100000 01110010 01101111 01111010 01100101 01111010 01110110 01110101 11101000 11101101 00100000 01110011 11101101 11110010 00100000 11111010 01100100 11101100 01110011 01101110 11111101 01101101 01101001 00100000 01110100 11110011 01101110 01111001 00100000 01110111 01100001 01101100 01110100 01111010 01110101 00101100 00100000 01110100 01100001 01101110 01100111 01100001 00100000 01100001 00100000 01110001 01110101 01101001 01100011 01101011 01110011 01110100 01100101 01110000 01110101 00101110

A nyní budeme chtít tento text přečíst na Windows, který pro východní Evropu používá kódování Windows-1250, které má jinou konverzní tabulku. Výsledný text bude vypadat takto:

Nech» jiľ hříąné saxofony ďáblů rozezvučí síň úděsnými tóny waltzu, tanga a quickstepu.

To vám možná přijde povědomé, zvlášť pokud koukáte na stažené filmy a používáte české titulky ve formátu s koncovkou *.srt. Autoři titulků používají dodneška různé kódování znaků a přehrávače mají nastavený jeden určitý základní standard.

Vše si sami může vyzkoušet sami s tímto online nástrojem, kde můžete zkusit různé znakové sady.

Text to Binary Converter

ASCII/Unicode text to binary code encoder. English to binary. Name to binary.

RapidTables

Unicode

Máme konec 80. let a celé 90. roky a na scéně se znovu objevuje dobře známý problém:
Texty vytvořené v jednom programu nebo na jednom zařízení nebylo možné správně přečíst jinde.
Zní to povědomě? Ano — už v roce 1963 vzniklo ASCII, aby tento problém vyřešilo.
A o téměř třicet let později jsme byli zase na začátku.
Jak se říká — inovace se někdy točí v kruhu.

V roce 1988 vznikla skupina Unicode Working Group, jejímž cílem bylo sjednotit všechny existující znakové sady do jednoho systému.
O tři roky později, v roce 1991 – tedy v roce, kdy jsem se narodil, kdy vznikl Linux a také Python – se tato skupina proměnila v Unicode Consortium, neziskovou organizaci, která spravuje a rozvíjí celý standard dodnes.

Cílem Unicode bylo přidělit každému znaku na světě jedno unikátní číslo.
První verze, Unicode 1.0 z roku 1991, používala pro každý znak 16 bitů – tedy 2¹⁶ = 65 536 možných znaků.
Tato kapacita stačila na pokrytí většiny moderních jazyků, včetně latinky, cyrilice, řečtiny, arabštiny i hlavních asijských písem.

Postupem času se ukázalo, že 65 536 znaků je stále málo a Unicode se postupně rozšiřoval. Navíc Unicode jen přiřazuje znaku číslo a neříká nic o jeho binární reprezentaci.

UTF-8

Na Unicode později navázala skupina standardů nazývaná UTF – Unicode Transformation Formats.
Ty určují, jak se jednotlivé znaky převádějí na binární kód, tedy jak se fyzicky ukládají do paměti nebo přenášejí po síti.

První variantou byl UTF-32.
V tomto formátu má každý znak pevnou délku 32 bitů (4 bajty), takže každý znak je reprezentován jedním čtyřbajtovým číslem.
Tento přístup byl jednoduchý, ale velmi neefektivní z hlediska paměti, protože i běžný anglický text, který by stačil uložit v jednom bajtu na znak, zabíral čtyřnásobek prostoru.

V roce 1993 vyvinuli v Bellových laboratořích inženýři Ken Thompson a Rob Pike úspornější formát UTF-8.
Jejich myšlenka byla elegantní:

• Pokud znak spadá do původního ASCII rozsahu (0–127), uloží se jako jeden bajt (8 bitů).
• Pokud je mimo ASCII, uloží se jako sekvence 2 až 4 bajtů, podle toho, jak velké číslo znak reprezentuje.

Díky tomu je UTF-8 zpětně kompatibilní s ASCII a zároveň dokáže zapsat všechny znaky Unicode, což z něj postupně udělalo nejpoužívanější formát kódování textu na světě.

Možná se ptáte jak program pozná, že je znak 1 nebo více bajtů? Mohl by to číst jako sekvenci více znaků. Princip je následující. První bajt začíná určitým počtem jedniček, které říkají, kolik bajtů celý znak zabírá.

Zde jsou příklady jednotlivých znaků:

Teď si ukážeme jak by se napsalo slovo "Český", které obsahuje vícebajtové písmena (Č a ý):

Celou tabulku Unicode znaků naleznete na oficiální webové stránce organizace Unicode zde: https://www.unicode.org/charts/. Nicméně oficiální stránka není zcela přehledná, proto doporučuji tuto neoficiální variantu: https://symbl.cc/en/unicode-table/. Momentální verze Unicode obsahuje okolo 160 tis. znaků.

Kde jsme dnes?

Na první pohled by se mohlo zdát, že problém s nečitelnými znaky a „rozsypaným textem“ už dávno patří minulosti. Unicode a jeho nejrozšířenější forma UTF-8 sjednotily způsob, jak se znaky ukládají do paměti i přenášejí mezi systémy. Přesto se s chybami v kódování můžeme setkat dodnes.

1. Staré soubory a software – některé titulky, CSV nebo e-maily jsou stále uložené ve starších kódováních, jako Windows-1250 nebo ISO-8859-2. Novější programy je pak čtou jako UTF-8 a zobrazí nesmysly.
2. Chybějící nebo špatně uvedené kódování – pokud soubor neříká, v jakém kódování je, musí to program jen odhadnout. To často končí zkomoleným textem.
3. Různé platformy – Windows dlouho používal své lokální kódování, zatímco Linux a macOS přešly na UTF-8. Při kopírování souborů mezi systémy tak může dojít ke ztrátě českých znaků.
4. Různé zápisy téhož znaku – Unicode dovoluje zapsat stejný znak několika způsoby. Například písmeno ě může být jeden znak nebo kombinace e + ˇ. Pro člověka jsou stejné, ale pro počítač ne.
5. Nové znaky a emoji – standard Unicode se stále rozšiřuje. Některé aplikace nebo fonty nové znaky ještě neumí zobrazit.

I když je tedy UTF-8 vývojově nejdokonalejší a dnes univerzálně používané, úplné zmizení problémů s kódováním brzdí právě historické dědictví a nejednotnost softwaru.
Nejlepším řešením je vše nové ukládat v UTF-8 a staré soubory převádět pomocí textového editoru nebo nástroje iconv.