AI bez magie: Jak fungují moderní jazykové modely

Než se pustíme do tipů a triků, jak efektivně používat AI a psát kvalitní prompty, bude užitečné si nejprve vysvětlit, co vlastně dnešní „AI“ je, jak funguje a co jednotlivé pojmy znamenají.

Mnoho lidí používá AI každý den, ale často ji vnímají spíše jako „kouzelnou černou skříňku“. Ve skutečnosti je ale důležité alespoň základně chápat, co se děje na pozadí — proč někdy odpovědi fungují skvěle, proč jindy selhávají a proč záleží na tom, jak svůj požadavek formulujete.

V této části si proto stručně vysvětlíme:

• co jsou jazykové modely (LLM),
• jak AI generuje odpovědi,
• co je prompt,
• proč kvalita zadání výrazně ovlivňuje výstup,
• a proč dnešní AI není „myslící bytost“, ale velmi pokročilý systém pro práci s informacemi a vzory v datech.

Díky tomu pak budou další praktické ukázky a techniky promptování dávat mnohem větší smysl.

Pojďme si na začátek vysvětlit několik základních pojmů. Co je to vlastně AI?

AI je zkratka anglického slovního spojení Artificial Intelligence, tedy „umělá inteligence“. Abychom ale pochopili, co tento pojem znamená, stojí za to zamyslet se nejprve nad samotným slovem inteligence.

Inteligence je schopnost učit se, rozpoznávat vzory, chápat souvislosti, řešit problémy a přizpůsobovat své chování novým situacím. Nejde jen o znalosti nebo paměť, ale především o schopnost informace zpracovávat, vyhodnocovat a používat k dosažení určitého cíle.

Lidská inteligence je velmi komplexní — zahrnuje logické myšlení, kreativitu, intuici, emoce, zkušenosti i schopnost pracovat s neúplnými informacemi.

Když dnes mluvíme o „umělé inteligenci“, většinou tím nemyslíme skutečně myslící stroj podobný člověku. Současná AI jsou především matematické modely a algoritmy, které byly natrénovány na obrovském množství dat a dokážou v nich hledat vzory. Díky tomu umí například generovat text, překládat jazyky, rozpoznávat obrázky, programovat nebo odpovídat na otázky.

Je důležité si uvědomit, že dnešní AI nerozumí světu stejným způsobem jako člověk. Neuvažuje vědomě, nemá vlastní zkušenosti ani emoce. Přesto ale dokáže v mnoha oblastech působit velmi přesvědčivě, protože se naučila velmi dobře pracovat se strukturou dat a pravděpodobností.

V tomto článku se budeme zabývat pouze jednou konkrétní oblastí umělé inteligence — takzvanými LLM (Large Language Models), tedy velkými jazykovými modely.

Jednoduše řečeno jde o AI systémy, které byly natrénovány na obrovském množství textů a naučily se předpovídat, jaké slovo nebo část věty bude s největší pravděpodobností následovat. Díky tomu dokážou generovat text, odpovídat na otázky, shrnovat informace, překládat jazyky nebo například programovat.

Právě do této kategorie patří nástroje jako ChatGPT, Claude nebo Gemini.

LLM ale nejsou jediným typem AI. Existuje mnoho dalších oblastí umělé inteligence a strojového učení, například:

• TTS (Text-to-Speech) — převod textu na mluvené slovo,
• STT (Speech-to-Text) — převod řeči na text,
• generování obrázků,
• rozpoznávání a popis obrázků,
• doporučovací systémy,
• predikční modely,
• autonomní řízení,
• nebo specializované modely pro vědu, medicínu či průmysl.

Moderní AI aplikace dnes často kombinují více těchto technologií dohromady. Například hlasový asistent může nejprve převést váš hlas na text pomocí STT, následně použít LLM pro zpracování odpovědi a nakonec odpověď přečíst pomocí TTS.

Jak funguje velký jazykový model

Na schématu můžete vidět zjednodušený princip fungování velkého jazykového modelu (LLM). Uživatel zadá otázku, která se odešle na server, kde běží samotný AI model. Ten následně začne text postupně zpracovávat a generovat odpověď.

Celý proces je poměrně složitý, ale základní princip lze shrnout do několika kroků:

• Text se nejprve rozdělí na menší části zvané tokeny. Token nemusí být celé slovo — může to být i část slova, znak nebo například interpunkce.
• Každý token dostane své číselné ID, protože neuronová síť pracuje pouze s čísly.
• Následuje takzvaný embedding — převod tokenů na matematické vektory. Díky nim model dokáže zachytit význam a vztahy mezi slovy.
• Poté přichází hlavní část modelu nazývaná transformer. Ta analyzuje vztahy mezi jednotlivými slovy, větami a částmi textu.
• Součástí transformeru je také attention mechanismus („mechanismus pozornosti“), který umožňuje modelu zaměřit se na nejdůležitější části textu a jejich souvislosti.
• Model následně predikuje další token — tedy odhaduje, jaký text by měl s největší pravděpodobností pokračovat dál.
• Nově vygenerovaný token se přidá do původního textu (takzvaného kontextu) a celý proces se opakuje znovu.
• Model průběžně vyhodnocuje, zda je odpověď dokončená.
• Jakmile je generování hotové, odpověď se odešle zpět uživateli.

Důležité je pochopit, že model negeneruje celou odpověď najednou. Text vzniká postupně token po tokenu — podobně, jako když člověk postupně skládá větu slovo po slovu.

Pojďme se na to podívat postupně krok po kroku.

Jak funguje tokenizace?

Než může AI model začít pracovat s textem, musí ho nejprve rozdělit na menší části nazývané tokeny. Tomuto procesu se říká tokenizace.

Člověk vnímá text jako slova a věty. Jazykový model ale pracuje pouze s čísly a matematickými operacemi. Proto je potřeba text převést do podoby, kterou dokáže zpracovat.

Token může být:

• celé slovo,
• část slova,
• jednotlivý znak,
• číslo,
• interpunkce,
• nebo třeba mezera.

Například věta:

„Programování v Pythonu je zábava.“

může být rozdělena například takto:

["Program", "ování", " v", " Python", "u", " je", " zábava", "."]

Každý model používá vlastní slovník tokenů a vlastní způsob dělení textu. Nejčastěji se používá metoda, která hledá co nejčastější části slov a ukládá je jako samostatné tokeny.

Důvod je praktický:

• kdyby model ukládal celé věty, slovník by byl obrovský,
• kdyby ukládal pouze jednotlivá písmena, text by byl příliš dlouhý a neefektivní.

Rozdělení na části slov je tedy kompromis mezi efektivitou a schopností pracovat s jazykem.

Například slovo:

neurověda

může být rozděleno na:

["neuro", "věda"]

Díky tomu model lépe chápe podobnosti mezi slovy. Pokud zná token „neuro“, dokáže si spojit slova jako:

• neurologie,
• neuron,
• neuronová síť,
• neurověda.

Po tokenizaci dostane každý token své číselné ID:

"Python" → 5231
"AI" → 1842
"." → 13

A teprve s těmito čísly začíná model dále pracovat.

Tokenizace má také praktický dopad na používání AI:

• většina modelů má omezený počet tokenů, které si „pamatují“ v kontextu,
• delší text = více tokenů = vyšší výpočetní náročnost,
• počet tokenů často ovlivňuje cenu používání API modelů.

Proto dva texty se stejným počtem znaků mohou mít výrazně odlišný počet tokenů.

Embedding — převod slov na matematiku

Po tokenizaci už model nemá klasický text, ale posloupnost tokenů reprezentovaných čísly. Samotná ID tokenů ale ještě nenesou žádný význam.

Například:

"pes" → 1523
"kočka" → 9811
"auto" → 447

Z těchto čísel model nepozná, že „pes“ a „kočka“ si jsou významově bližší než třeba „pes“ a „auto“. Proto přichází další důležitý krok — embedding.

Embedding převádí tokeny na matematické vektory — tedy dlouhé seznamy čísel, které reprezentují význam daného slova nebo části textu.

Můžeme si to představit jako umístění slov do vícerozměrného prostoru. Slova s podobným významem se v tomto prostoru nacházejí blízko sebe.

Například:

• „pes“ bude blízko slovům „kočka“, „zvíře“ nebo „štěně“,
• „programování“ bude blízko slovům „Python“, „algoritmus“ nebo „software“,
• „jablko“ bude blízko slovům „ovoce“ nebo „hruška“.

Každé slovo tedy dostane svůj matematický „otisk významu“.

Ve skutečnosti může embedding vypadat například takto:

"Python" →
[0.12, -0.84, 1.33, 0.05, ...]

Tyto vektory často obsahují stovky nebo tisíce čísel. Člověk z nich přímo nic nevyčte, ale neuronová síť díky nim dokáže matematicky pracovat s významem slov a vztahy mezi nimi.

Právě embeddingy umožňují modelům:

• chápat podobnost mezi slovy,
• vyhledávat související informace,
• překládat mezi jazyky,
• generovat smysluplný text,
• nebo například hledat podobné dokumenty.

Zajímavé je, že embeddingy často zachytí i velmi abstraktní vztahy. Model se například může naučit, že:

král - muž + žena ≈ královna

Nejde o klasické „uložené definice“, ale o matematické vztahy vzniklé učením na obrovském množství textů.

Embedding je tedy jeden z klíčových důvodů, proč dnešní AI nepůsobí jako jednoduchý chatbot založený na pevných pravidlech, ale dokáže pracovat s významem a souvislostmi v jazyce.

Positional Encoding — jak model pozná pořadí slov

Po převedení tokenů na embeddingy vznikne další problém. Model sice už má matematickou reprezentaci významu jednotlivých slov, ale stále neví, v jakém pořadí za sebou slova následují.

A právě pořadí slov je v jazyce velmi důležité.

Například věty:

„Pes pokousal člověka.“

a

„Člověk pokousal psa.“

obsahují stejná slova, ale mají úplně jiný význam pouze kvůli odlišnému pořadí.

Samotné embeddingy však informaci o pořadí neobsahují. Model tedy potřebuje nějak zjistit:

• které slovo bylo první,
• které druhé,
• jak daleko jsou jednotlivá slova od sebe,
• a jaká je struktura celé věty.

Proto se k embeddingům přidává takzvaný positional encoding — tedy matematická informace o pozici tokenu v textu.

Zjednodušeně si to můžeme představit takto:

Token:      ["Pes", "pokousal", "člověka"]
Pozice:        1         2           3

Každý token tedy dostane:

• informaci o svém významu (embedding),
• a zároveň informaci o své pozici ve větě.

Díky tomu může model později rozlišit:

• začátek a konec věty,
• pořadí slov,
• vztahy mezi blízkými a vzdálenými částmi textu,
• nebo například strukturu delších odstavců.

Transformer — srdce moderních jazykových modelů

Jakmile jsou tokeny převedeny na embeddingy, přichází nejdůležitější část celého modelu — transformer.

Právě architektura transformeru stojí za obrovským pokrokem moderní AI a umožnila vznik modelů jako ChatGPT nebo Gemini.

Transformer je typ neuronové sítě navržený speciálně pro práci s jazykem a sekvencemi dat. Jeho hlavním úkolem je pochopit vztahy mezi jednotlivými částmi textu.

Na rozdíl od starších modelů nečte text pouze postupně slovo po slovu, ale analyzuje celý kontext najednou a hledá souvislosti mezi tokeny.

Například ve větě:

„Programátor opravil chybu, protože ji našel v kódu.“

musí model pochopit:

• že „ji“ odkazuje na „chybu“,
• že „našel“ souvisí s programátorem,
• a že celý význam věty závisí na vztazích mezi více slovy najednou.

Právě transformer umožňuje tyto vztahy efektivně analyzovat.

Attention mechanismus

Klíčovou součástí transformeru je takzvaný attention mechanismus — mechanismus pozornosti.

Ten funguje podobně jako lidská pozornost při čtení textu. Když čteme větu, také si nevšímáme všech slov stejně. Některá slova jsou důležitější než jiná.

Transformer při generování každého tokenu vyhodnocuje, na která předchozí slova se má zaměřit, která část textu je důležitá, a jak spolu jednotlivé části souvisejí.

Například u otázky:

„Který programovací jazyk vytvořil Guido van Rossum?“

model zaměří pozornost hlavně na:

• „programovací jazyk“,
• „vytvořil“,
• „Guido van Rossum“.

Díky tomu dokáže správně odvodit odpověď „Python“.

Proč byl transformer revoluční?

Před transformerem měly jazykové modely velký problém s delším kontextem. Starší architektury často „zapomínaly“, co bylo na začátku věty nebo textu.

Transformer tento problém výrazně zlepšil:

• dokáže pracovat s dlouhým kontextem,
• lépe chápe vztahy mezi slovy,
• umožňuje paralelní výpočty na GPU,
• a velmi dobře škáluje na obrovské modely.

Právě díky tomu dnes mohou LLM:

• psát dlouhé texty,
• programovat,
• překládat,
• shrnovat dokumenty,
• analyzovat data,
• nebo vést relativně přirozenou konverzaci.

Architektura transformeru byla představena v roce 2017 ve vědeckém článku:

Attention Is All You Need

a prakticky změnila celý svět moderní AI.

Transformer na konci výpočtu nevygeneruje rovnou celou odpověď.
Místo toho vytvoří pravděpodobnosti pro další možný token.

Například pokud se uživatel zeptá:

Jak udělám for cyklus v Pythonu?

model může spočítat například tyto pravděpodobnosti:

"for"   → 72 %
"while" → 12 %
"print" → 4 %

Z těchto možností vybere jeden token — například:

for

Tento token se následně přidá do kontextu.

Model tedy nově nevidí pouze původní otázku:

Jak udělám for cyklus v Pythonu?

ale:

Jak udělám for cyklus v Pythonu? for

A celý proces začne znovu:

• tokenizace,
• embedding,
• attention,
• Transformer vrstvy,
• výpočet pravděpodobností dalšího tokenu.

Model pak může vygenerovat další token:

i

a kontext se opět rozšíří:

Jak udělám for cyklus v Pythonu? for i

Takto vzniká odpověď postupně — token po tokenu:

for

↓

for i

↓

for i in

↓

for i in range(10):

↓

for i in range(10):
    print(i)

Celý tento cyklus běží stále dokola.
Model vždy:

1. vezme aktuální kontext,
2. spočítá pravděpodobnosti dalšího tokenu,
3. vybere token,
4. přidá ho zpět do kontextu,
5. a pokračuje dál.

Kdy se proces zastaví?

Nejčastěji ve chvíli, kdy model narazí na speciální:

STOP token

To je speciální symbol, který říká:

„Odpověď je hotová.“

Generování může skončit také tehdy, když:

• model dosáhne maximálního počtu tokenů,
• uživatel generování zastaví,
• nebo systém nastaví limit délky odpovědi.

Právě proto AI odpověď „píše“ postupně, podobně jako člověk píšící text slovo po slovu — jen pod povrchem probíhá obrovské množství matematických výpočtů nad vektory a maticemi.

Jak se LLM učí?

Teď už zhruba tušíme, jak LLM funguje během generování odpovědi.
Ale mnohem zajímavější otázka je:

Jak se to celé vlastně naučí?

Samotný algoritmus totiž na začátku „nic neví“.
Je to v podstatě nepopsaný list — podobně jako narozené mládě.

A slovo mládě používám záměrně.

Když se narodí člověk, pes, delfín nebo třeba krkavec, také nemají okamžitě hotové znalosti světa.
Mají pouze:

• určitou strukturu mozku,
• schopnost učit se,
• a potenciál vytvářet si model reality na základě zkušeností.

U neuronových sítí je to v určitém smyslu podobné.

Na začátku existuje:

• architektura modelu,
• matematická pravidla,
• miliardy parametrů s náhodnými hodnotami,
• ale žádné skutečné porozumění.

Model se musí vše naučit z dat.

A právě zde začíná fascinující část celé AI revoluce.

Inteligenci si totiž často spojujeme výhradně s biologickým životem.
Jenže LLM je zvláštní případ:

systém, který vykazuje některé projevy inteligence, ale není živý.

Proto dávám slovo „živý“ do uvozovek.

LLM:

• nemá biologii,
• nemá instinkty,
• nemá emoce,
• nechce přežít,
• necítí bolest,
• ani nemá vědomí tak, jak ho chápeme u člověka.

Přesto:

• dokáže řešit problémy,
• programovat,
• překládat,
• analyzovat text,
• pracovat s abstrakcemi,
• a vést překvapivě smysluplnou konverzaci.

A právě proto se dnes vedou obrovské spory o tom, zda je LLM skutečně inteligentní.

Jedna skupina tvrdí:

„Je to jen statistický model predikující další token.“

Druhá namítá:

„Pokud systém dokáže vykazovat chování, které běžně označujeme jako inteligentní, není to už určitá forma inteligence?“

A tady narážíme na možná ještě hlubší problém:

Dodnes vlastně přesně nevíme, co inteligence je.

U biologických organismů inteligenci obvykle spojujeme se schopností:

• učit se,
• adaptovat,
• rozpoznávat vzory,
• plánovat,
• řešit nové situace,
• pracovat s abstrakcemi.

A mnoho z těchto vlastností dnešní LLM alespoň částečně vykazuje.

Jenže pod povrchem stále probíhá „pouze“ matematika:

• násobení matic,
• práce s vektory,
• optimalizace parametrů,
• a predikce dalších tokenů.

Otázka tedy možná nezní:

„Je LLM inteligentní?“

ale spíše:

„Je inteligence nakonec jen extrémně složitý proces zpracování informací?“

Ukažme si princip učení znovu na schématu.

Na schématu můžete vidět zjednodušený princip učení velkého jazykového modelu (LLM). Model na začátku ještě neumí odpovídat smysluplně. Má sice připravenou architekturu neuronové sítě, ale její parametry zatím nejsou nastavené tak, aby dokázala dobře pracovat s jazykem.

Celý proces učení lze zjednodušeně shrnout do několika kroků:

• Model dostane obrovské množství textových dat — například knihy, články, dokumentaci, webové stránky nebo programový kód.
• Text se rozdělí na menší části zvané tokeny.
• Model dostane část textu a pokusí se odhadnout, jaký token bude následovat.
• Na začátku se často plete, protože jeho parametry jsou nastavené téměř náhodně.
• Jeho odhad se porovná se skutečným pokračováním textu.
• Z rozdílu mezi odhadem a správnou odpovědí se spočítá chyba, takzvaný loss.
• Pomocí algoritmu zvaného backpropagation se zjistí, které parametry modelu se na chybě podílely.
• Následně se parametry modelu mírně upraví tak, aby příště udělal menší chybu.
• Tento proces se opakuje obrovské množství krát na obrovském množství příkladů.
• Postupně se model naučí gramatiku, významové vztahy, styl psaní, programovací vzory i složitější souvislosti mezi pojmy.

Důležité je pochopit, že model se neučí tak, že by mu někdo ručně vysvětloval pravidla jazyka nebo programování. Učí se tím, že znovu a znovu předpovídá další token a podle chyby upravuje své vnitřní parametry.

Právě z tohoto jednoduchého principu postupně vznikne systém, který dokáže psát texty, překládat, programovat, vysvětlovat pojmy nebo vést dialog.

Pojďme se na to podívat postupně krok po kroku.

Začátek je podobný jako u samotného generování odpovědi. Modelu dáme část věty a jeho úkolem je odhadnout následující token.

Například:

Python je programovací ...

Většina z nás by pravděpodobně doplnila slovo jazyk.

Nezkušený model ale na začátku nemusí mít žádnou představu o tom, co do věty patří. Může proto navrhnout třeba slovo banán.

To je samozřejmě špatně.

Aby se model mohl zlepšovat, nestačí mu pouze říct:

„To je špatně.“

Kdyby dostal jen jednoduchou informaci ve stylu správně/špatně, tedy 1 nebo 0, věděl by sice, že odpověď nevyšla, ale nevěděl by, jak moc se spletl ani jakým směrem má své vnitřní nastavení upravit.

Proto se při trénování počítá chyba — takzvaný loss.
Ta modelu neříká jen to, že odpověď byla špatná, ale také jak moc byla špatná. Právě díky tomu může model postupně upravovat své parametry tak, aby příště zvýšil pravděpodobnost správného pokračování.

Loss funkce

Loss funkce je matematický mechanismus, který měří, jak moc se model spletl.
Můžeme si ji představit jako jakýsi „ukazatel chyby“. Čím horší odpověď model vytvoří, tím vyšší hodnotu loss funkce dostane. Pokud model správně odhadne další token, bude chyba malá. Pokud místo očekávaného slova jazyk navrhne například banán, bude chyba naopak velmi vysoká.

Důležité je, že loss funkce neposkytuje pouze informaci „správně“ nebo „špatně“. Vrací číselnou hodnotu, která říká, jak moc byla predikce vzdálená správné odpovědi. Díky tomu může neuronová síť postupně upravovat své parametry správným směrem.

V praxi model často nepředpovídá jen jedno slovo, ale vytváří pravděpodobnosti pro mnoho možných tokenů:

jazyk -> 70 %
nástroj -> 15 %
banán -> 0.01 %

Loss funkce následně vyhodnotí, jak blízko byl model správnému výsledku. Pokud model přiřadil správnému tokenu vysokou pravděpodobnost, chyba bude malá. Pokud správný token téměř ignoroval, chyba bude vysoká.

Právě minimalizace této chyby je hlavním cílem celého trénování LLM. Model se během miliard iterací snaží postupně upravovat své parametry tak, aby byla výsledná chyba co nejmenší.

Nejčastěji používaná loss funkce u LLM je:

Cross-entropy loss

Pro jeden správný token vypadá zjednodušeně takto:

Loss = -log(p)

kde:

• p je pravděpodobnost, kterou model přiřadil správnému tokenu,
• log je logaritmus,
• mínus zajišťuje, že chyba je kladná.

Například:

správný token = "jazyk"
pravděpodobnost = 0.7

Pak:

Loss = -log(0.7) ≈ 0.36

To je poměrně malá chyba.

Pokud by ale model správnému tokenu věřil jen:

0.001

pak:

Loss = -log(0.001) ≈ 6.9

což je mnohem větší chyba.

Právě díky tomu model dostává silný signál:

„Tahle odpověď byla opravdu špatně.“

Backpropagation

Jakmile model spočítá hodnotu loss funkce, ví už, jak moc byla jeho odpověď špatná.
Stále ale neví jednu zásadní věc:

Které parametry neuronové sítě tuto chybu způsobily?

A právě zde přichází na řadu jeden z nejdůležitějších algoritmů moderního strojového učení:

Backpropagation

Slovo backpropagation bychom mohli volně přeložit jako:

„zpětné šíření chyby“

Princip je poměrně elegantní.
Model vezme výslednou chybu a začne ji postupně šířit neuronovou sítí směrem zpět — od výstupu až k jednotlivým parametrům uvnitř modelu.

Pomocí derivací a pravidel diferenciálního počtu se u každého parametru spočítá:

Jak moc tento parametr přispěl k výsledné chybě?

Výsledkem je takzvaný gradient. Pokud vám slovo gradient něco připomíná, není to náhoda — jde o stejný matematický koncept, který se používá například ve fyzice nebo při modelování polí. Gradient totiž říká, jakým směrem se něco mění nejrychleji. Pokud vás zajímá intuitivní vysvětlení gradientu, detailně jsem ho rozebíral v článku:

Zapomeňte na e-shopy: Python umí modelovat realitu (2. díl) – co je gradient?

V minulém článku jsme si ukázali, co je pole a jak ho vizualizovat v Pythonu. Teď jdeme dál – pochopíme gradient, tedy jak se pole v prostoru mění a jak z něj číst informace o reálných jevech.

Daniel KopeckýDaniel Kopecký

V případě neuronových sítí gradient říká:

• kterým směrem parametr změnit,
• a jak velkou změnu provést,
  aby byla výsledná chyba menší.

Pokud bychom si celý proces představili jako pohyb v krajině, pak loss funkce vytváří jakýsi terén:

• vysoká chyba = vysoký kopec,
• nízká chyba = údolí.

Backpropagation pak modelu říká:

„Tudy vede cesta z kopce dolů.“

Samotná úprava parametrů se následně provádí pomocí optimalizačních algoritmů, například:

• Gradient Descent,
• Adam,
• AdamW,
• RMSProp.

Tyto algoritmy postupně upravují miliardy parametrů neuronové sítě tak, aby model při příštím pokusu udělal menší chybu.

Celý proces se opakuje znovu a znovu:

predikce
↓
výpočet chyby
↓
backpropagation
↓
úprava parametrů
↓
další pokus

A právě díky miliardám těchto drobných oprav se model postupně naučí:

• jazyk,
• programování,
• gramatiku,
• vztahy mezi pojmy,
• i složitější abstraktní vzory.

Konec tréninku

Kdy vlastně trénování skončí?
Teoreticky by se model mohl učit téměř neustále. V praxi ale musí vývojáři v určité chvíli rozhodnout, že další zlepšování už nepřináší dostatečný efekt vzhledem k obrovským výpočetním nákladům.

Během trénování se průběžně sleduje hodnota loss funkce. Pokud chyba dlouhodobě klesá, model se stále učí nové vzory a zlepšuje své odpovědi. Postupně ale nastane moment, kdy se zlepšení začne výrazně zpomalovat — model už získal většinu informací, které dokáže z dostupných dat vytěžit.

Trénování se obvykle ukončí například tehdy, když:

• loss funkce přestane výrazně klesat,
• další trénování už zlepšuje výsledky jen minimálně,
• model začne být nestabilní,
• nebo se začne objevovat problém zvaný overfitting.

Overfitting znamená, že se model začne až příliš „učit nazpaměť“ konkrétní trénovací data místo toho, aby se učil obecné vzory. Takový model pak může fungovat skvěle na známých datech, ale hůře na nových situacích.

Dalším důležitým faktorem jsou obrovské náklady. Trénování moderních LLM:

• trvá týdny až měsíce,
• běží na tisících GPU,
• spotřebovává obrovské množství elektřiny,
• a stojí miliony dolarů.

Proto je trénování vždy určitým kompromisem mezi:

• kvalitou modelu,
• časem,
• cenou,
• a dostupným hardwarem.

Po dokončení základního trénování často následují ještě další fáze:

• fine-tuning na specializovaná data,
• bezpečnostní úpravy,
• nebo učení z lidské zpětné vazby (RLHF).

Výsledný model se pak „zmrazí“ a nasadí do produkce, kde už pouze generuje odpovědi pro uživatele.

Proč AI někdy „halucinuje“?

Jedním z největších problémů dnešních LLM jsou takzvané halucinace. Tento pojem označuje situaci, kdy AI vytvoří informaci, která zní velmi přesvědčivě, ale ve skutečnosti je nepravdivá, smyšlená nebo technicky nesprávná.

Model totiž ve skutečnosti „nehledá pravdu“ stejným způsobem jako člověk nebo klasický vyhledávač. Jeho hlavním cílem je predikovat statisticky nejpravděpodobnější pokračování textu na základě naučených vzorů.

Právě proto může AI někdy:

• vymyslet neexistující citaci nebo zdroj,
• uvést špatný právní paragraf,
• vytvořit neexistující vědeckou studii,
• napsat nefunkční programový kód,
• nebo velmi sebevědomě tvrdit něco, co není pravda.

Z pohledu modelu totiž nejde o „lež“ v lidském smyslu. Model nemá vědomí ani úmysl klamat. Pouze generuje text, který statisticky odpovídá tomu, jak podobné odpovědi vypadaly v trénovacích datech.

To je také důvod, proč mohou být odpovědi AI někdy nebezpečné — zejména v oblastech jako právo, medicína nebo bezpečnost. Výstup může působit odborně a sebejistě, přestože obsahuje chyby.

Proto je důležité chápat LLM především jako velmi silný nástroj pro práci s informacemi a generování textu — ne jako neomylnou autoritu, která má vždy pravdu.

Možná nejdůležitější myšlenka celého článku ale je, že moderní AI není databáze hotových odpovědí ani digitální člověk ukrytý uvnitř počítače.

Ve své podstatě jde o obrovský matematický systém, který se naučil modelovat strukturu lidského jazyka, vztahy mezi pojmy a vzory v datech.

Když dnes komunikujete s LLM, ve skutečnosti nevedete rozhovor s bytostí, která „rozumí“ světu stejně jako člověk. Komunikujete se systémem, který se na základě miliard textů naučil velmi přesně odhadovat, jak by měl pokračovat lidský jazyk.

A právě v tom je dnešní AI zároveň fascinující i nebezpečná.

Na jedné straně dokáže pomáhat s programováním, učením, analýzou dat, psaním textů nebo vědeckou prací. Na druhé straně ale může velmi přesvědčivě vytvářet chyby, nepřesnosti nebo smyšlené informace.

Čím lépe proto chápeme, jak LLM fungují, tím lépe je dokážeme používat — a tím menší je šance, že se z AI stane jen další „kouzelná černá skříňka“, které lidé slepě důvěřují.

Teď už ale přichází ta praktická část.

Jakmile pochopíte, že LLM nepřemýšlí jako člověk, ale pracuje s kontextem, pravděpodobností a strukturou textu, začne být mnohem jasnější, proč kvalita zadání dramaticky ovlivňuje kvalitu odpovědi.

Prompt totiž není jen „otázka pro AI“.
Je to způsob, jak modelu vytvořit správný kontext a nasměrovat jeho generování požadovaným směrem.

Ve chvíli, kdy začnete AI zadávat informace strukturovaně, přesně a s pochopením toho, jak model funguje, mohou se výsledky zlepšit až překvapivě výrazně.

V dalším díle si proto ukážeme:

• jak správně psát prompty,
• proč záleží na formulaci zadání,
• jak AI pracuje s kontextem,
• proč některé prompty selhávají,
• a jak z AI dostat výrazně lepší výsledky nejen při programování, ale i při běžné práci.

A právě tam se z běžného používání AI začíná stávat skutečně silný nástroj.