Token
Stručně
Jednotka textu, po které AI model čte a píše — zhruba tři čtvrtě slova. Modely i ceny se počítají v tokenech.
Token není slovo, ale kus textu. Běžná slova jsou jeden token, dlouhá a neobvyklá se drolí, a čeština potřebuje znatelně víc tokenů než angličtina, protože slovní zásoba modelů je postavená hlavně na angličtině.
Proč vás to má zajímat
Každý ceník je v tokenech: vstupní při odeslání promptu, výstupní, když model odpovídá. Poslat modelu desetkrát dlouhý dokument stojí víc než jednou uložit shrnutí.
Dva praktické důsledky. Za prvé, české prompty a české dokumenty stojí zhruba 1,5–2× víc než stejný obsah v angličtině, takže velký český RAG korpus je položka, kterou je dobré počítat. Za druhé, limit paměti modelu je taky v tokenech (kontextové okno) a odpověď se do něj počítá.
Jak to udržet levné
Nejdřív měřte: logujte tokeny na požadavek. Pak zkraťte, co je zjevné — kratší systémový prompt, méně few-shot příkladů, které už nepomáhají, a posílání jen relevantní části dokumentu místo celého.
Když mají odpovědi tendenci být dlouhé, explicitní limit délky v promptu ušetří často víc než jakýkoliv technický trik. Nejcennější je funkce, která se nespustí, když se uživatel zeptá mimo zadání.
Zdroje
Související pojmy
Velký jazykový model
Model natrénovaný na obrovském množství textu, který odhaduje další token — a to stačí na psaní, vysvětlování, překlad i úsudek.
Kontextové okno
Maximum textu, které model zvládne najednou — pokyny, historie, dokumenty a vlastní odpověď dohromady.
Embedding
Seznam čísel, který zachytí význam textu — texty s podobným významem tak skončí blízko sebe.