Co tato kalkulačka tokenů počítá?
Počítá tokeny v zadaném textu podle pravidel tokenizace GPT o200k_base. Zobrazuje také počty slov, znaků a bílých znaků. Token může obsahovat slovo, část slova, interpunkci nebo bílé znaky.
Počítáno pomocí tokenizace GPT. Jiné modely mohou dávat jiné výsledky.
Soubory se počítají místně, jeden po druhém. Započítá se celý obsah bez načtení do textového editoru. Výběrem dokončeného souboru zobrazíte náhled prvních 500 tokenů.
Mezery, konce řádků a tabulátory jsou počty znaků. Bílé znaky mohou sdílet token s okolním textem, takže tato čísla nelze odečíst od celkového počtu tokenů.
Jeden znak může zabírat více tokenů. Jednotlivé fragmenty bajtů se zobrazují šestnáctkově, aby původní text zůstal zachován.
Pomocí tohoto bezplatného počítadla a kalkulačky tokenů změřte text před použitím v promptu AI. Prohlédněte si počty tokenů, slov a znaků, bílé znaky a rozdělení textu na tokeny.
Počítá tokeny v zadaném textu podle pravidel tokenizace GPT o200k_base. Zobrazuje také počty slov, znaků a bílých znaků. Token může obsahovat slovo, část slova, interpunkci nebo bílé znaky.
Ne. Token může obsahovat několik znaků nebo jen část slova a jeden znak může využívat více tokenů. Emoji a písmena s kombinujícími znaménky mohou také používat více tokenů, i když vypadají jako jediný znak. Pevný poměr znaků k tokenům neexistuje.
Všechny tři jazyky jsou podporovány, ale společné označení CJK neznamená stejný počet tokenů na znak. Běžné posloupnosti znaků mohou tvořit jeden token, zatímco jediný znak nebo slabika se může rozdělit na několik. Počet závisí na skutečném textu a pravidlech tokenizace, nejen na jazyce.
Počítadlo podporuje také latinku, cyrilici, arabská, indická a další písma včetně vícejazyčných textů. Slova se mohou dělit na menší části, takže odhady podle anglických slov nebo znaků neplatí pro každý jazyk. Překlady stejné věty mohou mít různý počet tokenů.
V moderních prohlížečích se čínský znak, japonská kana, korejská slabika nebo latinské písmeno obvykle počítá jako jeden znak. Písmeno s kombinujícím přízvukem nebo složené emoji se obvykle také počítá jako jeden znak. Bílé znaky a interpunkce se zahrnují. Slova se určují podle jazykových hranic, takže text CJK není jedním slovem jen proto, že nemá mezery. Oba počty jsou oddělené od tokenů.
Mezery a další bílé znaky se do tokenů započítávají. Mezera se může spojit s následujícím slovem nebo tvořit samostatný token. Odstranění mezery může změnit hranice okolních tokenů, takže jedna mezera neznamená vždy jeden token.
Ne. Modely mohou používat různá pravidla tokenizace. Tento nástroj poskytuje referenční počet pro GPT u prostého textu. Úplné chatové požadavky mohou obsahovat také role, formátování zpráv a definice nástrojů, takže celkové využití se může lišit.
Ne. Text a importované soubory se počítají v prohlížeči. Nástroj jejich obsah neposílá do služby pro počítání.
Neexistuje pevný limit délky textu ani velikosti souboru. Velké vstupy zaberou více času a závisejí na dostupné paměti zařízení. Režim souborů počítá každý celý soubor bez vložení do editoru a při zrušení zachová dokončené výsledky. Náhledy ukazují jen prvních 500 tokenů; zprávy CSV obsahují úplné počty.
Související nástroje: Počítadlo slov
Formátujte a zpřehledňujte Java, Python, JavaScript, JSON, HTML a další; upravujte odsazení, mezery a zalomení řádků.
Ořezávejte, spojujte nebo rozdělujte nahrávky, odstraňujte ticho či šum a upravujte hlasitost, rychlost, výšku tónu nebo kanály.
Otevírejte a upravujte listy CSV či Excel, formátujte tabulkový text a převádějte CSV do Excelu nebo SQL.
Pište a prohlížejte Markdown, vykreslujte diagramy Mermaid a převádějte Markdown, HTML a tabulky mezi formáty.
Porovnávejte pasáže, počítejte slova a klíčová slova, řaďte či nahrazujte řádky a prohlížejte text DOCX.
Vyhledávejte čínské významy, synonyma a antonyma nebo výslovnost IPA v několika jazycích.
Převádějte MP3, WAV, FLAC a další formáty, přehrávejte zvuk nebo surové PCM a prohlížejte či upravujte zvuková metadata.
Prohlížejte, porovnávejte a ověřujte JSON, testujte výrazy JSONPath nebo převádějte data do CSV, YAML a XML.
Přepisujte zvuk na text, generujte řeč z textu nebo nahrávejte svůj hlas v prohlížeči.
Převádějte a komprimujte video, ořezávejte či spojujte klipy, měňte rozměry obrazu a extrahujte zvuk.
Přehrávejte místní nebo streamované video, nahrávejte obrazovku či kameru a používejte kameru jako online zrcadlo.
Komprimujte nebo spojujte PDF, rozdělujte a přeskupujte stránky, převádějte je na obrázky a prohlížejte či porovnávejte dokumenty.
Převádějte formáty obrázků, měňte velikost či ořezávejte fotografie, komprimujte soubory, porovnávejte obrázky a získávejte text pomocí OCR.
Pořizujte a zkrášlujte snímky obrazovky, měňte text na obrázky či GIF, kreslete na tabuli a vytvářejte slovní mraky nebo favicony.
Upravujte titulky SRT či VTT s náhledem videa, posouvejte časování, převádějte formáty a spravujte titulkové stopy.
Otevírejte soubory ZIP, 7Z, RAR nebo TAR, extrahujte vybraný obsah a vytvářejte nové archivy s volitelnými hesly ZIP/7Z.
Kódujte a dekódujte Base64 či Base32, escapujte URL, HTML a text Unicode a prohlížejte obsah JWT.
Převádějte číselné soustavy a hodnoty mezi dvojkovou, desítkovou a šestnáctkovou; měňte čísla na slova nebo text na dvojkový zápis.
Počítejte procenta a zlomky, shrnujte statistiky a vypočítejte známky, slevy nebo poměry stran.
Zobrazte online hodiny, spusťte odpočet či stopky a počítejte data, věk nebo rozdíly časových pásem.
Zkontrolujte IP a připojení IPv6, prohlížejte požadavky HTTP či soubory HAR a počítejte rozsahy adres CIDR.
Převádějte délku, hmotnost, teplotu, datovou kapacitu a další jednotky.
Převádějte hodnoty HEX, RGB a HSL, získávejte barvy z obrázku, kontrolujte kontrast nebo testujte displej jednolitými barvami.
Generujte a skenujte QR nebo čárové kódy včetně QR kódů pro odkazy a sítě Wi-Fi.
Generujte hashe, UUID a hesla, testujte regulární výrazy, vytvářejte URL slugy a kontrolujte oprávnění souborů.
Zkontrolujte rozlišení a obnovovací frekvenci displeje, měřte pravítkem na obrazovce, testujte klávesy nebo čtěte ze čtecího zařízení.
2048, Hledání min, Sudoku, Gomoku, Tanková bitva