Čo počíta táto kalkulačka tokenov?
Počíta tokeny v zadanom texte podľa pravidiel tokenizácie GPT o200k_base. Zobrazuje aj počty slov, znakov a bielych znakov. Tokeny môžu obsahovať slovo, časť slova, interpunkciu či biele znaky.
Spočítané pomocou tokenizácie GPT. Iné modely môžu poskytnúť odlišné výsledky.
Súbory sa počítajú lokálne po jednom. Spočíta sa celý obsah bez načítania do textového editora. Vyberte dokončený súbor na náhľad prvých 500 tokenov.
Uvedené počty medzier, nových riadkov a tabulátorov sú počty znakov. Biele znaky môžu zdieľať token s okolitým textom, preto tieto čísla nemožno odčítať od celkového počtu tokenov.
Jeden znak môže zaberať viacero tokenov. Jednotlivé bajtové fragmenty sa zobrazujú ako šestnástkové hodnoty, aby pôvodný text zostal neporušený.
Týmto bezplatným počítadlom a kalkulačkou tokenov zmerajte text pred použitím v zadaní pre AI. Pozrite si počty tokenov, slov a znakov, skontrolujte biele znaky a preskúmajte rozdelenie textu na tokeny.
Počíta tokeny v zadanom texte podľa pravidiel tokenizácie GPT o200k_base. Zobrazuje aj počty slov, znakov a bielych znakov. Tokeny môžu obsahovať slovo, časť slova, interpunkciu či biele znaky.
Nie. Token môže obsahovať viac znakov či iba časť slova a jeden znak môže používať viac tokenov. Aj emoji a písmená s kombinačnými znamienkami môžu zaberať viac tokenov, hoci vyzerajú ako jeden znak. Pevný pomer znakov a tokenov neexistuje.
Podporované sú všetky tri jazyky, ale zoskupenie CJK im nedáva spoločný počet tokenov na znak. Bežné sekvencie znakov môžu tvoriť jeden token, zatiaľ čo jediný znak či slabika sa môže rozdeliť na viacero. Počet závisí od skutočného textu a pravidiel tokenizácie, nie iba od jazyka.
Počítadlo podporuje aj latinské, cyrilické, arabské, indické a ďalšie písma vrátane viacjazyčného textu. Slová sa môžu rozdeliť na menšie časti, preto anglické odhady podľa slov či znakov neplatia pre každý jazyk. Preklady rovnakej vety môžu mať odlišný počet tokenov.
V moderných prehliadačoch sa znak Han, japonská kana, kórejská slabika či latinské písmeno zvyčajne počíta ako jeden znak. Písmeno s kombinovanou diakritikou či zložené emoji zvyčajne tiež. Biele znaky a interpunkcia sú zahrnuté. Slová sledujú jazykové hranice, preto sa text CJK nepovažuje za jediné slovo len pre chýbajúce medzery. Oba počty sú oddelené od tokenov.
Medzery a ďalšie biele znaky sú zahrnuté do počtu tokenov. Medzera sa môže spojiť s nasledujúcim slovom alebo tvoriť samostatný token. Jej odstránenie môže zmeniť okolité hranice tokenov, preto jedna medzera neznamená vždy jeden token.
Nie. Modely môžu používať rôzne pravidlá tokenizácie. Nástroj poskytuje referenčný počet GPT pre obyčajný text. Úplné četové požiadavky môžu obsahovať aj roly, formátovanie správ a definície nástrojov, preto sa ich celková spotreba môže líšiť.
Nie. Text a importované súbory sa počítajú vo vašom prehliadači. Nástroj ich obsah neodosiela službe na počítanie.
Neexistuje pevný limit dĺžky textu ani veľkosti súboru. Veľké vstupy trvajú dlhšie a závisia od pamäte zariadenia. Súborový režim počíta každý celý súbor bez vloženia do textového editora a pri zrušení zachová dokončené výsledky. Náhľady zobrazujú iba prvých 500 tokenov; správy CSV obsahujú úplné počty.
Súvisiace nástroje: Počítadlo slov
Formátujte a skrášľujte Java, Python, JavaScript, JSON, HTML a ďalšie jazyky; upravujte odsadenie, medzery a zalomenia riadkov.
Skracujte, spájajte alebo rozdeľujte nahrávky, odstraňujte ticho či šum a upravujte hlasitosť, rýchlosť, výšku tónu alebo kanály.
Otvárajte a upravujte tabuľky CSV či Excel, formátujte tabuľkový text a prevádzajte CSV na Excel alebo SQL.
Píšte a zobrazujte náhľad Markdown, vykresľujte diagramy Mermaid a prevádzajte Markdown, HTML a tabuľky medzi formátmi.
Porovnávajte úryvky, počítajte slová a kľúčové slová, zoraďujte či nahrádzajte riadky a prezerajte text DOCX.
Vyhľadávajte čínske významy, synonymá a antonymá alebo výslovnosti IPA vo viacerých jazykoch.
Prevádzajte medzi MP3, WAV, FLAC a ďalšími formátmi, prehrávajte zvuk alebo surové PCM a kontrolujte či upravujte zvukové metadáta.
Kontrolujte, porovnávajte a overujte JSON; testujte výrazy JSONPath alebo prevádzajte údaje na CSV, YAML a XML.
Prepíšte reč zo zvuku na text, vytvorte reč z textu alebo nahrajte svoj hlas v prehliadači.
Prevádzajte a komprimujte video, strihajte či spájajte klipy, meňte veľkosť snímok a extrahujte zvuk.
Prehrávajte miestne alebo streamované video, nahrávajte obrazovku či kameru a používajte kameru ako online zrkadlo.
Komprimujte alebo spájajte PDF, rozdeľujte a preusporiadajte strany, prevádzajte strany na obrázky a prezerajte či porovnávajte dokumenty.
Prevádzajte obrazové formáty, meňte veľkosť či orezávajte fotografie, komprimujte súbory, porovnávajte obrázky a extrahujte text pomocou OCR.
Zachytávajte a upravujte snímky obrazovky, meňte text na obrázky alebo GIF, kreslite na tabuľu a vytvárajte oblaky slov či ikony favicon.
Upravujte titulky SRT či VTT s náhľadom videa, posúvajte časovanie, prevádzajte formáty a spravujte stopy titulkov.
Otvárajte súbory ZIP, 7Z, RAR alebo TAR, extrahujte vybraný obsah a vytvárajte nové archívy s voliteľnými heslami ZIP/7Z.
Kódujte a dekódujte Base64 alebo Base32, escapujte URL, HTML a text Unicode a kontrolujte obsah JWT.
Prevádzajte číselné sústavy a hodnoty medzi dvojkovým, desiatkovým a šestnástkovým zápisom, čísla na slová alebo text na dvojkový zápis.
Počítajte percentá a zlomky, sumarizujte štatistiky a vypočítajte známky, zľavy alebo pomery strán.
Zobrazte online hodiny, spustite odpočítavanie či stopky a vypočítajte dátumy, vek alebo rozdiely medzi časovými pásmami.
Skontrolujte svoju IP adresu a pripojenie IPv6, preskúmajte požiadavky HTTP či súbory HAR a vypočítajte rozsahy adries CIDR.
Prevádzajte jednotky dĺžky, hmotnosti, teploty, dátového úložiska a ďalšie jednotky.
Prevádzajte hodnoty HEX, RGB a HSL, extrahujte farby z obrázka, kontrolujte kontrast alebo testujte displej jednofarebnými plochami.
Vytvárajte a skenujte QR kódy či čiarové kódy vrátane QR kódov pre odkazy a siete Wi-Fi.
Generujte odtlačky, UUID a heslá, testujte regulárne výrazy, vytvárajte identifikátory URL a kontrolujte oprávnenia súborov.
Skontrolujte rozlíšenie a obnovovaciu frekvenciu obrazovky, merajte pravítkom na obrazovke, otestujte klávesy alebo čítajte z čítačky textu.
2048, Míny, Sudoku, Gomoku, Tanková bitka