Kaj šteje to računalo žetonov?
Prešteje žetone v vnesenem besedilu po pravilih tokenizacije GPT o200k_base. Prikaže tudi število besed, znakov in belih znakov. Žetoni lahko vsebujejo besedo, del besede, ločilo ali beli znak.
Prešteto z razčlenjevanjem na žetone GPT. Drugi modeli lahko dajo drugačne rezultate.
Datoteke se štejejo lokalno, ena za drugo. Prešteje se celotna vsebina brez nalaganja v urejevalnik besedila. Izberite končano datoteko za predogled prvih 500 žetonov.
Prikazane vrednosti presledkov, prelomov vrstic in tabulatorjev so števila znakov. Beli znaki si lahko delijo žeton z bližnjim besedilom, zato teh števil ne morete odšteti od skupnega števila žetonov.
Znak lahko obsega več žetonov. Posamezni bajtni deli so prikazani kot šestnajstiške vrednosti, da izvirno besedilo ostane nedotaknjeno.
S tem brezplačnim števcem in kalkulatorjem žetonov izmerite besedilo pred uporabo v pozivu AI. Oglejte si število žetonov, besed in znakov, preverite bele znake ter raziščite delitev besedila na žetone.
Prešteje žetone v vnesenem besedilu po pravilih tokenizacije GPT o200k_base. Prikaže tudi število besed, znakov in belih znakov. Žetoni lahko vsebujejo besedo, del besede, ločilo ali beli znak.
Ne. Žeton lahko vsebuje več znakov ali le del besede, en znak pa lahko uporablja več žetonov. Tudi emodžiji in črke s kombinirajočimi znamenji lahko porabijo več žetonov, čeprav so videti kot en znak. Fiksnega razmerja med znaki in žetoni ni.
Podprti so vsi trije jeziki, vendar skupina CJK ne pomeni skupnega števila žetonov na znak. Pogosta zaporedja znakov lahko tvorijo en žeton, en sam znak ali zlog pa se lahko razdeli na več. Število je odvisno od dejanskega besedila in pravil tokenizacije, ne le jezika.
Števec podpira tudi latinične, cirilične, arabske, indijske in druge pisave ter mešanojezično besedilo. Besede se lahko razdelijo na manjše dele, zato angleške ocene po besedah ali znakih ne veljajo za vsak jezik. Prevodi iste povedi imajo lahko različno število žetonov.
V sodobnih brskalnikih znak han, japonska kana, korejski zlog ali latinična črka običajno šteje kot en znak. Črka s kombiniranim naglasom ali sestavljen emodži običajno prav tako šteje kot en znak. Vključeni so beli znaki in ločila. Besede sledijo jezikovnim mejam, zato odlomek CJK ni ena beseda le zaradi odsotnosti presledkov. Obe štetji sta ločeni od žetonov.
Presledki in drugi beli znaki so vključeni v štetje žetonov. Presledek se lahko združi z naslednjo besedo ali je ločen žeton. Odstranitev presledka lahko spremeni bližnje meje žetonov, zato en presledek ne pomeni vedno enega žetona.
Ne. Modeli lahko uporabljajo različna pravila tokenizacije. Orodje poda referenčno štetje GPT za navadno besedilo. Celotne klepetalne zahteve lahko vsebujejo tudi vloge, oblikovanje sporočil in definicije orodij, zato se skupna poraba lahko razlikuje.
Ne. Besedilo in uvožene datoteke se preštejejo v brskalniku. Orodje njihove vsebine ne pošilja storitvi za štetje.
Ni fiksne omejitve dolžine besedila ali velikosti datoteke. Veliki vhodi zahtevajo več časa in so odvisni od pomnilnika naprave. Datotečni način prešteje vsako celotno datoteko brez nalaganja v urejevalnik ter ob preklicu ohrani končane rezultate. Predogledi pokažejo le prvih 500 žetonov, poročila CSV pa vključujejo celotna štetja.
Povezana orodja: Števec besed
Oblikuj in polepšaj Java, Python, JavaScript, JSON, HTML in druge jezike; prilagodi zamike, presledke in prelome vrstic.
Prireži, združi ali razdeli posnetke, odstrani tišino ali šum ter prilagodi glasnost, hitrost, višino tona ali kanale.
Odprite in urejajte preglednice CSV ali Excel, oblikujte besedilo v tabelah ter pretvarjajte CSV v Excel ali SQL.
Piši in predogledaj Markdown, izriši diagrame Mermaid ter pretvarjaj Markdown, HTML in tabele med oblikami.
Primerjajte odlomke, preštejte besede in ključne besede, razvrstite ali zamenjajte vrstice ter preglejte besedilo DOCX.
Poišči kitajske pomene, sopomenke in protipomenke ali izgovorjave IPA v več jezikih.
Pretvarjaj med MP3, WAV, FLAC in drugimi oblikami, predvajaj zvok ali surovi PCM ter pregleduj ali urejaj zvočne metapodatke.
Preglej, primerjaj in preveri JSON; preizkusi izraze JSONPath ali pretvori podatke v CSV, YAML in XML.
Prepišite govor iz zvoka v besedilo, ustvarite govor iz besedila ali posnemite svoj glas v brskalniku.
Pretvarjajte in stiskajte video, prirežite ali združite posnetke, spremenite velikost sličic in izločite zvok.
Predvajajte lokalni ali pretočni video, posnemite zaslon ali kamero ter uporabite kamero kot spletno ogledalo.
Stiskajte ali združujte datoteke PDF, razdelite in prerazporedite strani, pretvorite strani v slike ter pregledujte ali primerjajte dokumente.
Pretvarjaj slikovne oblike, spreminjaj velikost ali obrezuj fotografije, stiskaj datoteke, primerjaj slike in izvleci besedilo z OCR.
Zajemi in olepšaj posnetke zaslona, pretvori besedilo v slike ali GIF-e, riši na tablo ter ustvari besedne oblake ali ikone favicon.
Urejajte podnapise SRT ali VTT s predogledom videa, zamikajte čas, pretvarjajte formate in upravljajte podnapisne tokove.
Odpri datoteke ZIP, 7Z, RAR ali TAR, izvleci izbrano vsebino in ustvari nove arhive z neobveznimi gesli ZIP/7Z.
Kodiraj in dekodiraj Base64 ali Base32, pretvori URL-je, HTML in besedilo Unicode v ubežne zapise ter preglej vsebino JWT.
Pretvarjajte številske osnove in vrednosti med dvojiškim, desetiškim in šestnajstiškim zapisom, števila v besede ali besedilo v dvojiški zapis.
Izračunaj odstotke in ulomke, povzemi statistiko ter izračunaj ocene, popuste ali razmerja stranic.
Prikažite spletno uro, zaženite odštevalnik ali štoparico ter izračunajte datume, starost ali razlike med časovnimi pasovi.
Preverite svoj IP in povezavo IPv6, preglejte zahteve HTTP ali datoteke HAR ter izračunajte naslovne obsege CIDR.
Pretvarjaj enote dolžine, teže, temperature, shranjevanja podatkov in druge enote.
Pretvarjaj vrednosti HEX, RGB in HSL, izvleci barve iz slike, preveri kontrast ali preizkusi zaslon z enotnimi barvami.
Ustvarjajte in berite kode QR ali črtne kode, tudi kode QR za povezave in omrežja Wi-Fi.
Ustvari zgoščene vrednosti, UUID-je in gesla, preizkusi regularne izraze, ustvari spletne identifikatorje URL in preveri dovoljenja datotek.
Preverite ločljivost in hitrost osveževanja zaslona, merite z zaslonskim ravnilom, preizkusite tipke ali berite s teleprompterja.
2048, Minolovec, Sudoku, Gomoku, Tankovska bitka