Ce numără acest calculator de tokenuri?
Numără tokenurile din textul introdus folosind regulile GPT de tokenizare o200k_base. Arată și numărul de cuvinte, caractere și spații albe. Tokenurile pot conține un cuvânt, o parte dintr-un cuvânt, punctuație sau spații albe.
Un caracter este întotdeauna un token?
Nu. Un token poate conține mai multe caractere sau doar o parte dintr-un cuvânt, iar un caracter poate folosi mai multe tokenuri. Emoji și literele cu semne combinante pot folosi mai multe tokenuri chiar dacă par un singur caracter. Nu există un raport fix între caractere și tokenuri.
Cum sunt numărate textele chinezești, japoneze și coreene?
Toate trei sunt acceptate, dar gruparea lor drept CJK nu înseamnă același număr de tokenuri pe caracter. Secvențele frecvente de caractere pot forma un token, iar un singur caracter sau o silabă se poate împărți în mai multe. Numărul depinde de textul real și de regulile de tokenizare, nu doar de limbă.
Cum sunt tratate alte limbi și textele mixte?
Contorul acceptă și text în alfabete latine, chirilice, arabe, indiene și altele, inclusiv text în limbi amestecate. Cuvintele pot fi împărțite în fragmente mai mici, deci estimările pe baza cuvintelor sau caracterelor englezești nu se aplică fiecărei limbi. Traducerile aceleiași propoziții pot avea numere diferite de tokenuri.
Cum sunt numărate caracterele și cuvintele?
În browsere moderne, un caracter Han, un kana japonez, o silabă coreeană sau o literă latină contează de obicei ca un caracter. O literă cu accent combinant sau un emoji combinat contează de regulă tot ca unul. Sunt incluse spațiile și punctuația. Cuvintele urmează limite specifice limbii, deci un pasaj CJK nu este tratat ca un singur cuvânt doar pentru că nu are spații. Ambele numărători sunt separate de tokenuri.
Spațiile se numără ca tokenuri?
Spațiile și alte spații albe sunt incluse la numărarea tokenurilor. Un spațiu poate fi combinat cu următorul cuvânt sau poate apărea într-un token separat. Eliminarea lui poate schimba limitele tokenurilor din apropiere, deci un spațiu nu înseamnă întotdeauna un token.
Se va potrivi această numărătoare cu orice model AI?
Nu. Modelele pot folosi reguli de tokenizare diferite. Acest instrument oferă o numărătoare GPT de referință pentru text simplu. Cererile de chat complete pot conține roluri, formatarea mesajelor și definiții de instrumente, deci utilizarea totală poate diferi.
Textul meu este încărcat pe un server?
Nu. Textul și fișierele importate sunt numărate în browser. Instrumentul nu trimite conținutul lor unui serviciu de numărare.
Există o limită pentru text sau fișier?
Nu există o limită fixă pentru lungimea textului sau mărimea fișierului. Intrările mari necesită mai mult timp și depind de memoria disponibilă a dispozitivului. Modul fișier numără integral fiecare fișier fără a-l pune în editorul de text și păstrează rezultatele finalizate la anulare. Previzualizările arată doar primele 500 de tokenuri; rapoartele CSV includ numărătorile complete.