Què compta aquesta calculadora de tokens?
Compta els tokens del text introduït amb les regles de tokenització GPT o200k_base. També mostra recomptes de paraules, caràcters i espais en blanc. Els tokens poden contenir una paraula, part d'una paraula, puntuació o espais en blanc.
Un caràcter sempre és un token?
No. Un token pot contenir diversos caràcters o només una part d'una paraula, i un caràcter pot fer servir diversos tokens. Els emojis i les lletres amb marques combinades també poden fer servir diversos tokens encara que semblin un sol caràcter. No hi ha una proporció fixa de caràcters per token.
Com es compten els textos en xinès, japonès i coreà?
S'admeten totes tres llengües, però agrupar-les com a CJK no els dona un recompte compartit de tokens per caràcter. Les seqüències de caràcters habituals poden formar un token, mentre que un sol caràcter o síl·laba es pot dividir en diversos. El recompte depèn del text real i de les regles de tokenització, no només de la llengua.
I les altres llengües i el text mixt?
El comptador també admet text en escriptures llatina, ciríl·lica, àrab, índiques i altres, incloent-hi text de llengües barrejades. Les paraules es poden dividir en peces més petites, de manera que les estimacions de paraules o caràcters anglesos no s'apliquen a totes les llengües. Les traduccions d'una mateixa frase poden tenir recomptes de tokens diferents.
Com es compten els caràcters i les paraules?
Als navegadors moderns, un caràcter han, un kana japonès, una síl·laba coreana o una lletra llatina solen comptar com un caràcter. Una lletra amb accent combinat o un emoji combinat també solen comptar com un. S'hi inclouen espais en blanc i puntuació. Les paraules segueixen límits adaptats a la llengua, de manera que un passatge CJK no es tracta com una sola paraula només perquè no tingui espais. Tots dos recomptes són independents dels tokens.
Els espais compten com a tokens?
Els espais i altres espais en blanc s'inclouen en comptar tokens. Un espai es pot combinar amb la paraula següent o aparèixer com un token independent. Eliminar un espai pot canviar els límits propers dels tokens, de manera que un espai no sempre és un token.
Aquest recompte coincidirà amb tots els models d'IA?
No. Els models poden fer servir regles de tokenització diferents. Aquesta eina proporciona un recompte de referència GPT per a text pla. Les peticions de xat completes també poden contenir rols, format de missatges i definicions d'eines, de manera que l'ús total pot diferir.
Es puja el meu text?
No. El text i els fitxers importats es compten al navegador. L'eina no n'envia el contingut a cap servei de recompte.
Hi ha un límit de text o de mida de fitxer?
No hi ha cap límit fix de longitud de text ni de mida de fitxer. Les entrades grans triguen més i depenen de la memòria disponible del dispositiu. El mode de fitxers compta cada fitxer complet sense posar-lo a l'editor de text i conserva els resultats completats si es cancel·la. Les previsualitzacions mostren només els primers 500 tokens; els informes CSV inclouen els recomptes complets.