Comptador de tokens

Comptat amb tokenització GPT. Altres models poden donar resultats diferents.

0Tokens
0Paraules
0Caràcters
0Caràcters sense espais en blanc

Detalls dels espais en blanc

0Espais
0Salts de línia
0Tabulacions
0Altres espais en blanc

Els espais, salts de línia i tabulacions són recomptes de caràcters. Els espais en blanc poden compartir un token amb text proper, de manera que aquests nombres no es poden restar del total de tokens.

Límits dels tokens

Els límits dels tokens apareixeran després d'introduir text.

Un caràcter pot ocupar més d'un token. Els fragments de bytes individuals es mostren com a valors hexadecimals per mantenir intacte el text original.

Identificadors de tokens i bytes

    Fes servir aquest comptador i calculador de tokens gratuït per mesurar text abans d'utilitzar-lo en un prompt d'IA. Consulta recomptes de tokens, paraules i caràcters, inspecciona els espais en blanc i explora com es divideix el text en tokens.

    Preguntes sobre el comptador de tokens

    Què compta aquesta calculadora de tokens?

    Compta els tokens del text introduït amb les regles de tokenització GPT o200k_base. També mostra recomptes de paraules, caràcters i espais en blanc. Els tokens poden contenir una paraula, part d'una paraula, puntuació o espais en blanc.

    Un caràcter sempre és un token?

    No. Un token pot contenir diversos caràcters o només una part d'una paraula, i un caràcter pot fer servir diversos tokens. Els emojis i les lletres amb marques combinades també poden fer servir diversos tokens encara que semblin un sol caràcter. No hi ha una proporció fixa de caràcters per token.

    Com es compten els textos en xinès, japonès i coreà?

    S'admeten totes tres llengües, però agrupar-les com a CJK no els dona un recompte compartit de tokens per caràcter. Les seqüències de caràcters habituals poden formar un token, mentre que un sol caràcter o síl·laba es pot dividir en diversos. El recompte depèn del text real i de les regles de tokenització, no només de la llengua.

    I les altres llengües i el text mixt?

    El comptador també admet text en escriptures llatina, ciríl·lica, àrab, índiques i altres, incloent-hi text de llengües barrejades. Les paraules es poden dividir en peces més petites, de manera que les estimacions de paraules o caràcters anglesos no s'apliquen a totes les llengües. Les traduccions d'una mateixa frase poden tenir recomptes de tokens diferents.

    Com es compten els caràcters i les paraules?

    Als navegadors moderns, un caràcter han, un kana japonès, una síl·laba coreana o una lletra llatina solen comptar com un caràcter. Una lletra amb accent combinat o un emoji combinat també solen comptar com un. S'hi inclouen espais en blanc i puntuació. Les paraules segueixen límits adaptats a la llengua, de manera que un passatge CJK no es tracta com una sola paraula només perquè no tingui espais. Tots dos recomptes són independents dels tokens.

    Els espais compten com a tokens?

    Els espais i altres espais en blanc s'inclouen en comptar tokens. Un espai es pot combinar amb la paraula següent o aparèixer com un token independent. Eliminar un espai pot canviar els límits propers dels tokens, de manera que un espai no sempre és un token.

    Aquest recompte coincidirà amb tots els models d'IA?

    No. Els models poden fer servir regles de tokenització diferents. Aquesta eina proporciona un recompte de referència GPT per a text pla. Les peticions de xat completes també poden contenir rols, format de missatges i definicions d'eines, de manera que l'ús total pot diferir.

    Es puja el meu text?

    No. El text i els fitxers importats es compten al navegador. L'eina no n'envia el contingut a cap servei de recompte.

    Hi ha un límit de text o de mida de fitxer?

    No hi ha cap límit fix de longitud de text ni de mida de fitxer. Les entrades grans triguen més i depenen de la memòria disponible del dispositiu. El mode de fitxers compta cada fitxer complet sense posar-lo a l'editor de text i conserva els resultats completats si es cancel·la. Les previsualitzacions mostren només els primers 500 tokens; els informes CSV inclouen els recomptes complets.

    Eines relacionades: Comptador de paraules

    Formatadors de codi

    Formata i embelleix Java, Python, JavaScript, JSON, HTML i més; ajusta el sagnat, l'espaiat i els salts de línia.

    Més eines

    Edició i efectes d'àudio

    Retalla, uneix o divideix enregistraments, elimina silencis o soroll i ajusta el volum, la velocitat, l'altura tonal o els canals.

    Més eines

    Eines de fulls de càlcul

    Obre i edita fulls CSV o Excel, formata text tabular i converteix CSV a Excel o SQL.

    Més eines

    Eines de Markdown

    Escriu i previsualitza Markdown, renderitza diagrames Mermaid i converteix Markdown, HTML i taules entre formats.

    Més eines

    Eines de text

    Compara passatges, compta paraules i paraules clau, ordena o substitueix línies i visualitza text DOCX.

    Més eines

    Diccionaris

    Consulta significats, sinònims i antònims en xinès o troba pronunciacions IPA en diverses llengües.

    Conversió i reproducció d'àudio

    Converteix entre MP3, WAV, FLAC i més formats, reprodueix àudio o PCM en brut i inspecciona o edita metadades d'àudio.

    Eines de JSON i dades

    Inspecciona, compara i valida JSON; prova expressions JSONPath o converteix dades a CSV, YAML i XML.

    Més eines

    Eines de veu

    Transcriu àudio a text, genera parla a partir de text o enregistra la veu al navegador.

    Eines de vídeo

    Converteix i comprimeix vídeo, retalla o uneix fragments, redimensiona fotogrames i extreu àudio.

    Més eines

    Reproducció i gravació de vídeo

    Reprodueix vídeo local o en transmissió, enregistra la pantalla o la càmera i fes servir la càmera com a mirall en línia.

    Eines de PDF

    Comprimeix o uneix PDF, divideix i reordena pàgines, converteix pàgines en imatges i visualitza o compara documents.

    Més eines

    Eines d'imatge

    Converteix formats d'imatge, redimensiona o retalla fotos, comprimeix fitxers, compara imatges i extreu text amb OCR.

    Més eines

    Creació d'imatges

    Captura i embelleix captures de pantalla, converteix text en imatges o GIF, dibuixa en una pissarra i crea núvols de paraules o favicons.

    Més eines

    Eines de subtítols

    Edita subtítols SRT o VTT amb previsualització de vídeo, desplaça els temps, converteix formats i gestiona pistes de subtítols.

    Més eines

    Eines d'arxius

    Obre fitxers ZIP, 7Z, RAR o TAR, extreu el contingut seleccionat i crea arxius nous amb contrasenyes ZIP/7Z opcionals.

    Codificadors | Descodificadors

    Codifica i descodifica Base64 o Base32, escapa URL, HTML i text Unicode i inspecciona el contingut de JWT.

    Més eines

    Eines numèriques

    Converteix bases i valors entre binari, decimal i hexadecimal; transforma nombres en paraules o text en binari.

    Calculadores

    Calcula percentatges i fraccions, resumeix estadístiques i calcula notes, descomptes o relacions d'aspecte.

    Més eines

    Eines de temps

    Mostra un rellotge en línia, inicia un compte enrere o cronòmetre i calcula dates, edats o diferències de fus horari.

    Més eines

    Eines de xarxa

    Comprova la connexió IP i IPv6, inspecciona peticions HTTP o fitxers HAR i calcula intervals d'adreces CIDR.

    Conversions d'unitats

    Converteix unitats de longitud, pes, temperatura, emmagatzematge de dades i altres.

    Eines de colors

    Converteix valors HEX, RGB i HSL, extreu colors d'una imatge, comprova el contrast o prova la pantalla amb colors sòlids.

    Codis QR i codis de barres

    Genera i escaneja codis QR o de barres, inclosos codis QR per a enllaços i xarxes Wi-Fi.

    Eines de desenvolupament i seguretat

    Genera hashes, UUID i contrasenyes, prova expressions regulars, crea identificadors d'URL i comprova permisos de fitxers.

    Més eines

    Utilitats

    Comprova la resolució i la freqüència d'actualització de la pantalla, mesura amb un regle de pantalla, prova tecles o llegeix amb un teleapuntador.

    Més eines

    Jocs

    2048, Cercamines, Sudoku, Gomoku, Batalla de tancs

    Més eines