¿Qué cuenta esta calculadora de tokens?
Cuenta los tokens del texto que introduces según las reglas de tokenización GPT o200k_base. También muestra el número de palabras, caracteres y espacios en blanco. Un token puede contener una palabra, parte de una palabra, signos de puntuación o espacios en blanco.
¿Un carácter siempre equivale a un token?
No. Un token puede contener varios caracteres o solo parte de una palabra, y un carácter puede ocupar varios tokens. Los emojis y las letras con marcas combinantes también pueden ocupar varios tokens aunque parezcan un único carácter. No hay una proporción fija entre caracteres y tokens.
¿Cómo se cuentan los textos en chino, japonés y coreano?
Los tres son compatibles, pero agruparlos como CJK no significa que tengan el mismo número de tokens por carácter. Las secuencias frecuentes de caracteres pueden formar un token, mientras que un solo carácter o una sílaba puede dividirse en varios. El recuento depende del texto real y de las reglas de tokenización, no solo del idioma.
¿Qué ocurre con otros idiomas y los textos mixtos?
El contador también admite textos en escrituras latina, cirílica, árabe, índicas y otras, incluidos textos que mezclan idiomas. Las palabras pueden dividirse en partes más pequeñas, por lo que las estimaciones basadas en palabras o caracteres del inglés no sirven para todos los idiomas. Las traducciones de una misma frase pueden tener distintos números de tokens.
¿Cómo se cuentan los caracteres y las palabras?
En los navegadores modernos, un carácter han, un kana japonés, una sílaba coreana o una letra latina suele contar como un carácter. Una letra con un acento combinante o un emoji compuesto también suele contar como uno. Se incluyen los espacios en blanco y la puntuación. Las palabras se delimitan según el idioma, por lo que un pasaje CJK no se considera una sola palabra simplemente porque no tenga espacios. Ambos recuentos son independientes del recuento de tokens.
¿Los espacios cuentan como tokens?
Los espacios y otros espacios en blanco se incluyen al contar los tokens. Un espacio puede combinarse con la palabra siguiente o formar un token independiente. Eliminar un espacio puede cambiar los límites de los tokens cercanos, así que un espacio no siempre equivale a un token.
¿Coincidirá este recuento con el de todos los modelos de IA?
No. Los modelos pueden usar distintas reglas de tokenización. Esta herramienta ofrece un recuento de referencia GPT para texto sin formato. Las solicitudes de chat completas también pueden incluir roles, formato de mensajes y definiciones de herramientas, por lo que su uso total puede variar.
¿Se sube mi texto a un servidor?
No. El texto y los archivos importados se cuentan en tu navegador. La herramienta no envía su contenido a un servicio de recuento.
¿Hay un límite de longitud del texto o de tamaño del archivo?
No hay un límite fijo de longitud del texto ni de tamaño del archivo. Las entradas grandes requieren más tiempo y dependen de la memoria disponible en tu dispositivo. La herramienta cuenta todo el texto y solo muestra los primeros 500 tokens en la vista previa; esta no reduce el total. Usa «Limpiar» para detener el recuento actual.