Comptage selon la tokenisation GPT. D’autres modèles peuvent donner des résultats différents.
Les espaces, sauts de ligne et tabulations sont comptés comme des caractères. Un espace blanc peut partager un token avec le texte voisin. Ces nombres ne peuvent donc pas être soustraits du total des tokens.
Un caractère peut s’étendre sur plusieurs tokens. Les fragments d’octets individuels sont affichés en hexadécimal pour préserver le texte d’origine.
Utilisez ce compteur et calculateur de tokens gratuit pour mesurer un texte avant de l’utiliser dans une invite d’IA. Consultez le nombre de tokens, de mots et de caractères, examinez les espaces blancs et découvrez comment le texte est découpé en tokens.
Il compte les tokens du texte saisi selon les règles de tokenisation GPT o200k_base. Il indique aussi le nombre de mots, de caractères et d’espaces blancs. Un token peut contenir un mot, une partie de mot, de la ponctuation ou des espaces blancs.
Non. Un token peut contenir plusieurs caractères ou seulement une partie de mot, et un caractère peut utiliser plusieurs tokens. Les émojis et les lettres accompagnées de signes combinatoires peuvent aussi utiliser plusieurs tokens, même s’ils ressemblent à un seul caractère. Il n’existe pas de rapport fixe entre caractères et tokens.
Les trois sont pris en charge, mais leur regroupement sous le nom CJK ne leur donne pas un nombre commun de tokens par caractère. Des suites de caractères fréquentes peuvent former un token, tandis qu’un seul caractère ou une seule syllabe peut être découpé en plusieurs tokens. Le résultat dépend du texte réel et des règles de tokenisation, pas uniquement de la langue.
Le compteur prend aussi en charge les textes en écritures latine, cyrillique, arabe, indiennes et autres, y compris les textes multilingues. Les mots peuvent être découpés en éléments plus petits : les estimations fondées sur les mots ou les caractères anglais ne s’appliquent donc pas à toutes les langues. Les traductions d’une même phrase peuvent avoir des nombres de tokens différents.
Dans les navigateurs modernes, un caractère han, un kana japonais, une syllabe coréenne ou une lettre latine compte généralement pour un caractère. Une lettre avec un accent combinatoire ou un émoji composé compte généralement aussi pour un caractère. Les espaces blancs et la ponctuation sont inclus. Les mots suivent des limites adaptées à la langue : un passage CJK n’est donc pas considéré comme un seul mot simplement parce qu’il ne contient pas d’espaces. Ces deux comptages sont distincts de celui des tokens.
Les espaces et autres espaces blancs sont inclus dans le comptage des tokens. Un espace peut être associé au mot suivant ou former un token distinct. Supprimer un espace peut modifier les limites des tokens voisins ; un espace ne correspond donc pas toujours à un token.
Non. Les modèles peuvent utiliser des règles de tokenisation différentes. Cet outil fournit un comptage de référence GPT pour le texte brut. Les requêtes de conversation complètes peuvent aussi inclure des rôles, la mise en forme des messages et des définitions d’outils ; leur consommation totale peut donc différer.
Non. Le texte et les fichiers importés sont comptés dans votre navigateur. L’outil n’envoie pas leur contenu à un service de comptage.
Il n’y a pas de limite fixe de longueur du texte ou de taille des fichiers. Les contenus volumineux prennent plus de temps et dépendent de la mémoire disponible sur votre appareil. L’outil compte tout le texte et n’affiche que les 500 premiers tokens dans l’aperçu ; cet aperçu ne réduit pas le total. Utilisez « Effacer » pour arrêter le comptage en cours.
Outils associés : Compteur de mots
Formatez et embellissez Java, Python, JavaScript, JSON, HTML et plus ; harmonisez l’indentation, les espaces et les sauts de ligne.
Découpez, assemblez ou séparez des enregistrements, retirez silences et bruit, puis réglez volume, vitesse, hauteur ou canaux.
Ouvrez et modifiez des feuilles CSV ou Excel, mettez en forme des tableaux et convertissez CSV en Excel ou SQL.
Écrivez et prévisualisez Markdown, affichez des diagrammes Mermaid et convertissez entre Markdown, HTML et tableaux.
Comparez des textes, comptez mots et termes fréquents, triez ou remplacez des lignes et affichez le texte des DOCX.
Consultez le sens, les synonymes et les antonymes des mots chinois, ou des transcriptions en API dans plusieurs langues.
Convertissez MP3, WAV, FLAC et d’autres formats, lisez l’audio ou le PCM brut, et consultez ou modifiez les métadonnées.
Explorez, comparez et validez JSON ; testez JSONPath ou convertissez des données en CSV, YAML et XML.
Transcrivez l’audio en texte, générez une voix depuis du texte ou enregistrez votre voix dans le navigateur.
Convertissez et compressez les vidéos, découpez ou assemblez les clips, redimensionnez les images et extrayez l’audio.
Lisez des vidéos locales ou en streaming, enregistrez écran ou caméra et utilisez la caméra comme miroir en ligne.
Compressez ou fusionnez des PDF, séparez et réorganisez les pages, exportez-les en images et affichez ou comparez les documents.
Convertissez les formats d’image, redimensionnez ou recadrez des photos, compressez, comparez et extrayez du texte par OCR.
Capturez et embellissez l’écran, créez des images ou GIF à partir de texte, dessinez sur un tableau blanc et générez nuages de mots ou favicons.
Modifiez les sous-titres SRT ou VTT avec aperçu vidéo, décalez les temps, convertissez les formats et gérez les pistes de sous-titres.
Ouvrez les archives ZIP, 7Z, RAR ou TAR, extrayez les fichiers voulus et créez de nouvelles archives ; ZIP et 7Z peuvent être protégés par mot de passe.
Encodez et décodez Base64 ou Base32, échappez les URL, HTML et Unicode, et inspectez le contenu des JWT.
Convertissez des valeurs entre binaire, décimal et hexadécimal ; écrivez les nombres en lettres ou transformez du texte en binaire.
Calculez pourcentages et fractions, résumez des statistiques et déterminez notes, remises ou rapports d’aspect.
Affichez une horloge en ligne, lancez un compte à rebours ou un chronomètre et calculez dates, âges ou décalages horaires.
Vérifiez votre IP et votre connexion IPv6, inspectez des requêtes HTTP ou fichiers HAR et calculez des plages d’adresses CIDR.
Convertissez les unités de longueur, de poids, de température, de stockage de données et bien d’autres.
Convertissez les valeurs HEX, RGB et HSL, extrayez des couleurs d’une image, vérifiez le contraste ou testez l’écran avec des aplats.
Générez et lisez des codes QR ou codes-barres, notamment des codes QR pour liens et réseaux Wi-Fi.
Générez des hachages, UUID et mots de passe, testez des expressions régulières, créez des slugs d’URL et vérifiez les permissions de fichiers.
Vérifiez résolution et fréquence de l’écran, mesurez avec une règle, testez les touches ou lisez avec un prompteur.
2048, Démineur, Sudoku, Gomoku, Bataille de chars